Laso sa zmršťuje tak, že v obmedzení sú "rohy", ktoré v dvoch rozmeroch zodpovedajú diamantu. Ak súčet štvorcov "zasiahne" jeden z týchto rohov, potom sa koeficient zodpovedajúci osi zmenší na nulu. … Preto laso vykonáva zmršťovanie a (efektívne) výber podmnožín.
Prečo dáva laso nulové koeficienty?
Laso sa zmršťuje tak, že v obmedzení sú "rohy", ktoré v dvoch rozmeroch zodpovedajú diamantu. Ak súčet štvorcov "zasiahne" jeden z týchto rohov, potom sa koeficient zodpovedajúci osi zmenší na nulu.
Prečo sa laso zmenší na nulu, ale nie Ridge?
Hovorí sa, že pretože tvar obmedzenia v LASSO je kosoštvorec, získané riešenie najmenších štvorcov sa môže dotknúť rohu kosoštvorca, takže to vedie k zmršteniu nejakej premennej. Avšak pri hrebeňovej regresii, pretože je to kruh, sa často nedotkne osi
Prečo ridge regresia znižuje koeficienty?
Hrebeňová regresia zmení všetky regresné koeficienty na nulu; laso má tendenciu dávať súbor nulových regresných koeficientov a vedie k riedkemu riešeniu. Všimnite si, že pre hrebeňovú regresiu aj laso sa regresné koeficienty môžu pohybovať z kladných na záporné hodnoty, pretože sa zmenšujú smerom k nule.
Sú koeficienty lasa skreslené?
…zmršťovanie lasa spôsobuje, že odhady nenulových koeficientov sú skreslené smerom k nule a vo všeobecnosti nie sú konzistentné [Pridaná poznámka: To znamená, že veľkosť vzorky rastie, odhady koeficientov sa nezhodujú].
