Podľa staršieho dátového vedca je jednou z výrazných výhod používania Stochastického zostupu gradientu to, že výpočty robí rýchlejšie ako klesanie gradientom a dávkový zostup gradientu … Tiež na masívne množiny údajov, stochastický gradientový zostup môže konvergovať rýchlejšie, pretože aktualizácie vykonáva častejšie.
Na čo sa používa Stochastický gradientový zostup?
Stochastický zostup gradientu je optimalizačný algoritmus často používaný v aplikáciách strojového učenia na nájdenie parametrov modelu, ktoré najlepšie zodpovedajú predpovedaným a skutočným výstupom Je to nepresná, ale výkonná technika. Stochastický gradientový zostup sa široko používa v aplikáciách strojového učenia.
Prečo potrebujeme na trénovanie konvolučnej neurónovej siete použiť Stochastický gradientový zostup namiesto štandardného gradientového zostupu?
Stochastický gradient zostup aktualizuje parametre pre každé pozorovanie, čo vedie k väčšiemu počtu aktualizácií. Ide teda o rýchlejší prístup, ktorý pomáha rýchlejšiemu rozhodovaniu. Rýchlejšie aktualizácie v rôznych smeroch si môžete všimnúť v tejto animácii.
Prečo dávame prednosť stúpaniu?
Hlavným dôvodom, prečo sa gradientový zostup používa na lineárnu regresiu, je výpočtová zložitosť: v niektorých prípadoch je výpočtovo lacnejšie (rýchlejšie) nájsť riešenie pomocou gradientu. Tu musíte vypočítať maticu X′X a potom ju prevrátiť (pozri poznámku nižšie). Je to drahý výpočet.
Prečo sa používa SGD?
Stochastický gradientový zostup (často skrátene SGD) je iteratívna metóda na optimalizáciu objektívnej funkcie s vhodnými vlastnosťami hladkosti (napr. diferencovateľná alebo subdiferencovateľná).
