Logo bs.boatexistence.com

Zašto stohastički gradijentni spust?

Sadržaj:

Zašto stohastički gradijentni spust?
Zašto stohastički gradijentni spust?

Video: Zašto stohastički gradijentni spust?

Video: Zašto stohastički gradijentni spust?
Video: DU Optimizacija parametara modela (2/5) 2024, Maj
Anonim

Prema starijem naučniku za podatke, jedna od izrazitih prednosti upotrebe Stohastičkog gradijentnog spuštanja je to što obavlja proračune brže od gradijenta i grupnog spuštanja gradijenta … Takođe, na masivni skupovi podataka, stohastički gradijentni spust može brže konvergirati jer se ažurira češće.

Za šta se koristi stohastički gradijentni pad?

Stohastički gradijentni spuštanje je algoritam za optimizaciju koji se često koristi u aplikacijama za mašinsko učenje za pronalaženje parametara modela koji najbolje odgovaraju između predviđenih i stvarnih izlaza To je neprecizna, ali moćna tehnika. Stohastički gradijentni spuštanje se široko koristi u aplikacijama mašinskog učenja.

Zašto trebamo koristiti stohastički gradijentni pad umjesto standardnog gradijentnog spuštanja da treniramo konvolucionu neuronsku mrežu?

Stohastički gradijent pad ažurira parametre za svako posmatranje što dovodi do većeg broja ažuriranja. Dakle, to je brži pristup koji pomaže u bržem donošenju odluka. Brža ažuriranja u različitim smjerovima mogu se primijetiti u ovoj animaciji.

Zašto preferiramo nizbrdicu?

Glavni razlog zašto se gradijentno spuštanje koristi za linearnu regresiju je proračunska složenost: računarski je jeftinije (brže) pronaći rješenje korištenjem gradijenta u nekim slučajevima. Ovdje morate izračunati matricu X′X, a zatim je invertirati (pogledajte napomenu ispod). To je skupa računica.

Zašto se koristi SGD?

Stohastički gradijentni pad (često skraćeno SGD) je iterativni metod za optimizaciju funkcije cilja sa odgovarajućim svojstvima glatkoće (npr. diferencibilan ili subdiferencibilan).

Preporučuje se: