Q:
Prečo odborníci na strojové učenie hovoria o inicializácii systému Xavier?
A:Inicializácia Xavier je dôležitou myšlienkou pri navrhovaní a školení neurónových sietí. Odborníci hovoria o použití inicializácie systému Xavier, aby zvládli rozptyl a spôsoby, ktorými sa signály objavujú prostredníctvom vrstiev neurónovej siete.
Inicializácia Xavier je v podstate spôsob, ako usporiadať počiatočné hmotnosti pre jednotlivé vstupy v modeli neurónov. Čistý vstup pre neurón pozostáva z každého jednotlivého vstupu vynásobeného jeho hmotnosťou, čo vedie k funkcii prenosu a pridruženej aktivačnej funkcii. Ide o to, že inžinieri chcú proaktívne spravovať tieto počiatočné hmotnosti siete, aby sa ubezpečili, že sieť sa konverguje správne a s vhodnou odchýlkou na každej úrovni.
| Zdarma na stiahnutie: Strojové učenie a prečo na tom záleží |
Odborníci poukazujú na to, že inžinieri môžu do určitej miery použiť zostup stochastického gradientu na úpravu hmotnosti vstupov pri tréningu, ale ak začnú nevhodným vážením, nemusia sa správne zbližovať, pretože neuróny sa môžu nasýtiť. Ďalším spôsobom, ako to niektorí odborníci tvrdia, je to, že signály môžu „rásť“ alebo „zmenšovať“ sa pri nesprávnych váhach príliš, a preto ľudia používajú inicializáciu Xavier v súlade s rôznymi aktivačnými funkciami.
Časť tejto myšlienky súvisí s obmedzeniami riešenia systémov, ktoré ešte nie sú vyvinuté: Pred školením inžinieri nejakým spôsobom pracujú v tme. Nevedia údaje, tak ako vedia, ako zvážiť počiatočné vstupy?
Z tohto dôvodu je inicializácia Xavier populárnou témou konverzácie v programovacích blogoch a fórach, pretože odborníci sa pýtajú, ako ich použiť na rôzne platformy, napríklad, TensorFlow. Tieto typy techník sú súčasťou vylepšenia návrhov strojového učenia a umelej inteligencie, ktoré majú veľký vplyv na pokrok na spotrebiteľských trhoch a inde.
