Q:
Prečo je „informačná prekážka“ dôležitou teóriou hlbokého vzdelávania?
A:Myšlienka „informačného obmedzenia“ v umelých neurónových sieťach (ANNs) funguje na osobitnom princípe, ktorý sa týka šírenia rôznych druhov signalizácie. Považuje sa za praktický nástroj na skúmanie kompromisov, vďaka ktorým sú tieto systémy umelej inteligencie samooptimalizované. Drôtový článok popisujúci koncepciu úzkeho miesta v informáciách, ktorú predstavil Tishby et. al. hovorí o „zbavení hlučných vstupných údajov o cudzích detailoch, akoby stlačením informácií prostredníctvom úzkeho miesta“ a „zachovaní iba funkcií, ktoré sú pre všeobecné koncepcie najrelevantnejšie“.
Ako relatívne nový koncept môže myšlienka úzkeho miesta v informáciách pomôcť zlepšiť a zmeniť spôsob, akým používame systémy ANN a súvisiace systémy na modelovanie kognitívnych funkcií. Jedným zo spôsobov, ako môže táto teória pomôcť, je pomôcť nám lepšie pochopiť paradigmy, ktoré podporujú funkcie neurónovej siete. Napríklad, ak princíp ilustruje, ako systém zachováva iba určitú množinu funkcií, začneme vidieť, ako táto „diskriminácia údajov“ robí zo siete „ľudoop“ ľudský mozog a inžinieri ju môžu pridať do modelov neurónovej siete. Ide o to, že technológia neurónovej siete sa nakoniec stane skôr „univerzálnym“ konceptom, nielen provinciou privilegovaných niekoľkých. Spoločnosti v súčasnosti hľadajú honosnosť po nedostatku AI; teórie, ako je teória úzkeho miesta v informáciách, môžu pomôcť rozšíriť vedomosti o neurónových sieťach pre laikov a „stredných používateľov“ - tých, ktorí nemusia byť „odborníkmi“, ale môžu pomôcť pri vývoji a šírení technológií neurónových sietí.
Ďalšou dôležitou hodnotou informačného obmedzenia je to, že inžinieri môžu začať trénovať systémy tak, aby pracovali presnejšie. Mať niekoľko usmernení na najvyššej úrovni pre architektúru systému môže zefektívniť vývoj týchto typov technológií a definovanie princípov hlbokého učenia je preto v IT svete hodnotné.
Vo všeobecnosti sa predvoj, ktorý pracuje na AI, bude naďalej zaoberať konkrétne tým, ako fungujú neurónové siete, vrátane myšlienky „relevantných informácií“ a toho, ako systémy diskriminujú výkon funkcií. Jedným príkladom je spracovanie obrazu alebo reči, kde sa systémy musia naučiť identifikovať veľa variácií ako „objekty“. Vo všeobecnosti je úzky profil informácií konkrétnym pohľadom na to, ako by nervová sieť pracovala s týmito objektmi, a konkrétne ako tieto dátové modely spracovávať informácie.
