Metode usposabljanja nevronske mreže

V zadnjih letih učenje nevronske mreže

Razlogi za priljubljenost

Strokovnjaki razložijo uspeh uvoda v prakso nevronskih mrež iz več razlogov:

• bogate priložnosti;
• enostavnost uporabe;
• privlačnost.

Poglejmo si natančneje vsako točko.

Učenje nevronske mreže z učiteljem je močna tehnika modeliranja, ki vam omogoča, da upoštevate najbolj kompleksne odvisnosti.

Neuralne mreže se preučujejo z uporabo primerov. Uporabnik mora izbrati reprezentativne podatke in zagnati učni algoritem, ki samodejno zazna strukturo vhodnih podatkov.

Potreboval bo nekaj začetnih nizov hevrističnega znanja o izbiri in pripravi podatkov, izbiri potrebnih omrežna arhitektura, razlaga rezultatov. Šele takrat učenje večplastnih nevronskih mrež bo uspešen. Toda ta nivo je veliko preprostejši od klasičnih statističnih tehnik.

Usposabljanje konvolativne nevronske mreže privablja uporabnike, saj temeljijo na enostavnem biološkem modelu živčnega sistema. Izboljšanje takšnih nevrobioloških modelov bo pripeljalo do ustvarjanja edinstvenih računalniških mišic.

Področje uporabe

Učenje nevronske mreže vam omogoča prepoznavanje besedil, govora in opravljanje semantičnega iskanja. Med področji njihove uporabe bomo identificirali sisteme, ki pomagajo pri odločanju, analiziranju cen delnic, besedilih, nadzoru varnosti na svetovnem spletu.

Značilnosti izobraževalnega procesa

Preden se pogovorimo o tem, kako se nevronska mreža peče, se osredotočimo na njihove posebnosti. Neuralna umetna omrežja, kot biološka, ​​so računalniški sistem z velikim številom vzporednih paralelnih procesorjev, ki imajo veliko število povezav.

Za razliko od bioloških analogov, nevronska umetna omrežja kažejo številne lastnosti, ki so značilne za možgane: generalizacija, analiza, vzorčenje podatkov iz toka informacij.

Lahko spremenijo svoje vedenje glede na zunanje okolje. Po analizi začetnih podatkov, so neodvisno nastavljeni in usposobljeni, ki zagotavljajo pravilno reakcijo.

Posledično omrežje je odporno na nekaj odstopanj v prvotnih podatkih, zato ni izkrivljanja zaradi zunanjih motenj.

Sredi prejšnjega stoletja je skupina raziskovalcev sintetizirala fiziološke in biološke pristope, ustvaril je prvi umetni nevronski sistem.

Brez usposabljanja je bilo težko razumeti strukturo, lastnosti in namen omrežij. Zdelo se nam je, da smo našli ključ do umetne inteligence. Toda iluzije človeka so se hitro razrešile. Omrežja so se z lahkoto ukvarjali z reševanjem nekaterih problemov, analizirali podatke. Toda niso se spopadali z drugimi nalogami, torej so se izkazali za zelo omejene pri uporabi.

Zato se je usposabljanje nevronske mreže nadaljevalo, oblikovanje znanstvene podlage za takšne dejavnosti.

Ob koncu dvajsetega stoletja so bila odprta podjetja, ki so se ukvarjala z ustvarjanjem aplikacijske programske opreme za ustvarjanje umetnih mrež. V tem času se je pojavilo tudi strojno učenje. Nevronske mreže so se izkazale za učinkovite pri reševanju zapletenih problemov, na primer, se uporabljajo za preverjanje solventnosti bančnih odjemalcev.

Metode poučevanja

Da bi mreža lahko rešila naloge, ki so mu dodeljene, jo je potrebno usposobiti. Ta sposobnost velja za glavno lastnost možganov. Kaj? metode usposabljanja nevronskih mrež so najbolj učinkoviti? V procesu usposabljanja za takšne sisteme je mišljen proces prilagajanja strukture povezav med posameznimi nevroni in sinoptičnimi povezavami, ki vplivajo na signale koeficientov. Ustvarjeni kompleksi omogočajo učinkovito reševanje nalog, ki so določene pred omrežji. V bistvu učenje nevronske mreže se pojavlja na določenem vzorcu. Kako ste rešili ta problem? Posebno algoritmi za učenje nevronskih mrež. Omogočajo povečanje učinkovitosti odziva na vhodne signale in razširitev področij njihove uporabe.

Učne paradigme

Globalni trening nevronskih mrež izvaja na naslednjih paradigmih:

• z učiteljem;
• brez mentorja;
• mešana oblika.

Za prvo od njih so značilni pravilni odgovori na vsako vhodno različico, teže so prilagojene tako, da se zmanjša možnost napake.

Samo-študija omogoča distribucijo prvotnih vzorcev v kategorije, kar se doseže z razkritjem narave podatkov in notranje strukture.

Mešana vrsta se šteje kot sinteza prejšnjih dveh pristopov. Za usposabljanje nevronske mreže pomeni, da jo obveščamo o informacijah, ki jih želimo od nje. Ta proces je podoben poučevanju otroške abecede. Pokazali mu so pismo, nato pa vprašajo: "Kakšno je to pismo?" Če je odgovor narobe, se otroku ponovno razloži, kako je prav.

Postopek se ponovi, dokler v pomnilniku ne ostanejo pravilni podatki. Ta postopek se imenuje "usposabljanje z učiteljem".

Bistvo procesa

Poglejmo, kako deluje umetna nevronska omrežja. Usposabljanje se izvaja po podobni shemi. Sprva je sprejeta določena zbirka podatkov, ki vsebuje nekaj primerov (niz slik črk).

Če na vhodu nevronske mreže prikažemo črko "A", daje natančen odgovor, ki je lahko napačen. Na želeni izhod v opravilni predlagala niz razvrščanju se uporablja (1,0,0, hellip-), pri čemer je izhod z oznako "A" je 1, in vsi drugi izhodi - 0 mark.

Pri določanju razlike med dejanskim in želenim omrežnim odzivom dobimo 33 številk - to je vektor morebitne napake. Ponavljajoči se lahko ji pokažete isto pismo. Zato se učni proces obravnava kot ponavljanje identičnih vaj (usposabljanje), zato lahko rečemo, da se izvaja dovolj globoko usposabljanje.

Nevronska mreža brez treninga ni pripravljena na delo. Šele po večkratni predstavitvi primerov znanja se postopoma stabilizirajo, sistemi dajejo pravilne odgovore na predlagana vprašanja.

V takih situacijah je rečeno, da je potekalo globoko usposabljanje. Nevronske mreže postopoma zmanjšujejo obseg napake. Ko se njegova vrednost zmanjša na nič, se usposabljanje ustavi. Izobraževalna nevronska mreža je primerna za uporabo na novih neobdelanih podatkih.

Informacije o nalogi, ki jo ima omrežje, se nahajajo v nizu primerov. Zato je učinkovitost usposabljanja nevronske mreže povezana s številom primerov, ki jih vsebuje kompleks usposabljanja. Obstaja tudi odvisnost od popolnosti opisa problema.

Na primer, nevronski sistem ne more predvideti finančne krize, če scenariji v vzorcu usposabljanja niso bili zagotovljeni. Strokovnjaki trdijo, da je za kakovostno mrežno usposabljanje potrebno dokazati vsaj deset primerov.

Učni proces je znanostno intenziven in zapleten. Ko je končana, lahko omrežje uporabljate v praktične namene.

Glavna značilnost človeških možganov je razmnoževanje pridobljenih informacij v situacijah, kjer je to potrebno. Izobraženo omrežje ima veliko informacij, ki vam omogočajo, da dobite pravi odgovor za nove slike.

Za konstrukcijo učnega procesa moramo imeti idejo o modelu okolja, v katerem deluje nevronska mreža.

Takšen model določa nalogo učenja. Prav tako morate razumeti, kako lahko spremenite osnovne parametre omrežja, kako uporabljati nastavitve. Bistvo učenja vključuje postopek, v katerem se uporabljajo pravila učenja za algoritme za odpravljanje napak.

Algoritmi za učenje nevronskih mrež

Trenutno uporabljajo nekaj svojih možnosti:

• konjugirani gradienti;
• širjenje hrbta;
• Quasi-Newtonian;
• psevdo-povratne;
• Trening Kohonen;
• Levenberg-Markar;
• vektorski kvantizator;
• metoda najbližjih sosedov K (KNN)
• določanje izrecnih odstopanj.

To ni vse algoritmi za učenje nevronskih mrež, trenutno uporablja.

Po določitvi števila slojev in števila elementov v vsakem od njih je treba določiti kazalnike za to omrežje, kar bi zmanjšalo napako napovedi, ki jo ponuja.

Ta proces se lahko šteje za prileganje modela, ki ga omrežje izvaja na predstavljene informacije o usposabljanju.

Pomembne točke

Napaka za določeno omrežno konfiguracijo se izračuna tako, da se vsa obstoječa opazovanja prilagajajo in primerjajo s ciljnimi vrednostmi izhodnih vrednosti.

Bolje je uporabiti tiste algoritme, ki omogočajo usposabljanje nevronske mreže v najmanjšem številu korakov. Prevzemajo majhno število spremenljivk. Razlog za to izbiro je, da v tem trenutku usposabljanje nevronskih mrež se izvaja na računalnikih z majhno zmogljivostjo, omejenim pomnilnikom.

Sorte

Stohastične metode prevzemajo precejšnje število korakov v učnem procesu. Zato jih je praktično nemogoče uporabiti za sodobne nevronske mreže velikih dimenzij.

Eksponentno povečanje natančnosti iskanja z naraščanjem v algoritmih optimizacije obsega dimenzije problema ne dovoljuje uporabe takih sistemov v učnem procesu.

Metoda konjugatnega gradienta je zelo občutljiva na točnost izvedenih izračunov. Zlasti pri reševanju problemov optimizacije vzorec lestvice. Uporabljati morajo dodatne spremenljivke.

Vsi algoritmi za trening nevronske sisteme, ki se trenutno uporabljajo, temeljijo na funkciji ocenjevanja. To vam omogoča celovito oceno kakovosti celotnega omrežja.

Štejejo se za precej preproste, zato ne dajejo dobrih sistemov za upravljanje za kratek čas, niso primerni za analizo kompleksnih sistemov.

Možnosti za pospešitev učnega procesa

Ker se nevronske mreže štejejo za eno od manifestacij umetne inteligence, se pogosto uporabljajo pri prepoznavanju vzorcev, pri reševanju problemov optimizacije.

Veliko modelov takšnih omrežij je bilo ustvarjenih, ki se soočajo z različnimi uporabljenimi problemi. Za vsakega od njih obstajajo algoritmi in metode usposabljanja. Kljub takšni raznolikosti se delo na izboljševanju algoritmov in ustvarjanju novih modelov ne ustavi, vendar teorija omrežij še ni dovolj formalizirana.

Faze razvoja

Obstajajo dve glavni fazi, ki se uporabljajo pri razvoju nevronskih mrež. Strukturna sinteza vključuje izbiro konkretnega modela, pa tudi analizo predhodne strukture, učnega algoritma.

Parametrična sinteza ne vključuje le procesa učenje nevronske mreže, ampak tudi kvalitativni test rezultatov. Ob upoštevanju tega se lahko odloči, ali se bo v začetni fazi vrnil parametrična ali strukturna analiza.

Nepopolno oblikovanje stopenj vodi do številnih težav za ustvarjeno omrežje. Na primer, na stopnji strukturne sinteze pri izbiri modela, strukture, algoritma, bo potrebno veliko truda, pomoč izkušenih razvijalcev računalnikov.

Na stopnji parametrične sinteze med učnim procesom se pojavijo omejeni računalniški viri. Težave s kompleksno strukturo bodo zahtevale veliko napora pri nevronskih sistemih, zato proces vključuje znatne časovne stroške.

Obstajajo določene metode za zmanjšanje takih stroškov za usposabljanje nevronskih večplastnih omrežij. Temeljijo na načelu zadostnosti, v katerem sistemska napaka ne more preseči določenega kazalnika. Na primer, na takšne metode se upošteva popravek korakov posodobitve uteži, preoblikovanje prepoznavnih razredov.

Proizvedeno učenje nevronske mreže dokler napaka ne doseže nič. To je povezano z velikim odhodkom časovnih virov, ker ni mogoče takoj odkriti napake, da bi odpravili vzrok njenega pojava.

Zaključek

Določite učinkovitost učenje nevronske mreže z določenim opravilom lahko dosežete želeni rezultat.

Na primer, če je predlagana določena naloga, povezana s klasifikacijo, je za rešitev tega potrebna večslojna nevronska mreža. Za njeno vadbo je primeren sodoben algoritem za nazaj propagiranje napake.

Ocenjevanje možnih napak, ki se pojavijo med učnim procesom, se izvaja na dva načina: globalno in lokalno. Druga možnost domneva, da v izhodnem plastičnem nevronu obstajajo napake. Pri globalnem pogledu se domneva, da je prisoten i-ti vadbeni niz napak celotnega omrežja.

Usposabljanje se lahko šteje za idealno, če po njej omrežje v celoti ponovi vzorec usposabljanja, ne daje napak in nepravilnosti v delovanju.

Takšno usposabljanje je delovno intenzivno. To se doseže le v redkih primerih. Načelo zadostnosti je v celoti zavrniti iskanje ideala pri opravljanju določene naloge. Če jo prenesete v postopek usposabljanja nevronske sodobne mreže, potem idealna natančnost ni vedno opazna.

Če želite prepoznati objekt in njegove funkcije, je dovoljeno, da omrežna napaka v nizu ne presega eksponenta delta-. Takšna vrednost se šteje za najvišji indeks, pri katerem se ohranja natančnost izračuna.

Pristop z nevronsko mrežo je še posebej učinkovit pri opravljanju nalog, povezanih z ocenjevanjem strokovnjakov, obdelavo informacij različnih vrst.