Neurális hálózatok – Bevezetés

Aszinkron aktiválás

Ezekben a modellekben az egyes sejtek különböző időpontokban változtatják értékeiket. Itt csak azokat a modelleket vesszük figyelembe, amelyek nem valós időfogalmat használnak, hanem csak egy relatív időfogalmat, az új kimenet kiszámításának sorrendje szerint. Különbséget teszünk a különböző módok között:

Fix sorrend

Rögzített sorrend van (pl. belső, egyedi szám szerint $\mathrm{én}$ neuronok). Idegsejt $\mathrm{én}$ majd kiszámítja az új aktiválását $a_{\mathrm{én}}$ és kimenet $O_{\mathrm{én}}$a következő cella előtt $\mathrm{én}+1$ ugyanezt csinálva. Egy tanulási ciklus ezután mindegyiken végigfut $n$ A hálózat neuronjai sorrendben $1,\dots ,\text{n}$. Ez a módszer a leggyorsabb módszer az előrecsatolt hálózatokhoz, feltéve, hogy a neuronok belső száma topológiai rendezésnek felel meg. Ez gyakran a hálózat ügyes generálásával érhető el.

Véletlen sorrend

Ez történetesen egy neuron $\mathrm{én}$ kiválasztva, ez kiszámítja az új aktiválást $a_{\mathrm{én}}$ és kimenet $O_{\mathrm{én}}$, akkor véletlenszerűen kiválasztunk egy másik neuront. Egy tanulási ciklus akkor a $n$- ezt a lépést kétszer végrehajtva. Megjegyzendő, hogy ez a módszer véletlen szelekción keresztül lehetővé teszi egyes neuronok számára, hogy cikluson belül többször is kiszámítsák az új aktiválódást és kimenetet, míg másokat egyáltalán nem választanak ki, ezért ezt a módszert ritkán alkalmazzák, de ez volt az elméleti alapja a A von Hopield hálózatok stabilitásának első bizonyítékai.

Véletlenszerű permutáció

Ez a mód úgy működik, mint a véletlenszerű kiválasztás, csak itt van az összes permutációja (minden ciklusban újra meghatározva) $n$ A sorrend kiválasztásához használt neuronok, ami biztosítja, hogy minden neuron cikluson belül pontosan egyszer számítja ki az új kimenetét. Ennek a módszernek az a problémája is, hogy a véletlenszerű permutáció kiszámítása időigényes, és általában az új aktiválások számítási sorrendje is ügyetlen.

Topológiai sorrend

Ez a mód a legkedvezőbb az előrecsatolt hálózatokhoz. A neuronok egy topológiai sorrend szerint számítják ki az új aktiválódásukat, amit a hálózati topológia ad meg, azaz először a bemeneti neuronok, majd először a rejtett réteg stb. egészen a kimenetig. A tanulási ciklus itt úgy definiálható, hogy mindegyiken keresztül megy $n$ A hálózat neuronjai a megadott topológiai sorrend szerint. Az úgynevezett shortcut kapcsolatok, vagyis a rétegeket kihagyó kapcsolatok nem jelentenek problémát, de a hálózatnak ciklusmentesnek kell lennie. Ez a hálózati gráf topológiai rendezésével történik néhány hálózati szimulátorral, pl. ¹⁾ (Stuttgart Neural Network Simulator) automatikusan ellenőrzi. Mivel ezt az ellenőrzést csak egyszer kell elvégezni, a szükséges idő nem döntő.

Ezek a dinamikus tulajdonságok elsősorban a továbbterjedés szempontjából kritikusak. A legtöbb tanulási módszer létrehozza az egyik ilyen terjedési sémát. Például az előrecsatolt hálózatok visszaterjesztése egyenletein keresztül feltételezi a topológiai sorrend használatát.

Videó: DU Povratne neuronske mreže - Optimizacija 33 (Július 2022).