A mesterséges ideghálózat vagy a mesterséges ideghálózat olyan rendszer, amelynek kialakítását eredetileg sematikusan a biológiai idegsejtek működése ihlette , és amely ezt követően közelebb került a statisztikai módszerekhez.
Az ideghálózatokat általában valószínűségi típusú tanulási módszerekkel optimalizálják , különös tekintettel a Bayes-re . Egyrészt a statisztikai alkalmazások családjába tartoznak , amelyeket olyan paradigmákkal gazdagítanak, amelyek lehetővé teszik a gyors osztályozások létrehozását ( különösen a Kohonen-hálózatok ), másrészt a mesterséges intelligencia módszercsaládjába. az általuk létrehozott egy észlelési mechanizmusa független a kivitelező saját ötletek, és bemeneti információ formális logikai érvelés (lásd a Deep Learning ).
A biológiai áramkörök modellezésében lehetővé teszik a neurofiziológia néhány funkcionális hipotézisének tesztelését, vagy e hipotézisek következményeit a valósághoz való összehasonlításhoz.
Az ideghálózatok egy biológiai paradigmára épülnek , a formális neuronra (mivel a genetikai algoritmusok a természetes szelekción vannak ). Az ilyen típusú biológiai metaforák általánossá váltak a kibernetika és a biokibernetika elképzeléseivel . Yann Le Cun képlete szerint nem állítja, hogy jobban leírja az agyat, mint egy repülőgép szárnya, például egy madár másolatát másolja . Különösen a gliasejtek szerepét nem szimulálják.
Warren McCulloch és Walter Pitts neurológusok az ötvenes évek végén tették közzé az ideghálózatokról szóló első munkát, amelynek alapvető cikkével: Mit mond a béka szeme a béka agyának). Ezután felépítették a biológiai idegsejt egyszerűsített modelljét, amelyet általában hivatalos idegsejtnek hívnak . Megmutatták, hogy az egyszerű formális neurális hálózatok elméletileg komplex logikai , számtani és szimbolikus funkciókat képesek ellátni .
A formális idegsejt átviteli funkcióval felruházott automatának tekinthető , amely bemeneteit kimenetekké alakítja át a pontos szabályok szerint. Például egy neuron összegzi a bemenetét, összehasonlítja a kapott összeget egy küszöbértékkel, és válaszként jelet bocsát ki, ha ez az összeg nagyobb vagy egyenlő ezzel a küszöbértékkel (a biológiai idegsejt működésének egyszerűsített modellje). Ezek a neuronok olyan hálózatokban is társulnak, amelyek kapcsolati topológiája változó: proaktív, visszatérő hálózatok stb. Végül a jelátvitel hatékonysága az egyik idegsejtből a másikba változhat: "szinaptikus súlyról" beszélünk , és ezeket a súlyokat tanulási szabályokkal lehet modulálni (ami utánozza a hálózatok szinaptikus plaszticitását. Biológiai).
A formális ideghálózatok, mint az élő modell, funkciója az, hogy gyorsan osztályozzanak, és megtanulják, hogyan javítsák azokat. A hagyományos számítógépes megoldási módszerektől eltérően nem szabad lépésről lépésre felépíteni a programot annak megértése alapján. Ennek a modellnek a fontos paraméterei az egyes idegsejtek szinaptikus együtthatói és küszöbértékei, valamint ezek beállításának módja. Ők határozzák meg a hálózat fejlődését a bemeneti információk alapján. Ki kell választani egy mechanizmust, amely lehetővé teszi számításukat, és lehetővé teszi számukra, hogy lehetőleg az optimálishoz minél közelebbi besorolást biztosító érték felé közelítsenek. Ezt nevezzük a hálózat tanulási szakaszának. A formális ideghálózatok modelljében a tanulás tehát a bemutatott példák osztályozására legalkalmasabb szinaptikus együtthatók meghatározását jelenti.
McCulloch és Pitts munkája nem adott utalást a szinaptikus együtthatók adaptálásának módszerére. Erre a kérdésre, amely a tanulás elmélkedésének középpontjában állt, először Donald Hebb kanadai fiziológus 1949-ben a tanulás terén végzett munkájának köszönhető a válasz, amelyet A viselkedés szervezete című könyvében írtak le . Hebb egy egyszerű szabályt javasolt, amely lehetővé teszi a szinaptikus együtthatók értékének módosítását az általuk összekapcsolt egységek aktivitása szerint. Ez a ma " Hebb-szabály " néven ismert szabály szinte mindenhol jelen van a jelenlegi modellekben, még a legkifinomultabbak is.
Ezt a cikket, az ötlet megfogta idővel a fejében, és kicsírázott a szem előtt Frank Rosenblatt a 1957 és a modell a perceptron . Ez az első mesterséges rendszer, amely képes tapasztalatból tanulni, még akkor is, ha oktatója hibákat követ el (ami egyértelműen eltér a formális logikai tanulási rendszertől).
A 1969 , komoly ütést mérte a tudományos közösség körül forgó neurális hálózatok: Marvin Lee Minsky és Seymour Papert megjelent munkája kiemelve néhány elméleti korlátai perceptron, és általánosabban a lineáris osztályozók , különösen a lehetetlen kezelésére nemlineáris vagy kapcsolódási problémák . Ezeket a korlátozásokat hallgatólagosan kiterjesztették a mesterséges ideghálózatok összes modelljére. A zsákutcában lévőnek tűnő idegrendszeri hálózatokkal kapcsolatos kutatás elvesztette állami finanszírozásának nagy részét, és az ipari szektor is elfordult tőle. A mesterséges intelligenciára szánt pénzeszközöket inkább a formális logika felé irányították . Bizonyos idegi hálózatok szilárd tulajdonságai azonban adaptív kérdésekben (pl. Adaline ), lehetővé téve számukra evolúciós módon a jelenségek evolúciós modellezését, többé-kevésbé explicit formákba történő integrálódásukhoz vezetnek az adaptív rendszerek korpuszában. ; telekommunikációban vagy ipari folyamatirányításban használják.
A 1982 , John Joseph Hopfield , elismert fizikus, új életet, hogy az idegi közzétételével egy cikket bevezetésével egy új modell a neurális hálózat (teljesen visszatérő). Ez a cikk több okból is sikeres volt, a legfontosabb az idegi hálózatok elméletének színezése a fizikusok sajátos szigorával. A neurális ismét elfogadható vizsgálati tárgy lett, bár a Hopfield-modell szenvedett az 1960-as évek modelljeinek fő korlátaiból , nevezetesen a nemlineáris problémák kezelésének képtelenségéből.
Ugyanebben a dátumban a mesterséges intelligencia algoritmikus megközelítései kiábrándultak, alkalmazásuk nem felelt meg az elvárásoknak. Ez a kiábrándulás motiválta a mesterséges intelligencia kutatásának átirányítását a neurális hálózatok felé (bár ezek a hálózatok szigorúan a mesterséges észlelésre vonatkoznak , nem pedig a mesterséges intelligenciára ). A kutatás újrakezdődött, és az ipar visszanyerte az idegsejtek iránti érdeklődését (különösen olyan alkalmazások esetében, mint például a cirkálórakéták irányítása ). A 1984 (?), A gradiens backpropagation rendszer volt a leginkább vitatott témát a területen.
Ezután forradalom következik be a mesterséges neurális hálózatok területén: a neurális hálózatok új generációja, amely képes nemlineáris jelenségek sikeres feldolgozására: a többrétegű perceptronnak nincsenek Marvin Minsky által kiemelt hibái . Paul Werbos által először javasolt , a többrétegű perceptron 1986-ban jelenik meg, amelyet David Rumelhart vezetett be , és egyidejűleg, hasonló néven, Yann Le Cun-nál . Ezek a rendszerek a hibagradiens backpropagation- jén alapulnak több rétegben, mindegyik Bernard Widrow Adaline típusú rendszerben, közel Rumelhart perceptronjához.
A neurális hálózatok ezt követően tapasztalt jelentős boom, és az elsők között rendszerek előnye a betekintést az elmélet „statisztikai szabályozás” által bevezetett Vladimir Vapnik a Szovjetunió és népszerűsítette a Nyugat bukása óta a Szovjetunióban. Falat . Ez az elmélet, amely a statisztika területén az egyik legfontosabb , lehetővé teszi a túlillesztéshez kapcsolódó jelenségek előrejelzését, tanulmányozását és szabályozását . Így szabályozhatunk egy tanulási rendszert úgy, hogy az döntést hozzon legjobb esetben a gyenge modellezés (például: az átlag ) és a túl gazdag modellezés között, amelyet illuzórikusan optimalizálnának túl kevés példán, és inaktívak lennének a még nem tanult példákon, még közel a tanult példákhoz. A túlillesztés nehézség, amellyel az összes példaképes tanulási rendszer szembesül, függetlenül attól, hogy közvetlen optimalizálási módszereket (pl. Lineáris regresszió ), iteratív (pl. Gradiens algoritmus ) vagy iteratív fél direkt ( konjugált gradiens , várakozás-maximalizálás ...) alkalmaznak, és hogy ezeket alkalmazzák a klasszikus statisztikai modellekre, a rejtett Markov-modellekre vagy a formális ideghálózatokra.
A neurális hálózatok egy új típusú hálózattal fejlődnek, amely nincs teljesen összekapcsolva, hogy megkönnyítsék a modelleket a paraméterek száma szempontjából, és javítsák a teljesítményt és általánosítási képességüket. Az egyik első alkalmazás az amerikai irányítószámok automatikus felismerése volt a LeNet-5 hálózattal. A gépi tanulásban a konvolúciós neuronhálózat vagy a konvolúciós neuronhálózat (CNN vagy ConvNet a konvolúciós neurális hálózatokhoz) egyfajta aciklikus (előremenő) mesterséges neuronhálózat, amelyben a neuronok közötti kapcsolódási mintázatot az állatok vizuális kérge inspirálja. . Az agy ezen régiójának neuronjai úgy vannak elrendezve, hogy megfeleljenek az átfedő régióknak a látómező csempézésekor. Működésüket a biológiai folyamatok ihlették, többrétegű perceptronokból állnak, amelyek célja kis mennyiségű információ előfeldolgozása. A konvolúciós ideghálózatok széles körben alkalmazzák a kép- és videófelismerést, az ajánlási rendszereket és a természetes nyelv feldolgozását.
A neurális hálózatok, mint tanulásra képes rendszerek, megvalósítják az indukció elvét, vagyis a tapasztalat által történő tanulást. Konkrét helyzetekkel összehasonlítva olyan integrált döntési rendszerre következtetnek, amelynek általános jellege függ a megtanult tanulási esetek számától és összetettségétől a megoldandó probléma összetettségéhez képest. Ezzel szemben a tanulásra képes szimbolikus rendszerek, ha az indukciót is megvalósítják, ezt algoritmikus logika alapján teszik, a deduktív szabályok halmazának bonyolultabbá tételével ( például Prolog ).
Osztályozási és általánosítási képességüknek köszönhetően a neurális hálózatokat tipikusan statisztikai jellegű problémákban használják, például automatikus irányítószámok besorolásában, vagy az ármozgások alapján döntenek a részvényvásárlásról. Egy másik példa: a bank adatokat hozhat létre azokról az ügyfelekről, akik hitelt vettek fel: jövedelmükből, életkorukból, az eltartott gyermekek számából és arról, hogy jó ügyfelek-e. Ha ez az adatkészlet elég nagy, fel lehet használni egy neurális hálózat képzésére. Ezután a bank képes lesz bemutatni a potenciális új ügyfél jellemzőit, és a hálózat az általa ismert esetekből általánosítva válaszol arra, hogy jó ügyfél lesz-e vagy sem.
Ha az idegháló valós számokkal működik, akkor a válasz a bizonyosság valószínűségét tükrözi. Például: 1 a "biztos, hogy jó vevő lesz", -1 a "biztos, hogy rossz vevő lesz", 0 a "nincs ötlet", 0,9 a "szinte biztos, hogy jó vevő lesz".
A neurális hálózat nem mindig nyújt olyan szabályt, amelyet az ember használhat. A hálózat gyakran fekete doboz marad, amely választ ad, ha egy adattal együtt bemutatja, de a hálózat nem nyújt könnyen értelmezhető indokolást.
A neurális hálózatokat ténylegesen használják, például:
A mesterséges neurális hálózatoknak valós esetekre van szükségük, amelyek példaként szolgálnak a tanuláshoz (ezt nevezzük tanulási alapnak ). Ezeknek az eseteknek annál nagyobbnak kell lenniük, mivel a probléma összetett, és topológiája nem túl strukturált. Így a neurális karakter-olvasási rendszer optimalizálható a sok ember által kézzel írt szavak kézi felosztásával. Ezután minden karakter nyers kép formájában kerülhet bemutatásra, kétdimenziós térbeli topológiával vagy szinte minden összekapcsolt szegmens sorozatával. A megtartott topológiát, a modellezett jelenség összetettségét és a példák számát össze kell kapcsolni. Gyakorlati szinten ez nem mindig könnyű, mert a példák lehetnek vagy korlátozott mennyiségben, vagy túl drágák ahhoz, hogy kellő mennyiségben összegyűjtsék őket.
Vannak problémák, amelyek jól működnek a neurális hálózatokkal, különösen azok, amelyek konvex tartományokba vannak besorolva (azaz olyanok, hogy ha az A és B pont a tartomány része, akkor a teljes AB szegmens is része). Olyan problémák, mint " Furcsa vagy páros a bejegyzések száma 1-nél (vagy nulla)?" »Nagyon rosszul vannak megoldva: ha ilyeneket állítunk 2 N teljesítményponton, ha elégedettek vagyunk egy naiv, de homogén megközelítéssel, akkor pontosan N-1 rétegekre van szükségünk a köztes neuronokról, ami káros a folyamat általánosságára.
Karikatúra, de jelentős példa a következő: mivel a hálózatnak csak egy személy súlya van, a hálózatnak meg kell határoznia, hogy ez a nő nő vagy férfi-e. Mivel a nők statisztikailag kissé könnyebbek, mint a férfiak, a hálózat mindig valamivel jobban fog teljesíteni, mint egy egyszerű véletlenszerű sorsolás: ez a lecsupaszított példa megmutatja e modellek egyszerűségét és korlátait, de megmutatja, hogyan is kell kibővíteni: A szoknya "információ, ha hozzáadjuk, egyértelműen nagyobb szinaptikus együtthatóval rendelkezik, mint az egyszerű tömeginformáció.
A komplex mesterséges neurális hálózatok általában nem tudják önmagukban megmagyarázni a "gondolkodásuk" módját. Az eredményt eredményező számítások nem láthatók az ideghálózatot létrehozó programozók számára. Ezért egy „mesterséges intelligencia idegtudományt” hoztak létre az ideghálózatok által létrehozott fekete doboz tanulmányozására. Ez egy olyan tudomány, amely lehetővé teheti a bizalom növelését az ilyen hálózatok vagy az azokat használó mesterséges intelligenciák iránt.
A neurális hálózat általában rétegekből áll, amelyek mindegyike az előző kimeneteiből veszi a bemeneteit. Minden réteg (i) N i idegsejtekből áll, és bemenetüket az előző réteg N i-1 neuronjaiból veszik . Minden szinapszishoz tartozik egy szinaptikus súly, így az N i-1- ket megszorozzuk ezzel a tömeggel, majd hozzáadjuk az i szintű neuronokkal, ami egyenértékű a bemeneti vektor transzformációs mátrixszal való megszorzásával. Az ideghálózat különböző rétegeinek egymás mögé helyezése több transzformációs mátrix kaszkádozását jelentené, és redukálható egyetlen mátrixgá, a többiek szorzatává, ha nem lennének az egyes rétegeknél, akkor a kimeneti függvény nemlinearitást vezet be minden lépésnél. Ez megmutatja a jó kimeneti függvény megfontolt megválasztásának fontosságát: egy idegi hálózat, amelynek kimenete lineáris lenne, nem érdekli.
Ezen az egyszerű struktúrán túl az ideghálózat hurokokat is tartalmazhat, amelyek gyökeresen megváltoztatják lehetőségeit, de összetettségét is. Ahogyan hurkok képes átalakulni kombinatorikus logika a szekvenciális logikai , hurkok neurális hálózat átalakítani egy egyszerű input elismerését készülék egy összetett gép, amely képes mindenféle viselkedést.
Vegyünk bármilyen neuront.
Szinaptikus kapcsolatai révén számos értéket kap az upstream neuronoktól, és egy kombinációs függvény segítségével bizonyos értéket állít elő . Ez a funkció tehát formalizálható mint egy -to- skalár vektor funkció , különösen:
Az aktiválási funkciót (vagy a küszöbérték-függvényt , vagy akár az átviteli funkciót ) arra használják, hogy a nem-linearitást bejuttassák az idegsejt működésébe.
A küszöbfüggvényeknek általában három intervalluma van:
Az aktiválási funkciók tipikus példái a következők:
A Bayes-logika, amelynek a Cox-Jaynes-tétel formalizálja a tanulási kérdéseket, magában foglal egy S-függvényt is, amely ismételten felmerül:
Miután ez a számítás megtörtént, az idegsejt új belső állapotát terjeszti axonján. Egy egyszerű modellben az idegi függvény egyszerűen küszöbérték-függvény: egyenlő 1-vel, ha a súlyozott összeg meghaladja egy bizonyos küszöbértéket; 0 különben. Gazdagabb modellben az idegsejt valós számokkal dolgozik (gyakran [0,1] vagy [-1,1] tartományban). Azt mondjuk, hogy az ideghálózat egyik állapotból a másikba megy, amikor minden neuronja párhuzamosan újraszámolja belső állapotát a bemeneteiknek megfelelően.
A tanulás fogalma , bár Sumer óta már ismert , nem modellezhető a deduktív logika keretein belül : ez valójában már megalapozott tudásból származik, amelyből származtatott tudás merül. Ez azonban fordított folyamat: korlátozott megfigyelésekkel, elfogadható általánosítások lehívásával: ez egy indukciós folyamat .
A tanulás fogalma két, gyakran egymás után kezelt valóságra terjed ki:
A klasszikus statisztikai modellek, az ideghálózatok és a markovi automaták optimalizálására használt statisztikai tanulási rendszerek esetében az általánosítás az összes figyelem tárgya.
Az általánosítás ezen fogalmát több elméleti megközelítés többé-kevésbé teljes mértékben kezeli.
A hálózat felépítésétől függően a neurális hálózatoknak köszönhetően különböző típusú funkciók érhetők el:
A perceptron által reprezentálható funkciókA perceptron (egy egységből álló hálózat) a következő logikai függvényeket képviselheti: és, vagy, nand, és nem, de nem xor. Mivel ezek a függvények bármelyik logikai funkciót reprezentálhatnak, a perceptron hálózat képes reprezentálni az összes logikai függvényt. Valójában a nand és nor a függvények sem univerzálisak: e funkciók egyikének kombinálásával képviselhetjük a többit.
Aciklusos, többrétegű ideghálózatok által reprezentálható funkciókAz ideghálózatok túlnyomó többségének van egy „képzési” algoritmusa, amely a szinaptikus súlyok módosításából áll, a hálózat bemenetén bemutatott adatkészletnek megfelelően. Ennek a képzésnek az a célja, hogy az ideghálózat „tanuljon” a példákból. Ha az edzést helyesen hajtják végre, a hálózat képes kimeneti válaszokat adni, amelyek nagyon közel állnak az edzés adatkészletének eredeti értékeihez. De a neurális hálózatok lényege abban rejlik, hogy képesek általánosítani a tesztkészletből. Ezért lehetséges neurális hálózat felhasználása memória előállítására; ezt neuronális memóriának hívják .
A topológiai nézet a tanulás megfelel a meghatározása a hiperfelület on , ahol a valós számok halmaza , és a bemenetek számát a hálózat.
Azt mondják, hogy egy tanulást akkor felügyelnek, amikor a hálózat konvergálni kényszerül a pontos végállapot felé, ugyanakkor a minta bemutatásra kerül.
Ezzel szemben a felügyelet nélküli tanulás során a hálózat szabadon konvergálhat bármely végállapotba, amikor egy minta bemutatásra kerül.
TúlfeszítésGyakran előfordul, hogy a tanulási alap példái hozzávetőleges vagy zajos értékeket tartalmaznak. Ha arra kényszerítjük a hálózatot, hogy szinte tökéletesen reagáljon ezekre a példákra, akkor olyan hálózatot kaphatunk, amelyet téves értékek torzítanak.
Képzeljük el például, hogy bemutatjuk a hálózatnak az egyenletvonalon elhelyezkedő , de zajos párokat , hogy a pontok ne legyenek pontosan az egyenesen . Ha jó a tanulás, a hálózat reagál minden bemutatott értékre . Ha van túlterhelés , akkor a hálózat valamivel többet vagy kevesebbet reagál , mert a jobboldalon kívül elhelyezkedő párok befolyásolják a döntést: emellett megtanulta a zajt is, ami nem kívánatos.
A túlillesztés elkerülése érdekében van egy egyszerű módszer: elegendő a példák alapját 2 részhalmazra osztani. Az első a tanulás, a második a tanulás értékelésére szolgál. Amíg a második halmazon kapott hiba csökken, addig folytathatjuk a tanulást, különben abbahagyjuk.
A hátsó terjedés célja, hogy újrapropogassa az idegsejt szinapszisainak és a hozzá kapcsolódó idegsejtek hibáját. Az ideghálózatok esetében általában a hibagradiens backpropagationját alkalmazzuk , amely a hibák kijavításában áll azon elemek fontossága szerint, amelyek pontosan részt vettek e hibák megvalósításában: a szinaptikus súlyok, amelyek hozzájárulnak a hiba generálásához. szignifikánsabb módon módosult, mint azok a súlyok, amelyek marginális hibát generáltak.
A metszés ( metszés , angol) olyan módszer, amely elkerüli a túledzést, miközben korlátozza a modell komplexitását. Ez a kapcsolatok (vagy szinapszisok), a bemenetek vagy az idegsejtek eltávolításából áll a hálózatból, miután a tanulás befejeződött. A gyakorlatban a hálózati kimeneti hibára legkevésbé befolyásoló elemeket elnyomják. A metszési algoritmusok két példája a következő:
A szinaptikus kapcsolatok súlykészlete meghatározza az idegháló működését. A mintákat a neurális hálózat egy részhalmazának mutatják be: a bemeneti rétegnek. Ha egy mintát egy hálózatra alkalmaznak, az stabil állapotra törekszik. Amikor elérte, a kimeneti idegsejtek aktivációs értékei alkotják az eredményt. Rejtett idegsejteknek nevezzük azokat a neuronokat, amelyek sem a bemeneti, sem a kimeneti réteg részei .
Az ideghálózat típusai több paraméterben különböznek:
Valószínűleg sok más paraméter is megvalósul ezen ideghálózatok képzése keretében, például:
Az ADALINE hálózat közel van a perceptron modellhez , csak az aktiválási funkciója különbözik, mivel lineáris függvényt használ. A bemenetnél kapott interferencia csökkentése érdekében az ADALINE hálózatok a legkisebb négyzetek módszert alkalmazzák .
A hálózat megvalósítja a bemeneti értékek súlyozott összegét, és hozzáad egy előre definiált küszöbértéket. A lineáris transzfer funkciót ezután használják az idegsejt aktiválására. Tanuláskor a különböző bejegyzések szinaptikus együtthatóit Widrow-Hoff (in) törvénye alapján változtatják meg . Ezeket a hálózatokat gyakran használják a jelfeldolgozásban, különösen zajcsökkentés céljából.
Cauchy gépA Cauchy-gép egy mesterséges ideghálózat, amely nagyon hasonló a Boltzmann-gép működéséhez . Az alkalmazott valószínűségi törvények azonban nem azonosak.
Nem részletezettAz ilyen típusú, felügyelet nélküli tanulás során az idegsejtek versenyeznek az aktívságért. Bináris kimenet, és azt mondjuk, hogy akkor aktívak, ha a kimenetük 1. Míg a többi szabályban több idegi kimenet is aktív lehet egyszerre, addig a versengő tanulás esetén egyszerre csak egy idegsejt aktív. Minden kimeneti idegsejt specializálódott egy hasonló alakú sorozat "detektálására", majd jellemződetektorokká válik. A bemeneti funkció ebben az esetben, ahol a , és rendre a küszöbértéket, szinaptikus súlyok és bemenetek vektorok. A nyertes neuron az, amelynek h értéke a maximális, tehát ha a küszöbértékek megegyeznek, akkor az az, amelynek a súlya a legközelebb van a bemenethez. A maximális kimenettel rendelkező neuron lesz a nyertes, és a kimenetét 1-re állítják, míg a vesztesek kimenetét 0-ra állítják. Egy idegsejt úgy tanul, hogy súlyát az aktiváló bemenetek értékéhez mozgatja, hogy növelje a a győzelem esélye. Ha egy idegsejt nem reagál egy bemenetre, akkor a súly beállítása nem történik meg. Ha egy neuron nyer, akkor az összes bemenet súlyának egy részét újraosztják az aktív bemenetek súlyához. A szabály alkalmazása a következő eredményeket adja (Grossberg):
Ennek a szabálynak az a hatása, hogy a szinaptikus súlyvektor közelebb kerül a bemeneti alakhoz .
Példa: vegyük figyelembe a sík két pontfelhőjét, amelyeket két osztályra szeretnénk választani. és ezek a két bemenet, és ezek az 1. idegsejt súlyai, amelyek az „1. idegsejt súlya” pont koordinátáinak tekinthetők, és a 2. idegsejt súlyai. Ha a küszöbérték nulla, akkor hi lesz a távolság az osztályozandó pontokat és a súlypontokat. Az előző szabály csökkenti ezt a távolságot a mintaponttól, amikor az idegsejt nyer. Ezért lehetővé kell tennie, hogy az egyes súlypontok felhő közepén helyezkedjenek el. Ha kezdetben véletlenszerűen állítjuk be a súlyokat, előfordulhat, hogy az egyik idegsejt a két felhő közelében, a másik pedig messze helyezkedik el, így soha nem nyer. Súlya soha nem lesz képes fejlődni, míg a másik idegsejt súlya a két felhő közepén helyezkedik el. Ezeknek az idegsejteknek a problémáját, amelyeket halottnak minősítünk, a küszöbön való játékkal lehet megoldani. Valóban elegendő megnövelni ezeknek az idegsejteknek a küszöbét, hogy nyerni tudjanak.
Alkalmazások: ez a típusú hálózat és a hozzá tartozó tanulási módszer felhasználható az adatelemzés során annak érdekében, hogy felhívják a figyelmet az egyes adatok közötti hasonlóságokra.
Modellként az ideghálózatokat általában a szoftver szimuláció kontextusában használják. Az IMSL-nek és a Matlab-nak tehát vannak neurális hálózatoknak szentelt könyvtárai. Van azonban néhány egyszerűbb modell hardveres megvalósítása, például a ZISC chip .