Túltanulás

Angol megnevezés: over-learning

Történeti modul

• 1966: A túltanulás azt jelenti, hogy a tanuló már elérte az egyszeri hibátlan felfogás kritériumát, illetve, hogy a kísérleti személy tovább tanul azután is, amikor már eleget tud tenni ennek a feltételnek. A további munkát ugyanolyan figyelemmel kell folytatnia, mint ami a tananyag elsajátításához szükséges. A lecke puszta, figyelmetlen olvasása nem számít túltanulásnak. A túltanult lecke, ha a fenti követelményeknek eleget tett, jobban megmarad az emlékezetben, mint az egyszerűen megtanult, és általánosságban a megtartás nagyjából arányos az eredeti tanulás mennyiségével (Ebbinghaus, 1885; Krueger,1929) Ezek az eredmények mindenesetre csak akkor megbízhatók, ha jól begyakorolt kísérleti személlyel dolgozunk (Luh, 1922; Cuff, 1927). [1]

• 1979: SKINNER (1948) immár klasszikusnak számító "babonás" kísérletében demonstrálta, hogy egy éhes állatnak pusztán a táplálék megmutatása elegendő ahhoz, hogy egy spontán "emittált" viselkedésminta operáns válasszá váljék. A kísérletben a galambok 15 mp-ként jutottak táplálék- megerősítéshez. A galambok viselkedése és az etetőszerkezet működése között nem volt ok-okozati összefüggés, ennek ellenére a kísérleti állatok mindegyikénél jól elkülöníthető, sztereotíp mozgásminták épültek fel a kondícionálás eredményeképpen. A "babonás" kísérletet számos laboratóriumban sikerült reprodukálni, és az effektus törvénye (THORNDIKE 1911) hosszú ideig elégségesnek bizonyult magyarázatára. Az utóbbi években számos, a "babonás" viselkedéshez hasonló jelenség felfedezésének lehettünk tanúi, melyek kivétel nélkül az instrumentális értelmezés feladását sürgetik. A kezdet az etológusoktól indult. BRELAND és BRELAND (1961) számos fajon végzett kísérleteiben megfigyelte, hogy operáns kondicionálás túltanulás fázisában olyan jellemző magatartásminták bukkantak fel, melyek az adott kísérleti elrendezésben irrelevánsak voltak és interferáltak a jutalomhoz vezető operáns válasszal (pl. zsetonmosás mosómedvéknél, alomépítés patkányoknál). [2]

• 1981: Túltanulás olyan tanulás, amelynek során az ismétlés vagy gyakorlás tovább folytatódik az ésszerűen megállapított tanulási kritérium elérése után.[3]

• 1996: Túltanulás (over-learning). Túlzott mértékben elnyújtott gyakorlás folyamata vagy eredménye, vagyis olyan gyakorlás, mely a tanult anyag hibátlan visszaadásának időpontján túlnyúlik. A tanulás egyfelől viselkedési formák automatizálását, másfelől azonban reaktív gátlás fellépését is előmozdítja. [4]

• 1999: Túltanulás olyan tanulás, amelynél a gyakorlás vagy az ismétlés a feladat megfelelő megoldásához szükséges készség elsajátítása után is folytatódik. Általában nem szokás károsnak tekinteni, vagy azt gondolni, hogy valamit lehetséges túl jól megtanulni. [5]

• 2000: „A köztes rétegbe kerülõ neuronok száma nem egyértelmű. Nyilván ha kevés van, akkor egyszerű és gyors a tanulás, de nem biztos, hogy rá tud jönni minden összefüggésre. Ha viszont sok a köztes rétegben levő neuronok száma, akkor a tanulás lassú lehet, és elképzelhető a túltanulás veszélye is. Köztes rétegből több is lehet. Ilyenkor ugyanúgy kapcsolódik az előtte lévő és mögötte lévő neuronokkal, mint a 9. ábrán látható egyetlen köztes réteg: Például: INPUT–KÖZTES1–KÖZTES2–KÖZTES3–OUTPUT.„
  „A túltanulás veszélye. A túltanulás az a jelenség, amikor a tanulási folyamat során nem az általános problémát tanulja meg a hálózat, hanem a megadott adatbázis sajátosságait. Ennek kiküszöbölésére ketté kell választani az eredetileg meglévő adatbázist. Ez egyik része a tanuló-adatbázis, míg a másik része a tesztadatbázis. A tanuló-adatbázison végezzük el a tanítást, amelynek befejeztével olyan eredményhez jutunk például, hogy a megadott 100 esetből 95-öt eltalál a neurális modell. Ezután nem tanítjuk tovább a hálózatot, hanem megnézzük, mit mond az eddig ismeretlen tesztadatbázisról. Ha az ottani 100 esetből szintén csak néhányat ront el, akkor megelégedhetünk, hiszen az általános összefüggésekre sikerült a hálózatnak „rájönnie”. Ha azonban nagyon nagy a hibázási arány, akkor a hálózat túltanulta magát. Éppen ezért látjuk, hogy nagyon kell vigyázni az adatbázisok szétválasztásánál. Nyilvánvaló, hogy abban az esetben, ha a tanuló adatbázisban nem szerepel (vagy túlságosan alulreprezentált) a 3-as, akkor a tesztadatbázisban ezt a számot gyakran rosszul fogja a hálózat megtippelni.
  Megjegyezzük, hogy a tanulás során lehetőség van arra, hogy a tanuló-adatbázist is kettévágjuk. Az algoritmus ekkor az adatok egy részén csak tanul, másik részén csak tesztel, és magát a tanulást csak akkor állítja le, ha a tanuló és tesztelő fázis közel azonos eredményt ad. Ebben az esetben, ha helyesen választottuk ketté a saját adatbázisunkat, csökkenthetjük a túltanulás veszélyét. „ [6]
• 2001: A túltanulás jelenségével találkozunk, ha a tanulás beválási %-a nagy és jóval felülmúlja a teszt jóságát; így a túltanulás arányai alig alkalmazhatóak biztonságosan a prognózisokban. Nekünk az az eredményes, használható ha a két % közel azonos.A túltanulás negatív jelenség az előrejezésünkben.OGIL
• 2001: A DEA eredmények értelmezése
  4. Hipotézis: A Tanulás és a teszt egymáshoz való viszonya tetszőleges
  Következtetés: A tanulás találati aránya véletlenszerűen nagyobb, vagy kisebb, mint a teszt találati aránya a céltalanság tétele értelmében. A teszt alacsonyabb értéke mellett szólna, hogy a tanulás (túltanulás) saját magára figyel. Míg a teszt magasabb értékei mellett szólhat a kisebb esetszám.[7]
• 2003: "Az RBF hálózatoknál csak egy rejtett réteget lehet alkalmazni, és itt a neuronszámot lehet változtatni. Az adott feladat igényeit legjobban kielégítő hálózati szerkezetet kétféle módon határozhatjuk meg. Ki lehet indulni egy nagyobb hálózatból, amiről bizonyos tapasztalatok alapján tudjuk, hogy elegendő lesz, és ezután csökkentjük a neuronszámot amennyire lehet. Vagy megpróbálhatjuk kisebb hálózattal megoldani a feladatot, és ha ez nem megy, akkor növelni a neuronszámot.
  Szerintem először érdemes kisebb neuronszámmal próbálkozni, mert túl sok esetében nagyon nagy lesz a memória igény és a számítások is lassúak lesznek, sőt fennáll a hálózatok „túltanulásának” a veszélye. Ha a felvett hálózat nem képes megfelelő pontossággal megtanulni az adott problémát, akkor érdemes próbálkozni a neuronok számának a növelésével. Törekedni kell a lehető legnagyobb pontosságra, a lehető legegyszerűbb hálózatszerkezet mellett.
  A tanulás lehet:
  − ellenőrzött vagy felügyelt tanulás,
  − nem ellenőrzött vagy felügyelet nélküli tanulás.
  "2.4.1.3 Túltanulás
  Egy neurális hálózattól azt várjuk el, hogy ne csak a tanítópontokban, hanem a tanítópontok között is jó közelítést adjon. A tanítópontok mellett ezért szükség van tesztpontokra is, hogy minősíteni tudjuk a hálózatokat. A tesztpontok olyan pontok, melyeket nem használtunk fel a tanítás során, de ismertek az összetartozó be és kimeneti értékeik. Megfelelően sok neuron felvétele esetén mind az MLP, mind az RBF hálózatok alkalmasak interpolációra, vagyis tökéletesen meg tudják tanulni a tanítópontok adatait. Ha nincsenek tesztpontjaink az ellenőrzéshez, akkor viszont könnyen túltaníthatjuk a hálózatot.
  A túltanítás azt jelenti, hogy míg a tanítópontok hibája egyre csökken, addig a tesztpontok hibája egyre nagyobb lesz, a hálózat túlzottan illeszkedik a tanítópontokra. Ezt úgy lehet elképzelni, mint polinomos regressziónál, ha kevés pontra illesztünk nagy fokszámú polinomot." [8]
• 2005: Az IDARA projekt számára két következtetés vonható le:

1. egyrészt a WATSIM trendjeinek biztonsága sem valószínű, hogy ezen pontosságon lényegesen túllép (bár ilyen típusú, önellenőrző, minőségbiztosító vizsgálatok nem publikusak, ill. nem készülnek),
2. másrészt azonban felvetődik a komplex (piaci modellekre alapozó) célfüggvények kialakításának kényszere. Ez esetben ugyanis az egyes objektumokra (országok, évek) készülő becslések önmagukban nem kerülnének elfogadásra vagy elvetésre, hanem objektumcsoportok együttmozgását kellene előírni a hibaminimalizálás során. (Klasszikus példa az ilyen típusú célfüggvény-képzésre az időjárás előrejelzés esete, amikor is kizárható, hogy olyan modell legyen a helyes, mely az egymáshoz legközelebb fekvő mérőállomásokra nagy szórással becsül értékeket, hiszen az időjárás mikro-mintázata bár szinte tetszőleges lehet, kis távolságon belüli gyakori és tetszőleges eltérések valószínűsége alacsony. A komplex célfüggvények jelentik az átmenetet a gondolati restrikciókat alkalmazó klasszikus modellezés és a véletlenszerű modellstruktúrákat is befogadó mesterséges intelligencia modellek között. Bárhogyan is járjunk el a céltalanság és a túltanulás tétele nem oldható fel, vagyis soha nem tudhatjuk, hogy az ismert inputok alapján, milyen helyes kell, hogy legyen a legjobbnak kijelölni tervezett modell.)[9]

Ontológiai modul

• " ez egy " kapcsolattípus :
  • nem európai példákon (de sikeresen) szocializált házasságközvetítő sikertelen működése Magyarországon (alkalmazási példa)
  • hibátlan neurális hálómodell a cukorrépa termésbecslésére, mely ceteris paribus összefüggése a nitrogén és a terméseredmény között erőteljesen oszcilláló függvényt eredményezett (alkalmazási példa)

• "van neki, része a címszónak" kapcsolattípus:
  • teszt-tanulás
  • gépi tanulás
  • tanuló-adatbázis
  • tesztadatbázis

• " a címszó része valaminek ( a címszónak egyenrangú fogalmak )" kapcsolattípus:
  • gépi tanulás (tanulás-teszt, túltanulás, céltalanság tétele)

Ellentmondások és vitatott kijelentések modulja

• 1999: Túltanulás olyan tanulás, amelynél a gyakorlás vagy az ismétlés a feladat megfelelő megoldásához szükséges készség elsajátítása után is folytatódik. Általában nem szokás károsnak tekinteni, vagy azt gondolni, hogy valamit lehetséges túl jól megtanulni. Ha nem lehetséges valamit túl jól megtanulni, akkor nem látom helyesnek a "túltanulás" fogalom használatát.

Szerkesztői javaslat: Mi a kapcsolat a céltalanság tétele és a túltanulás jelensége között

• 2001: A tanulás találati aránya véletlenszerűen nagyobb, vagy kisebb, mint a teszt találati aránya a céltalanság tétele értelmében. A teszt alacsonyabb értéke mellett szólna, hogy a tanulás (túltanulás) saját magára figyel. Míg a teszt magasabb értékei mellett szólhat a kisebb esetszám.

• 2005: Az IDARA projekt számára két következtetés vonható le:

1. egyrészt a WATSIM trendjeinek biztonsága sem valószínű, hogy ezen pontosságon lényegesen túllép (bár ilyen típusú, önellenőrző, minőségbiztosító vizsgálatok nem publikusak, ill. nem készülnek),
2. másrészt azonban felvetődik a komplex (piaci modellekre alapozó) célfüggvények kialakításának kényszere. Ez esetben ugyanis az egyes objektumokra (országok, évek) készülő becslések önmagukban nem kerülnének elfogadásra vagy elvetésre, hanem objektumcsoportok együttmozgását kellene előírni a hibaminimalizálás során. (Klasszikus példa az ilyen típusú célfüggvény-képzésre az időjárás előrejelzés esete, amikor is kizárható, hogy olyan modell legyen a helyes, mely az egymáshoz legközelebb fekvő mérőállomásokra nagy szórással becsül értékeket, hiszen az időjárás mikro-mintázata bár szinte tetszőleges lehet, kis távolságon belüli gyakori és tetszőleges eltérések valószínűsége alacsony. A komplex célfüggvények jelentik az átmenetet a gondolati restrikciókat alkalmazó klasszikus modellezés és a véletlenszerű modellstruktúrákat is befogadó mesterséges intelligencia modellek között. Bárhogyan is járjunk el a céltalanság és a túltanulás tétele nem oldható fel, vagyis soha nem tudhatjuk, hogy az ismert inputok alapján, milyen helyes kell, hogy legyen a legjobbnak kijelölni tervezett modell.)

Definíciós modul

• A túltanulás az a folyamat, amikor az anyagot tanuló személy az anyag szükséges elsajátítása után is folytatja a tanulási folyamatot és ezáltal gátló mechanizmusok indulnak el az agyban, ami ideiglenesen leblokkolja a visszaemlékezést. Hosszútávon ez mégis pozitív hatású, hiszen jobban bevésődik a memóriánkba, mint az egyszerű tanulás.
• Hálózatok esetében is hasonló ez a folyamat ám, itt a neuronokon, illetve ezek között tanuló- és tesztadatbázisok, valamint tanítópontok segítségével nagy hibázási arány esetén áll fenn a túltanulás jelensége. Ebben az esetban nincs pozitív hatása a rendszerre.
• A túltanulás jelensége azon tudományelméleti csapdahelyzet kézzel fogható megnyilvánulása, miszerint nem tudható előre mely modell jobb, mint egy másik a következő éles alkalmazások tekintetében. A modellek fejlesztés során tapasztalható tanulási és teszteredményei "semmiféle" garanciát nem adnak arra, hogy az éles alkalmazások átlagos helyessége is az ismert intervallumban lesz. Sőt, már a gépi tanulási folyamat dorán kiválónak tűnő modellek jelentős része is katasztrofális teszteredményeket mutat fel.

Tesztkérdések modul

• Igaz-e, hogy a túltanulás egyfelől viselkedési formák automatizálását, másfelől azonban reaktív gátlás fellépését is előmozdítja? HAMIS. (Hiszen ez a tanulásra vonatkozik.)
  
• Igaz-e, hogy a túltanulás problémájának kiküszöbölése érdekében az eredetileg meglévő adatbázist két részre kell választani? IGAZ. (Ez a két rész a tanuló-adatbázis és a tesztadatbázis.)
  
• Igaz-e, hogy ha a tanuló-adatbázis és a tesztadatbázis is 100 esetből néhányat elront, akkor a hálózat túltanulta magát? HAMIS. (Mert ha 100-ból csak néhányat ront el, akkor a hálózatnak sikerült rájönnie az általános összefüggésekre.)
  
• Igaz-e, hogy a tanulás során nincs lehetőség a tanúló-adatbázis kettéválasztására? HAMIS. (Hiszen az algoritmus ekkor az adatok egy részén csak tanul, másik részén csak tesztel, és magát a tanulást csak akkor állítja le, ha a tanuló és tesztelő fázis közel azonos eredményt ad.)
  
• Igaz-e, hogy a hálózati szerkezet meghatározásánál érdemes először nagyobb neuronszámmal próbálkozni? HAMIS. (Mert túl sok esetében nagyon nagy lesz a memória igény és a számítások is lassúak lesznek, sőt fennáll a hálózatok „túltanulásának” a veszélye.)
  
• Igaz-e, hogy a tanítópontok mellett szükség van tesztpontokra is? IGAZ. (Azért, hogy minősíteni tudjuk a hálózatokat.)
  

Ajánlott irodalmak modulja

• PAPÍR ALAPÚ IRODALOM:

1. David A. Statt: Pszichológiai kisenciklopédia; Kossuth Kiadó, Budapest, 1999.
2. Wagner D. Fröhlich: Pszichológiai szótár; Spinger Hungarica Kiadó Kft., Budapest, 1996.
3. Robert S. Woodworth – Harold Schlosberg: Kísérleti pszichológia; Akadémiai Kiadó, Budapest, 1986.
4. Dr. Bartha Lajos: Pszichológiai értelmező szótár; Akadémiai Kiadó, Budapest, 1981.
5. Ádám György: Érzékelés tudat emlékezés… biológusszemmel; Medicina Könyvkiadó, Budapest, 1968
6. Pszichológiai Lexikon; Magyar Könyvklub, Budapest, 1995.
7. B. Michael Thorne – Tracy B. Henley: A pszichológia története; Kapcslatok és összefüggések; Glória Kiadó, Budapest, 2000.

• NEM PAPÍR ALAPÚ IRODALOM:

1. BUZSÁKI GYÖRGY: Miért szükséges egy új tanuláselmélet? ; 1979. [10]
2. BENEDEK GÁBOR: Evolúciós alkalmazások előrejelzési modellekben – I. ; 2000. [11]
3. ZALETNYIK PIROSKA: Neurális hálózatok alkalmazása a geodéziában; 2003. [12]
4. OGIL_old: Online Gazdasági Informatika LexikonOGIL
5. MÁTÉ DOMONKOS: Az SAP integrált informatikai rendszer bevezetésének tapasztalatai a Budapesti Erőmű Rt-nél, különös tekintettel a készletgazdálkodást befolyásoló előrejelzések alkalmazására;2001. [13]
6. Dr. Pitlik László: Az eredmények rövid összefoglalása:; 2001.[14]
7. Dr. Pitlik László – Bunkóczi László – Pásztor Márta Zsuzsanna – Popovics Attila – Pető István:
   IA2002, Debrecen - IDARA & IACS, avagy úton a modern adatvagyon-gazdálkodás felé; 2005.[15]