Ki érdemelne aláírást egy versengő értékelési rendszerben

Forrás

http://miau.gau.hu/oktatas/2012tavasz/objektiv_statarium.xlsx

A tervezett alkalmazás/megoldás címe

Ki érdemelne aláírást egy versengő értékelési rendszerben, ahol a leggyengébb mindenképpen kiesik?

A feladat előtörténete

Feladatom témája elsősorban a Szent István Egyetem, Kommunikáció- és médiatudomány szakos hallgatóinak online kommunikáció tantárgyból való teljesítéséről szól. A félév során a tantárgyat hallgató diákoknak az aláírás megszerzéséhez fejenként 69 darab kérdést, plusz négy darab hozzátartozó választ kellett alkotniuk a MY-X DVD különböző állományaihoz. A kérdéseket a MIAU oldalára kellett feltölteni. A feltöltött adatokból táblázat készítésével átláthatóvá vált, hogy ki az aki aláírást érdemelne és ki az aki nem a táblázat különböző szempontjai szerint.

A feladat megoldás jelenlegi helyzete és ennek értékelése

A feladat helyes megoldásához, ahhoz, hogy kiderüljön ki az, aki aláírást érdemel, táblázatokat kellett készítenem. Ahhoz, hogy megkapjam a megfelelő adatokat a táblázat elkészítéséhez, különböző szűrőket kellett alkalmaznom. A szűrők segítségével megjelentek a nappali tagozatos, kommunikáció- és médiatudomány szakos hallgatók által feltöltött kérdések, és a hozzájuk tartozó válaszok, dátumok. Ezáltal egy újabb táblázatban a sorlécen különböző kategóriákat hoztam létre a feltöltött kérdések vizsgálatához. A feltöltött kérdések elemzése után, a számadatok ezen kategóriákba lettek bejegyezve, minden hallgatóhoz.

A táblázatban szereplő kategóriák és az ezekhez tartozó adatok alapján az aláírást megszerzésében olyan hallgatók részesülnének előnyben:

-> akik az elsők között töltötték fel kérdéseiket, (így nem volt lehetőségük arra, hogy más hallgatók kérdéseit másolva végezzék el a feladatot, tehát ténylegesen a saját munkájuk volt)

-> azok a hallgatók, akik olyan kérdéseket tettek fel, melyek a tananyag elsajátításában, megértésében segítenek, nem a hanganyag szövegéhez kapcsolódtak

-> azok a hallgatók akik eldöntendő kérdések helyett, bárki számára érthető ideális kérdéseket tettek fel

A táblázatban szereplő kategóriák szerint pedig azok a hallgatók nem kapnak aláírást akik:

-> legutolsókként töltötték fel kérdéseiket

-> sok hibás kérdést halmoztak fel

-> az eldöntendő kérdések száma több volt, mint az ideális kérdéseké

Végeredményként, az adatok rangsorolásával, szűrésével kialakult, (és a COCO programban futtatott hasonlóság elemzéssel) elsőként a kategóriák szerint egy rangsor, majd egy összesítő rangsor amiben megtekinthetőek a végső eredmények.

Így a következő hallgatók kapnának aláírást: Mert az összesített eredmények alapján, arányaiban az elsők között töltötték fel kérdéseiket, kevés hibás kérdést halmoztak, többnyire ideális kérdéseket töltöttek fel.

JX4TNX: 9 hibás kérdés, 36 ideális

HIMPM7: 8 hibás kérdés, 35 ideális

YM5CMO: 10 hibás kérdés, 42 ideális

BHOLIL: 0 hibás kérdés, 63 ideális

DN81NA: 14 hibás kérdés, 47 ideális

ZBSZAJ: 13 hibás kérdés, 34 ideális

K8PNM6: 13 hibás kérdés, 45 ideális

YC7L7M: 5 hibás kérdés, 49 ideális

A feltöltési dátumok külön megtekinthetők a forrásban feltüntetett táblázatban.

Így a következő hallgatók nem kapnának aláírást: Mert az összesített eredmények alapján, arányaiban több hibás, eldöntendő, csak a dvd meghallgatásával megválaszolható kérdéseket töltöttek fel, kevés az ideális kérdések száma, és később töltötték fel a kérdéseket. Az eldöntendő, illetve a dvd hanganyagához szorosan kapcsoló kérdések ugyanúgy hibásnak számítanak, mint az egyszerűen hibás kérdések.

JSW9I6: 14 hibás, 17 ideális, 5 eldöntendő, 33 dvd-s

BHXU2S: 11 hibás, 35 ideális, 18 eldöntendő, 5 dvd-s

GLQYV6: 13 hibás, 37 ideális, 6 eldöntendő, 13 dvd-s

AZIID6: 12 hibás, 27 ideális, 11 eldöntendő, 19 dvd-s

IG0OCF: 14 hibás, 29 ideális, 10 eldöntendő, 16 dvd-s

UO9NI4: 24 hibás, 25 ideális, 7 eldöntendő, 13 dvd-s

E1WVXG: 4 hibás, 29 ideális, 24 eldöntendő, 12 dvd-s

JFOU1N: 26 hibás, 23 ideális, 13 eldöntendő, 7 dvd-s

H6YZYY: 29 hibás, 30 ideális, 6 eldöntendő, 4 dvd-s

PQVV4D: 23 hibás, 27 ideális, 9 eldöntendő, 10 dvd-s

V004PB: 21 hibás, 26 ideális, 19 eldöntendő, 3 dvd-s

FHSUMI: 31 hibás, 22 ideális, 12 eldöntendő, 4 dvd-s

AOUIVU: 15 hibás, 36 ideális, 13 eldöntendő, 5 dvd-s

BICAGJ: 13 hibás, 30 ideális, 14 eldöntendő, 12 dvd-s

A feltöltési dátumok külön megtekinthetők a forrásban feltüntetett táblázatban.

A tervezett megoldás adatvagyonának bemutatása (ANYAG)

Elsőként a feltöltött kérdések adatait és a hozzájuk tartozó hallgató kódokat külön Excel táblázatban végigfuttattam. Összesen 3000 db adat állt rendelkezésemre. Mindezen adatokból csak is a kommunikáció- és médiatudomány, nappali tagozatos hallgatóinak adatai voltak meghatározóak. Így lekicsinyítve az elemzési kört, a szűrt adatok közül rendelkeztem a hallgatók kódjaival és az azokhoz tartozó feltöltött kérdésekkel, válaszokkal, feltöltési időpontokkal. Ezen értékek alapján olyan kategóriákat készítettem, melyek alapján irányelvek segítségével eldönthető volt, hogy ki kap aláírást. Ennek megfelelően felállítottam egy táblázatot, melyben az objektumok és attribútumok meghatározásával létrejött egy összesítő adatvagyon.

Objektumok (sorok)

1. JSW9I6

2. JX4TNX

3. BHXU2S

4. HIMPM7

5. GLQYV6

6. AZIID6

7. YM5CMO

8. IG0OCF

9. UO9NI4

10. BHOLIL

11. E1WVXG

12. JFOU1N

13. DN81NA

14. H6YZYY

15. PQVV4D

16. ZBSZAJ

17. V004PB

18. K8PNM6

19. FHSUMI

20. AOUIVU

21. YC7L7M

22. BICAGJ

Attribútumok (X, Y oszlopok)

Irányelvek: 0 = annál nagyobb az esély az aláírásra, minél nagyobb az oszlop értéke 1 = annál kisebb az esély az aláírásra, minél nagyobb az oszlop értéke

1. Első kérdés dátuma, irányelv: 0 (dátum: év, hónap, nap, óra, perc)

2. Utolsó kérdés dátuma, irányelv: 1 (dátum: év, hónap, nap, óra, perc)

3. Hibás kérdések száma, irányelv: 1 (darabszám)

4. Ideális kérdések száma, irányelv: 0 (darabszám)

5. Eldöntendő kérdések száma, irányelv: 1 (darabszám)

6. Csak a DVD meghallgatásával megválaszolható kérdések száma, irányelv: 1 (darabszám)

7. Első leadás kérdéseinek száma: 0 (darabszám)

8. Önellenőrző kérdések száma: 0 (darabszám)

9. Becslés

10. Tény+0

11. Delta

12. Delta/Tény

13. Ellenőrzés

14. Konklúzió

A feladat által érintett célcsoportok

Célcsoport lehet:

1. azon érintett tanulók/hallgatók akik, nappali tagozaton kommunikáció- és médiatudomány szakon online kommunikáció tantárgyon belül szeretnének aláírást kapni

2. azon tanárok/professzorok akik értékelési rendszer segítségével, objektíven, tényeken alapulva szeretnének értékelni

A feladat megválaszolása kapcsán várható hasznosság

Elsősorban a hallgatói célcsoport számára várható a legnagyobb hasznosság, ugyanis ezen táblázat átláthatóvá teszi mindenki számára, hogy ki melyik kategóriában volt gyengébb, illetve erősebb. A hallgatók tükörképet kapnak saját munkájukról, melyből következtetéseket vonhatnak le saját maguk számára a teljesítményükről. Így könnyebb a későbbi javítás is számukra, azért hogy hibáikat rendezve eljussanak az aláírás megszerzéséig. Tanárok/professzorok számára pedig azért várható hasznosság, mert ez példaként szolgálva rálátást nyújt egy olyan értékelési rendszerre ahol a hallgatókat objektíven, előítéletek és érzelmek nélkül lehet értékelni. Egy ilyen értékelési rendszer olyan versenyhelyzetet hozhat létre, ahol mindenki motivált lesz arra, hogy a legmagasabb teljesítményt hozza ki magából az aláírásért, vagy jegyért.

További hasznosságok:

• Értékelni lehet ösztönösen, intuíciónkra hallgatva szakértői vélemény alapján -> nem lesz pontos, nem feltétlen lesz igazságos a végeredmény, időigényes (290 perc)

-> Adatok begyűjtése, az interneten keresgélve 10 perc

-> Táblázatok készítése 30 perc

-> Libre Office ingyenes használata az átlagszámításhoz 20 perc

-> Szakértői véleményalkotás 1 óra

-> Egy irodai dolgozó átlagos órabére 1500 Ft ->1. esetben: 5250Ft

-> Statáriális bíróság működése 50 perc (+25000Ft), alternatív szakértői vélemények kikérése 1,5 óra (+150.000Ft)

Összesen: idő: 290 perc költség: 180250Ft

• Értékelni lehet hasonlóságelemzés készítésével -> pontos lesz az értékelés, objektív, gyors (1,5 óra)

-> Az elemzési eszközök, keretrendszerek rendelkezésemre állnak (0Ft)

-> Egy irodai dolgozó átlagos órabére 1500 Ft -> 2. esetben: 2250Ft

-> Adatgyűjtés tudatosan, MIAU-ról 5 perc, (0Ft adatbázis-hozzáférés)

->Tanulási minta előkészítése: LibreOffice 20 perc, (0Ft)

-> Modellezés 15 perc (0Ft)

-> Szakvélemény megformálása 15 perc

-> Direkt és inverz modellek futtatása

Összesen: 1,5 óra. 50250Ft.

130000Ft reményében kezdem meg a tananyag alkalmazását.

A saját megoldás bemutatása (MÓDSZER)

Első lépések:

1. a téma kiválasztása

2. adatgyűjtés (MIAU)

Táblázat elkészítése:

3. az objektumok meghatározása (hallgatói kódok)

4. az attribútumok meghatározása (feltöltések dátuma, kérdésekhez tartozó kategóriák, konklúziók)

5. az összegyűjtött számadatok bevitele a táblázatba

Adatmanipuláció:

1. iránymeghatározás

2. sorszámozás

3. átlagszámolás

Az eredmények értelmezése (EREDMÉNY)

A COCO táblázat szemlélteti a végső eredményeket.

A hallgatók közül a rangsorolás szerint 8-an kapnának aláírást.

A hallgatók közül a rangsorolás szerint 14-nek lenne megtagadva az aláírás.

Az ellenőrzés közül összesen két hallgató esetén jött ki "hiteltelen" eredmény.

Az elemzésből kiderült, hogy azok a hallgatók, akik elsőként töltötték fel kérdéseiket, a legtöbb ideális, legkevesebb hibás kérdésekkel, azok a rangsorolásba az első 8 helyre kerültek, ezzel megszerezve az aláírást is.

---

Ösztönös értékelés eredménye - Számított érték eredménye

JSW9I6: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

JX4TNX: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

BHXU2S: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

HIMPM7: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

GLQYV6: aláírás - aláírás megtagadva -> a két eredmény nem egyezik, a számított eredmény a végleges

AZIID6: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

YM5CMO: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

IG0OCF: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

UO9NI4: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

BHOLIL: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

E1WVXG: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

JFOU1N: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

DN81NA: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

H6YZYY: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

PQVV4D: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

ZBSZAJ: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

V004PB: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

K8PNM6: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

FHSUMI: aláírás megtagadva - aláírás megtagadva -> mindkét eredmény egyezik, a végleges a számított eredmény

AOUIVU: aláírás - aláírás megtagadva -> a két eredmény nem egyezik, a számított eredmény a végleges

YC7L7M: aláírás - aláírás -> mindkét eredmény egyezik, a végleges a számított eredmény

BICAGJ: aláírás - aláírás megtagadva -> a két eredmény nem egyezik, a számított eredmény a végleges

Eltérések találhatók: YC7L7M, AOUIVU, GLQYV6

Ajánlások megfogalmazása (KÖVETKEZTETÉS)

Az elemzés alapján láthatóvá vált, hogy ki az aki egy versengő értékelési rendszerben aláírást kapna online kommunikáció tantárgyból. A becslések számadata szerint YM5CMO kódú hallgató kapta a legmagasabb értéket, míg BICAGJ kódú hallgató képviseli a legalacsonyabbat.

Az információ többletérték lehetőségének levezetése (VITA)

Az eredmények alapján jól megállapítható, hogy a hallgatók arányaiban véve a feladat leadási határidejének utolsó pillanataiban töltötték fel kérdéseiket, a kérdések inkább a DVD hanganyagához kapcsolódtak nem a tananyaghoz. Csak kevesen értették meg a feladat valódi lényegét ezáltal kockáztatva az aláírásuk megszerzését. Ezzel az értékelési rendszerrel átláthatóvá válik kinek hol kellene javítania. Érdemes lenne a jövőben egy ilyen objektív értékelési rendszer alapján osztályozni a tanulókat, hiszen ezáltal egy tiszta képet kaphatnak munkájukról.

Kapcsolódó, ill. konkurens megoldások, dokumentumok

http://miau.gau.hu/myx-free/index.php3?x=dvd