A lap 2010. december 15., 21:11-kori változata

Az alábbi szócikk arra hivatott, hogy bemutassa az Agrárgazdasági Kutató Intézet (továbbiakban AKI) - Tesztüzemi adatbázisnak (FADN) átstrukturálási lépéseit, melynek végén egy OLAP felületen válik elérhetővé az adatbázis lekérdezhetősége.

Tesztüzemi információs rendszer

"A Mezőgazdasági Számviteli Információs Hálózat (FADN) a mezőgazdasági üzemek pénzügyi-, vagyoni helyzetét felmérő Európai Uniós reprezentatív információs rendszer. Magyarországi alrendszere a Tesztüzemi Információs Hálózat, ismertebb nevén tesztüzemi rendszer, ami a közösségi előírások teljesítésén túl kiszolgálja a hazai információs igényeket is. A felmérés 1900 üzem eredményszemléletű könyvvitele alapján történik, a rendszer az egyéni gazdaságok adatait is a gazdasági társaságokéhoz hasonló struktúrában tartalmazza, tehát az egyéni gazdaságoknak is van mérlegük és eredménykimutatásuk. A minta a 90 ezer magyarországi árutermelő gazdaságot reprezentálja. A magyar tesztüzemi rendszer az üzemszintű adatokon kívül a fontosabb növénytermesztő, állattenyésztő és kertészeti ágazatok adatait is tartalmazza" Forrás

Kiindulási helyzet

Az AKI a 2001-es évtől kezdődően építi Tesztüzemi adatbázisát. Kezdetben saját honlapján HTML formátumban, átláthatatlan táblázathalmazonként kerültek vizualizációra az évenként megjelenő mintegy 30.000 rekord, jelenleg pedig már lehetőség nyílt egy lekérdező felület biztosítására is a felhasználók számára. A HTML formátum átláthatóságának támogatására indult el az a törekvés 2006-ban, hogy a meglévő (addigra felhalmozódott) adatbázist egy felhasználóbarátabb felületen lehessen felkínálni a felhasználóknak. Ezen probléma megoldásának lépéseit igyekszik a szócikk minél részletesebben és univerzálisan (bármely hasonlóan átláthatatlan adatvagyon átstruktúrálásához alkalmazhatóan) bemutatni. Jelenleg az adatbázis teljes egészéhez a hozzáférés nem biztosított a lekérdező felületen keresztül, ezért minden évben az AKI munkatársai megküldik a teljes éves adatbázist xls-formátumban a további feldolgozáshoz.

Lépések

• -2. lépés: Egy olyan adatbázis léte, mely egyértelműen átstruktúrálásra szorul, és ennek eredményeként a lekérdezési folyamatok hatékonysága növekszik.
• -1. lépés: a konkrét elképzelés/módszer léte, melyben a végén az adatbázis lekérdezhetővé válik OLAP
• 0. lépés: Célszerű az előnyök, illetve hátrányok értékelésével kezdeni az összevetést, azaz, hogy mivel is kaphatunk többet/kevesebbet egy OLAP lekérdező felület esetében.
  • OLAP
    • Előnyök: multidimenzionális adatnézetlekérdezés, általános dimenzió-fogalom, korlátlan dimenziószám, transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség, kliens-szerver architektúra, több felhasználó támogatása.
    • Hátrányok: redundancia nehézkes kezelése
  • AKI lekérdező
    • Előnyök: részleges multidimenzionális adatnézetlekérdezés, transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség, kliens-szerver architektúra, több felhasználó támogatása
    • Hátrányok: többszöri kijelölés/lekérdezés (idősor, több mutatócsoport) támogatásának hiánya, a lekérdezési kombinációk nem kerülnek egyszerre vizualizációra, teljes adatbázis lekérdezési lehetőségének hiánya.
• 1. lépés: Elkezdődhet az adatbázisunk felépítése. Elsőként az oszlopfejlécek meghatározása, mely egy adat leíró tulajdonságai alapján kerül azonosításra. Az FADN esetében egy adatot leíró tulajdonságok a következők:
  • Sorszám
  • Dimenzió 1 (Forrás)
  • Dimenzió 2 (Rögzítette)
  • Dimenzió 3 (Terület)
  • Dimenzió 4 (Üzemméret (SFH))
  • Dimenzió 5 (Üzemméret (MT))
  • Dimenzió 6 (Csoport (++, --))
  • Dimenzió 7 ( Forma (egyéni, társas, összes))
  • Dimenzió 8 (Termelési irány)
  • Dimenzió 9 (Év)
  • Dimenzió 10 Főcsoport (Mutató főcsoport)
  • Dimenzió 11 Csoport (Mutató csoport)
  • Dimenzió 12 Alcsoport 1(Mutató alcsoport 1)
  • Dimenzió 13 Alcsoport 2(Mutató alcsoport 2)
  • Dimenzió 12 Alcsoport 3(Mutató alcsoport 3)
  • Dimenzió 13 Mértékegység
  • Dimenzió 14 Érték
• 2. lépés: Kombinatorikai alapstruktúra feltárása. Melynek segítségével megtudható, hogy hány soros lesz az xls adatbázisunk, azaz hány értékünk van.

Kiszámítása: Terület * Üzemméret (SFH) * Üzemméret (MT) * Csoport (++, --) * Forma (egyéni, társas, összes) * Termelési irány * 1 év * Mutató= 1 évet érintő adatbázisunk adatainak száma. Valamint meghatározható, hogy az egyes mutatók hányszor fognak szerepelni évenként az adatbázisban a különböző leíró tulajdonságok mellett: Terület * Üzemméret (SFH) * Üzemméret (MT) * Csoport (++, --) * Forma (egyéni, társas, összes) * Termelési irány * 1 év * Vizsgált mutató mutató (pl. Adózott eredmény) * Mértékegység (több is lehet). Ezek már felfoghatók egyfajta ellenőrző nézeteknek is.

• 3. lépés: HTML-alapú workflow. Ez tekinthető az első és egyik fajta munkafolyamatnak az adatbázis létrehozásánál. Ebben az esetben a HTML felületről ki kellett jelölni az adat-tömböket, és az xls-be vissza váltva beilleszteni a megadott leíró tulajdonsággal rendelkező helyre (böngésző-EXCEL közötti váltás). Időigénye: 1,5 embernap / év.
• 4. lépés: XLS-alapú workflow (második munkafolyamat). A HTML struktúrát felváltotta a felhasználóbarátabb lekérdező felület. Az OLAP lekérdező felületben történő konvertáláshoz szükséges a teljes adatbázis, mely az AKI munkatársaktól került beszerzésre xls formában ugyanolyan struktúrában (Dimenzió bontásban), mint a korábbi HTML. Így ugyanazon kijelölés-másolás-beillesztés munkafolyamat zajlott, mint korábban a HTML-nél, de it már EXCEL- és EXCEL között történt. Időigénye: 1 embernap / év.
• 5. lépés: Makró alapú workflow: az xls alapú táblázathalmazok és a munkaoptimalizálás hatására megjelent a részleges automatizálás. A makrók segítségével nagy mennyiség adattömbök mozgathatók másodpercek alatt, ehhez "csak" meg kell írni a feladat végrehajtásához szükséges kódot (mit másoljon?, honnan másolja?, hova másolja). Ezen feladat kivitelezéséhez a legegyszerűbb teendő, ha a szokásos feladat végrehajtást (kijelölést-másolást-beillesztést) a makró rögzítő segítéségével felvesszük, és a felvett kódban megkeressük a változó cellák, munkalapok hivatkozását és ezeket átírjuk a megfelelőre. Időigény: 2 óra / 1év (+ egyszeri makró fejlesztés 3-4 óra).
• 6. lépés: Tételes ellenőrzés: miután EXCEL-ben összeállt az adatbázisunk akármilyen worklow-t alapul véve, kezdődhet az ellenőrzés. Erre a legegyszerűbben és legáltalánosabban használt módszer az EXCEL autoszűrő funkciója, melyeket a korábban elkészített oszlopfejlécekre (Sorszám, Forrás...) kell rátenni. Ezután kezdődhet az ellenőrzés tételesen, oszloponként, azaz rákattintva a legördülőre rászűrünk minden egyes elnevezésre és ebből láthatóvá válik már a szűrés előtt is, hogy nem történt-e esetleg elírás valamelyik elnevezésnél (pl. Magyarország helyett magyarország). Ez az ellenőrzési rutin sajnos a fölösleges space-ket az elnevezések végén nem tudja kiszűrni.
• 7. lépés: Speciális mértékegységek kezelése: pl: "-". Ezeket még a forrás adatbázisban kell ellenőrizni, mivel ha esetleg elírás, akkor az korrigálandó. Mértékegységek tekintetében további ellenőrzési módszer: Két hasonló mutatószám (pl. Likviditási gyorsráta és Likviditási ráta) lekérdezése idősorosan mértékegységek szerint, azaz a lekérdezés után láthatóvá válik, hogy a két mutatószámnál azonos darabszám az elvárás évente, de nem minden évben, mivel évenként bővülhettek adatbázisunk leíró tulajdonságai.
• 8. lépés: Új mértékegység feltárása:
  • Amennyiben a az xls-ben feltárt mértékegységek száma megegyezik a weben találhatók számával, akkor OK.
  • Előfordulhat, hogy a webes legördülőben csak 20 darab, amit ki kell jelölni, hogy a jelöletlen mértékegységekkel össze lehessen vetni! Konklúzió = manuális módosítás a webes, statikus nyitó oldalon.
  • Javítás után: nyitó felületről való lekérdezése az ÚJ mértékegységű adatoknak azonos darabszámot kell, hogy adjon, mint a jelöletlen mértékegység lista friss éveinél.
• 9. lépés: Online vetületben nem lehet tizedes vessző, csak pont. Megoldás: (Excelben: CTRL+H a csere érdekében, ha van mit...).
• 10. lépés: A jelenségek esetén ugyanezen módszertan követendő: jelöletlen webes jelenség-lista, jelölt webes lista, xls-pivot lista.
• 10. B lépés: Az AKI Tesztüzemi adatbázis esetében a több rétegű mutató elnevezés miatt szükség van a mutatók összefűzésére. Összefűzés EXCEL-ben az "összefűz" függvénnyel és az egyes dimenziók közé "*", az elhanyagolható elnevezések helyére pedig "*n.a.*". Helyesen pl. (Vetésterület összesen *olajos, hüvelyes és rostnövények *napraforgó *összesen.).