Fadn olap

Az alábbi szócikk arra hivatott, hogy bemutassa az Agrárgazdasági Kutató Intézet (továbbiakban AKI) - Tesztüzemi adatbázisnak (FADN) átstrukturálási lépéseit, melynek végén egy OLAP felületen válik elérhetővé az adatbázis lekérdezhetősége.

Tesztüzemi információs rendszer

"A Mezőgazdasági Számviteli Információs Hálózat (FADN) a mezőgazdasági üzemek pénzügyi-, vagyoni helyzetét felmérő Európai Uniós reprezentatív információs rendszer. Magyarországi alrendszere a Tesztüzemi Információs Hálózat, ismertebb nevén tesztüzemi rendszer, ami a közösségi előírások teljesítésén túl kiszolgálja a hazai információs igényeket is. A felmérés 1900 üzem eredményszemléletű könyvvitele alapján történik, a rendszer az egyéni gazdaságok adatait is a gazdasági társaságokéhoz hasonló struktúrában tartalmazza, tehát az egyéni gazdaságoknak is van mérlegük és eredménykimutatásuk. A minta a 90 ezer magyarországi árutermelő gazdaságot reprezentálja. A magyar tesztüzemi rendszer az üzemszintű adatokon kívül a fontosabb növénytermesztő, állattenyésztő és kertészeti ágazatok adatait is tartalmazza" Forrás

Kiindulási helyzet

Az AKI a 2001-es évtől kezdődően építi Tesztüzemi adatbázisát. Kezdetben saját honlapján HTML formátumban, átláthatatlan táblázathalmazonként kerültek vizualizációra az évenként megjelenő mintegy 30.000 rekord, jelenleg pedig már lehetőség nyílt egy lekérdező felület biztosítására is a felhasználók számára. A HTML formátum átláthatóságának támogatására indult el az a törekvés 2006-ban, hogy a meglévő (addigra felhalmozódott) adatbázist egy felhasználóbarátabb felületen lehessen felkínálni a felhasználóknak. Ezen probléma megoldásának lépéseit igyekszik a szócikk minél részletesebben és univerzálisan (bármely hasonlóan átláthatatlan adatvagyon átstruktúrálásához alkalmazhatóan) bemutatni. Jelenleg az adatbázis teljes egészéhez a hozzáférés nem biztosított a lekérdező felületen keresztül, ezért minden évben az AKI munkatársai megküldik a teljes éves adatbázist xls-formátumban a további feldolgozáshoz.

Lépések

• -2. lépés: Egy olyan adatbázis léte, mely egyértelműen átstruktúrálásra szorul, és ennek eredményeként a lekérdezési folyamatok hatékonysága növekszik.
• -1. lépés: a konkrét elképzelés/módszer léte, melyben a végén az adatbázis lekérdezhetővé válik OLAP
• 0. lépés: Célszerű az előnyök, illetve hátrányok értékelésével kezdeni az összevetést, azaz, hogy mivel is kaphatunk többet/kevesebbet egy OLAP lekérdező felület esetében.
  • OLAP
    • Előnyök: multidimenzionális adatnézetlekérdezés, általános dimenzió-fogalom, korlátlan dimenziószám, transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség, kliens-szerver architektúra, több felhasználó támogatása.
    • Hátrányok: redundancia nehézkes kezelése
  • AKI lekérdező
    • Előnyök: részleges multidimenzionális adatnézetlekérdezés, transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség, kliens-szerver architektúra, több felhasználó támogatása
    • Hátrányok: többszöri kijelölés/lekérdezés (idősor, több mutatócsoport) támogatásának hiánya, a lekérdezési kombinációk nem kerülnek egyszerre vizualizációra, teljes adatbázis lekérdezési lehetőségének hiánya.
• 1. lépés: Elkezdődhet az adatbázisunk felépítése. Elsőként az oszlopfejlécek meghatározása, mely egy adat leíró tulajdonságai alapján kerül azonosításra. Az FADN esetében egy adatot leíró tulajdonságok a következők:
  • Sorszám
  • Dimenzió 1 (Forrás)
  • Dimenzió 2 (Rögzítette)
  • Dimenzió 3 (Terület)
  • Dimenzió 4 (Üzemméret (SFH))
  • Dimenzió 5 (Üzemméret (MT))
  • Dimenzió 6 (Csoport (++, --))
  • Dimenzió 7 ( Forma (egyéni, társas, összes))
  • Dimenzió 8 (Termelési irány)
  • Dimenzió 9 (Év)
  • Dimenzió 10 Főcsoport (Mutató főcsoport)
  • Dimenzió 11 Csoport (Mutató csoport)
  • Dimenzió 12 Alcsoport 1(Mutató alcsoport 1)
  • Dimenzió 13 Alcsoport 2(Mutató alcsoport 2)
  • Dimenzió 12 Alcsoport 3(Mutató alcsoport 3)
  • Dimenzió 13 Mértékegység
  • Dimenzió 14 Érték
• 2. lépés: Kombinatorikai alapstruktúra feltárása. Melynek segítségével megtudható, hogy hány soros lesz az xls adatbázisunk, azaz hány értékünk van.

Kiszámítása: Terület * Üzemméret (SFH) * Üzemméret (MT) * Csoport (++, --) * Forma (egyéni, társas, összes) * Termelési irány * 1év*Mutató csoport * Mutató alcsoport 1 * Mutató alcsoport 2 * Mutató alcsoport 3= 1 évet érintő adatbázisunk adatainak száma.

• 3. lépés: HTML-alapú workflow. Ez tekinthető az első és egyik fajta munkafolyamatnak az adatbázis létrehozásánál. Ebben az esetben a HTML felületről ki kellett jelölni az adat-tömböket, és az xls-be vissza váltva beilleszteni a megadott leíró tulajdonsággal rendelkező helyre (böngésző-EXCEL közötti váltás). Időigénye: 1,5 embernap / év.
• 4. lépés: XLS-alapú workflow (második munkafolyamat). A HTML struktúrát felváltotta a felhasználóbarátabb lekérdező felület. Az OLAP lekérdező felületben történő konvertáláshoz szükséges a teljes adatbázis, mely az AKI munkatársaktól került beszerzésre xls formában ugyanolyan struktúrában (Dimenzió bontásban), mint a korábbi HTML. Így ugyanazon kijelölés-másolás-beillesztés munkafolyamat zajlott, mint korábban a HTML-nél, de it már EXCEL- és EXCEL között történt. Időigénye: 1 embernap / év.
• 5. lépés: Makró alapú workflow: az xls alapú táblázathalmazok és a munkaoptimalizálás hatására megjelent a részleges automatizálás. A makrók segítségével nagy mennyiség adattömbök mozgathatók másodpercek alatt, ehhez "csak" meg kell írni a feladat végrehajtásához szükséges kódot (mit másoljon?, honnan másolja?, hova másolja). Ezen feladat kivitelezéséhez a legegyszerűbb teendő, ha a szokásos feladat végrehajtást (kijelölést-másolást-beillesztést) a makró rögzítő segítéségével felvesszük, és a felvett kódban megkeressük a változó cellák, munkalapok hivatkozását és ezeket átírjuk a megfelelőre. Időigény: 2 óra / 1év (+ egyszeri makró fejlesztés 3-4 óra).