A lap jelenlegi, 2010. december 15., 21:34-kori változata

Az alábbi szócikk arra hivatott, hogy bemutassa az Agrárgazdasági Kutató Intézet (továbbiakban AKI) - Tesztüzemi adatbázisnak (FADN) átstrukturálási lépéseit, melynek végén egy OLAP felületen válik elérhetővé az adatbázis lekérdezhetősége.

Tesztüzemi információs rendszer

"A Mezőgazdasági Számviteli Információs Hálózat (FADN) a mezőgazdasági üzemek pénzügyi-, vagyoni helyzetét felmérő Európai Uniós reprezentatív információs rendszer. Magyarországi alrendszere a Tesztüzemi Információs Hálózat, ismertebb nevén tesztüzemi rendszer, ami a közösségi előírások teljesítésén túl kiszolgálja a hazai információs igényeket is. A felmérés 1900 üzem eredményszemléletű könyvvitele alapján történik, a rendszer az egyéni gazdaságok adatait is a gazdasági társaságokéhoz hasonló struktúrában tartalmazza, tehát az egyéni gazdaságoknak is van mérlegük és eredménykimutatásuk. A minta a 90 ezer magyarországi árutermelő gazdaságot reprezentálja. A magyar tesztüzemi rendszer az üzemszintű adatokon kívül a fontosabb növénytermesztő, állattenyésztő és kertészeti ágazatok adatait is tartalmazza" Forrás

Kiindulási helyzet

Az AKI a 2001-es évtől kezdődően építi Tesztüzemi adatbázisát. Kezdetben saját honlapján HTML formátumban, átláthatatlan táblázathalmazonként kerültek vizualizációra az évenként megjelenő mintegy 30.000 rekord, jelenleg pedig már lehetőség nyílt egy lekérdező felület biztosítására is a felhasználók számára. A HTML formátum átláthatóságának támogatására indult el az a törekvés 2006-ban, hogy a meglévő (addigra felhalmozódott) adatbázist egy felhasználóbarátabb felületen lehessen felkínálni a felhasználóknak. Ezen probléma megoldásának lépéseit igyekszik a szócikk minél részletesebben és univerzálisan (bármely hasonlóan átláthatatlan adatvagyon átstruktúrálásához alkalmazhatóan) bemutatni. Jelenleg az AKI Tesztüzemi adatbázis teljes egészéhez a hozzáférés nem biztosított a lekérdező felületen keresztül, ezért minden évben az AKI munkatársai megküldik a teljes éves adatbázist xls-formátumban a további feldolgozáshoz.

Lépések

• -2. lépés: egy olyan adatbázis léte, mely egyértelműen átstruktúrálásra szorul, és ennek eredményeként a lekérdezési folyamatok hatékonysága növekszik.
• -1. lépés: a konkrét elképzelés/módszer léte, melyben a végén az adatbázis lekérdezhetővé válik OLAP
• 0. lépés: célszerű az előnyök, illetve hátrányok értékelésével kezdeni az összevetést, azaz, hogy mivel is kaphatunk többet/kevesebbet egy OLAP lekérdező felület esetében.
  • OLAP
    • Előnyök: multidimenzionális adatnézetlekérdezés, általános dimenzió-fogalom, korlátlan dimenziószám, transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség, kliens-szerver architektúra, több felhasználó támogatása.
    • Hátrányok: redundancia nehézkes kezelése
  • AKI lekérdező
    • Előnyök: részleges multidimenzionális adatnézet lekérdezés, transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség, kliens-szerver architektúra, több felhasználó támogatása
    • Hátrányok: többszöri kijelölés/lekérdezés (idősor, több mutatócsoport) támogatásának hiánya, a lekérdezési kombinációk nem kerülnek egyszerre vizualizációra, teljes adatbázis lekérdezési lehetőségének hiánya.
• 1. lépés: elkezdődhet az adatbázis felépítése. Elsőként az oszlopfejlécek meghatározása, mely egy adat leíró tulajdonságai alapján kerül azonosításra. Az FADN esetében egy adatot leíró tulajdonságok a következők:
  • Sorszám (SQL szempontból fontos)
  • Dimenzió 1 (Forrás)
  • Dimenzió 2 (Rögzítette)
  • Dimenzió 3 (Terület)
  • Dimenzió 4 (Üzemméret (SFH))
  • Dimenzió 5 (Üzemméret (MT))
  • Dimenzió 6 (Csoport (++, --))
  • Dimenzió 7 ( Forma (egyéni, társas, összes))
  • Dimenzió 8 (Termelési irány)
  • Dimenzió 9 (Év)
  • Dimenzió 10 Főcsoport (Mutató főcsoport)
  • Dimenzió 11 Csoport (Mutató csoport)
  • Dimenzió 12 Alcsoport 1(Mutató alcsoport 1)
  • Dimenzió 13 Alcsoport 2(Mutató alcsoport 2)
  • Dimenzió 12 Alcsoport 3(Mutató alcsoport 3)
  • Dimenzió 13 Mértékegység
  • Dimenzió 14 Érték
• 2. lépés: kombinatorikai alapstruktúra feltárása, mely segítségével megtudható, hogy hány soros lesz az xls adatbázisunk, azaz hány értékünk van.

Kiszámítása: Terület * Üzemméret (SFH) * Üzemméret (MT) * Csoport (++, --) * Forma (egyéni, társas, összes) * Termelési irány * 1 év * Mutató= 1 évet érintő adatbázisunk adatainak száma. Valamint meghatározható, hogy az egyes mutatók hányszor fognak szerepelni évenként az adatbázisban a különböző leíró tulajdonságok mellett: Terület * Üzemméret (SFH) * Üzemméret (MT) * Csoport (++, --) * Forma (egyéni, társas, összes) * Termelési irány * 1 év * Vizsgált mutató mutató (pl. Adózott eredmény) * Mértékegység (több is lehet). Ezek már felfoghatók egyfajta ellenőrző nézeteknek is.

• 3. lépés: HTML-alapú workflow. Ez tekinthető az első és egyik fajta munkafolyamatnak az adatbázis létrehozásánál. Ebben az esetben a HTML felületről ki kellett jelölni az adat-tömböket, és az xls-be vissza váltva beilleszteni a megadott leíró tulajdonsággal rendelkező helyre (böngésző-EXCEL közötti váltás). Időigénye: 1,5 embernap / év.
• 4. lépés: XLS-alapú workflow (második munkafolyamat). A HTML struktúrát felváltotta a felhasználóbarátabb lekérdező felület. Az OLAP lekérdező felületben történő konvertáláshoz szükséges a teljes adatbázis, mely az AKI munkatársaktól került beszerzésre xls formában ugyanolyan struktúrában (dimenzió bontásban), mint a korábbi HTML. Így ugyanazon kijelölés-másolás-beillesztés munkafolyamat zajlott, mint korábban a HTML-nél, de it már EXCEL- és EXCEL között történt. Időigénye: 1 embernap / év.
• 5. lépés: makró alapú workflow: az xls alapú táblázathalmazok és a munkaoptimalizálás hatására megjelent a részleges automatizálás. A makrók segítségével nagy mennyiség adattömbök mozgathatók másodpercek alatt, ehhez "csak" meg kell írni a feladat végrehajtásához szükséges kódot (mit másoljon, honnan másolja, hova másolja). Ezen feladat kivitelezéséhez a legegyszerűbb teendő, ha a szokásos feladat végrehajtást (kijelölést-másolást-beillesztést) a makró rögzítő segítéségével felvesszük, és a felvett kódban megkeressük a változó cellák, munkalapok hivatkozását és ezeket átírjuk a megfelelőre. Időigény: 2 emberóra / 1év (+ egyszeri makró fejlesztés 3-4 óra).
• 6. lépés: tételes ellenőrzés: miután EXCEL-ben összeállt az adatbázisunk akármilyen worklow-t alapul véve, kezdődhet az ellenőrzés. Erre a legegyszerűbben és legáltalánosabban használt módszer az EXCEL autoszűrő funkciója, melyeket a korábban elkészített oszlopfejlécekre (Sorszám, Forrás...) kell rátenni. Ezután kezdődhet az ellenőrzés tételesen, oszloponként, azaz rákattintva a legördülőre rászűrünk minden egyes elnevezésre és ebből láthatóvá válik már a szűrés előtt is, hogy nem történt-e esetleg elírás valamelyik elnevezésnél (pl. Magyarország helyett magyarország). Ez az ellenőrzési rutin sajnos a fölösleges space-ket az elnevezések végén nem tudja kiszűrni.
• 7. lépés: Speciális mértékegységek kezelése: pl: "-". Ezeket még a forrás adatbázisban kell ellenőrizni, mivel ha esetleg elírás, akkor az korrigálandó. Mértékegységek tekintetében további ellenőrzési módszer: Két hasonló mutatószám (pl. Likviditási gyorsráta és Likviditási ráta) lekérdezése idősorosan mértékegységek szerint a már működő OLAP-ból, azaz a lekérdezés után láthatóvá válik, hogy a két mutatószámnál azonos darabszám az elvárás évente, de nem minden évben, mivel évenként bővülhettek adatbázisunk leíró tulajdonságai.
• 8. lépés: Új mértékegység feltárása:
  • Amennyiben a az xls-ben feltárt mértékegységek száma megegyezik a weben találhatók számával, akkor OK.
  • Előfordulhat, hogy a webes legördülőben csak 20 darab, amit ki kell jelölni, hogy a jelöletlen mértékegységekkel össze lehessen vetni! Konklúzió = manuális módosítás a webes, statikus nyitó oldalon.
  • Javítás után: nyitó felületről való lekérdezése az ÚJ mértékegységű adatoknak azonos darabszámot kell, hogy adjon, mint a jelöletlen mértékegység lista friss éveinél.
• 9. lépés: Online vetületben nem lehet tizedes vessző, csak pont. Megoldás: (Excelben: CTRL+H a csere érdekében, ha van mit...).
• 10. lépés: A jelenségek esetén ugyanezen módszertan követendő: jelöletlen webes jelenség-lista, jelölt webes lista, xls-pivot lista.
• 10. A lépés: Az AKI Tesztüzemi adatbázis esetében a több rétegű mutató elnevezés miatt szükség van a mutatók összefűzésére. Összefűzés EXCEL-ben az "összefűz" függvénnyel és az egyes dimenziók közé "*", az elhanyagolható elnevezések helyére pedig "*n.a.*". Helyesen pl. Vetésterület összesen *olajos, hüvelyes és rostnövények *napraforgó *összesen.
• 10. B lépés: Helyes ékezetkezelés (ő, ű).
• 10. C lépés: Amennyiben szóköz eltérések tapasztalhatók a most készített (xls) és a már online adatbázis mutató elnevezései között, akkor erre az EXCEL "hossz" függvény nagy segítségre lehet (az xls mutató elnevezések kinyerését támogató funkció az EXCEL-ben a kimutatás-varázsló, melynél az egész táblázat kijelölése után a kimutatásra kattintva sorfejlécre húzzuk a már összefűzött mutató elnevezéseket). Használatával kiíratjuk mind az online, mind pedig az xls elnevezések karakterszámát és amennyiben eltérést tapasztalunk azoknál, mely minden bizonnyal már csak space hiány vagy felesleg lehet, akkor azt egy egyszerű törléssel eltüntethetjük teljes adatbázisunkból, úgy, hogy az autoszűrővel rákeresünk a megfelelő mutató elnevezésre, az első sorban szereplőnél javítjuk a space hibát és ezután két kattintás a kijelölt cella jobb alsó sarkán és az összes elnevezés javítva.
• 11. lépés: Ha minden feltárt jelenség-hiba xls-ben rendezésre kerül, akkor is maradhat olyan hiba, amit csak OLAP-sql alapon lehet cserélgetni (pl. speciális nem látható karakterek).

Tehát ezen felsorolt lépések kizárólag az xls-ben történő adatbázis kialakítására, illetve ellenőrzésére hivatottak.