Adatelemzőknek tervezve

Vannak helyzetek, amikor gyorsan, ad-hoc jelleggel kellene átalakítanunk a kapott adatainkat a további feldolgozás előtt, viszont az elvégzendő műveletek összetettsége, vagy már meghaladja a meglévő, célként kijelölt eszközünkbe integrált megoldások képességeit, vagy éppenséggel még nem éri el egy professzionális megoldás lehetőségeinek alsó határát (magyarán fölösleges miatta az adott eszközt egyáltalán elindítani…). Ilyenkor jól jönne egy olyan eszköz, amely valahol félúton van az előbbi kettő közt, a feladatot megoldja, de nem bánik pazarlóan az erőforrásokkal: gyors, és könnyű használni.

A most következő postban, éppen egy ilyen eszközt szeretnék nektek bemutatni, egy kanadai fejlesztő csapat termékét, az Easymorph-ot.

Az eszközt a holnapon, "lightweight data transformation tool"-ként definiálják, ami kétségkívül találó megnevezés, hiszen egy felhasználóbarát felülettel rendelkező, könnyen kezelhető megoldás, mégis tartalmaz pár olyan funkciót, ami már túlmutat a legegyszerűbb megoldásokon, sőt a Tableau-val, és Qlik-kel való integrációt is biztosítja. Mindemellett az ingyenes verziótól a havidíjas megoldásokig, többféle konstrukció közül választhatjuk ki a feladatnak, vagy a költségvetésünknek legjobban megfelelőt.

Mit is tud az eszközünk a gyakorlatban

Az egész program arra a logikára épít, hogy az ETL folyamatokat „project”-ekbe szervezi, amelyek egymással logikailag összeköthető, és folyamatba szervezhető táblákból állhatnak (igazából egy-egy adatforráshoz kapcsolódó műveletsorok), ami persze csak egy lehetőség, hiszen akár egyetlen tábla is lehet egy külön project, ha nekünk az is elég.

Ami sokkal fontosabb, hogy egy project meghatározott számú lépést (alapból 30 lépés, de ez a limitáció feloldható) foglalhat magában, és minden transzformáció egy lépésnek számít, ezzel érdemes már az elején számolni. A lépésenkénti transzformáció a Power BI-t használóknak már ismerős lehet, ahogyan az is, hogy az egyes lépések eredménye, - egy listából kiválasztva az adott lépést -, előnézetes formában is követhető. Fontos, hogy az egyes lépések sorrendje szabadon módosítható, de a köztük lévő logikára figyelni kell, igaz, arra a program maga is figyelmeztet, ha valami nem lehetséges. A projektjeinket a végén menthetjük, így a későbbiekben egy-egy rendszeresen ismétlődő munkafolyamatnál újból lefuttathatjuk azokat, ezzel is időt spórolva magunknak.

Adatok importálása

A projektek esetében az első lépés a forrásadatok beimportálása, amit vagy a Start menüpontban, vagy a Main menüben az „Import/create table” funkcióval érhetjük el. A forrásunk lehet egy adatbázis (Oracle, SQL Server, MYSQL, PostgreSQL, stb.), vagy egy fájl (csv, .xlsx, .xml, .qvd, .sas7bdat), amit szimplán csak beimportálhatunk, vagy hasznos kiegészítő opcióként, akár generálhatunk magunknak listát egy adott időintervallum dátumairól, vagy egy adott mappában lévő almappákról, fájlokról is, és ha megvagyunk, már el is kezdhetjük vele a munkát.

De ami sokkal érdekesebb, hogy akár olyan logikát is építhetünk a projektünkbe, hogy ha a forrást például néha sima Excel fájlként kapjuk meg, néha viszont betömörítve, akkor az eszköz az általunk definiált feltételek alapján ismerje fel, hogy melyik eset áll fent, és ha szükséges, akkor hívjon meg egy kiválasztott alkalmazást, amellyel kitömöríti, mielőtt a transzformálást elkezdenénk. Így akár egész folyamatokat tudunk automatizálni, persze ehhez már nem árt egy kis programozói véna sem. 

Adat transzformációk

Miután megvannak az adataink, az „Add transformation” menüpontból több mint 60 féle transzformációs műveletet érhetünk el, a legegyszerűbb dolgoktól kezdve, mint az oszlopok „drag and drop” módon történő rendezése, vagy új, kalkulált oszlopok hozzáadása, egészen az olyan műveletekig, mint az intervallum összevonás. Szerencsére az Easymorph, ahol csak lehet megadja a lehetőséget saját expression (kifejezés) írására, így e téren is egy valóban sokrétű eszközt kapunk.

Adatok exportálása

Az igényeknek megfelelően átalakított adathalmaz végül exportálhatjuk szintén adatbázisba, vagy fájlba. (Ezt szintén a transzformációs menüben, az „Export” opció alatt érjük el!)

Itt amire érdemes külön kitérni, az a már említett Tableau, és Qlik integráció, amivel lehetőségünk van a két eszköz saját fájlformátumaiba exportálni a munkánk végeredményét.

Adatvizualizáció

További lehetőségként a program rendelkezik minimális adatvizualizációs képességekkel is, amit a „Design” menüpontból érhetünk el, de ezek inkább arra jók, hogy az átalakítások eredményeit vizuálisan is követni tudjuk, és ha esetleg valamit másokkal is szeretnénk megvitatni, akkor pdf-be is exportálhatunk egy egyszerű riportot.

Összefoglaló

Nagy vonalakban ezek lennének azok a képességek, amivel az eszköz a munkánkat segítheti, de természetesen érdemes lehet egy kis időt, és energiát rászánva, az Easymorph oldalán elérhető oktató anyagokat átfutni, esetleg saját magunk kipróbálni a lehetőségeket, mert akár már pár óra gyakorlás után is nagyon hasznos dolgokat tudunk majd vele elvégezni.

Végső soron megállapíthatjuk, hogy egy olyan eszközről beszélünk, amely köszönhetően a letisztult, és intuitív kezelőfelületének, bárki által könnyen tanulható és használható, mégis a benne rejlő lehetőségek túlmutatnak az egyszerű transzformáló megoldásokon, így bonyolultabb feladatok megoldására is alkalmas.

Persze, ha minden képességét ki akarjuk aknázni, akkor azért már fizetnünk kell, de az ár, még akár a legdrágább konstrukcióban is megérheti, ha figyelembe vesszük, mire is képes ez a kis eszköz.