ETL - czyli co zrobić z danymi, zanim dotrą do aplikacji analitycznej, Business Intelligence

Aplikacje do wizualizacji danych, takie jak Tableau, są aplikacjami bezlitosnymi, ponieważ bardzo szybko pokazują nam jak duży, i nie waham się tu użyć mocnego słowa – śmietnik – mamy w naszych danych. Jeżeli chcemy mieć dobre raportowanie, jeżeli chcemy mieć dobrą informację o tym, co się dzieje w naszej organizacji, musimy zadbać również o jakość danych.

Na przestrzeni ostatnich lat rozszerzał się zakres tego, co możemy obecnie rozumieć pod definicją ETL. Może się bardzo szybko okazać, że wizualizacje czy raport nie spełniają naszych oczekiwań na poziomie merytorycznym. Jest to również pozytywna cecha dlatego, że tego typu aplikacje możemy też wykorzystywać jako użyteczne narzędzia do profilowania danych.

Kiedy jesteśmy na etapie modelowania, możemy zauważyć, że w aplikacjach nowej generacji elementy ETL-owe zostały udostępnione przez kreatory wizualne dla end-userów, którzy projektują frontend, czyli ten ostateczny widok dashboardów czy raportów. W wielu aplikacjach już nie musimy samodzielnie pisać konektorów, żeby podłączyć się do danych, konektory mamy już przygotowane. Podobnie z kolejnymi etapami przetwarzania, gdzie umiejętności kodowania nie są już tak istotne.

Extract – zaciąganie danych

Rynek Business Intelligence zmienia się obecnie bardzo dynamicznie. To użytkownik biznesowy jest obecnie w centrum. Nie potrzebuje on mieć bardzo wysokiego poziomu zaawansowania, jeśli chodzi o znajomość danych, czyli bazy danych, ich strukturę, nie musi też być zaawansowanym programistą.

Ten trend pojawił się początkowo w narzędziach do analizy wizualnej, aby w ostatnim czasie pojawić się również w aplikacjach służących do przygotowania i przetwarzania danych.

Metoda Drag&Drop, która w tle ma oczywiście zaszyty język programowania, pozwalający na dokonywanie skomplikowanych operacji, przy braku kodowania lub niskim jego poziomie (tzw. Low-Code), jest efektem potrzeby, aby każdy użytkownik z czasem stał się zorientowany na dane.

Dla użytkownika taka operacja to dosłownie przeciągnięcie elementu w odpowiednie miejsce. Podobnie w przypadku ETL-a, który kiedyś był zarezerwowany właściwie dla wąskiego grona informatyków czy ludzi pracujących w dziale IT, osób bardzo mocno technicznych, co jest bardzo często takim progiem nie do przeskoczenia dla zwykłego użytkownika biznesowego, zaczęły pojawiać się rozwiązania, które były skierowane do takiego właśnie użytkownika. Wymienić można tu choćby aplikację Alteryx, która niewątpliwie jest narzędziem bardzo skomplikowanym i na pewnym poziomie zaawansowania podobna bariera również się pojawi, natomiast sam graficzny sposób układania procesu oraz możliwość śledzenia krok po kroku tego, co robimy, począwszy od załadowania danych, przez ich przekształcenie i następnie eksport do hurtowni danych lub innego źródła, w którym będziemy mogli dane przechowywać. Przetworzone w ten sposób dane to jest skok jakościowy. Gigantyczny, jeśli chodzi o łatwość uzyskania wysokiej jakości danych.