Knime – gdy Excel nie wystarcza?

Każda firma, która zaczyna swoją przygodę z analizowaniem danych, poza „nafciarzami” szuka też odpowiedniej „rafinerii”, czyli narzędzi zamieniających surowe dane w informacje przydatne zarządczo. Pierwszym i podstawowym tego typu narzędziem jest zazwyczaj stary, dobry Excel – lub dowolny inny arkusz kalkulacyjny. Jednak firma się rozwija, a wraz ze wzrostem do naszej „rafinerii” spływa coraz więcej danych – finansowych i operacyjnych. Z Internetem rzeczy za progiem wiadomo, że wkrótce czeka nas kolejny, lawinowy wzrost ilości danych zbieranych w ramach przedsiębiorstwa. W tej sytuacji arkusz kalkulacyjny przestaje wystarczać.

Excel znakomicie sprawdza się w obliczeniach nawet na dość sporych zbiorach danych, ale nigdy nie był tworzony jako narzędzie bazodanowe. Dlatego nie ma co liczyć na to, że ponad milion wierszy i dziesiątki tysięcy kolumn mogą być zapełnione danymi. A tym bardziej że będziemy mogli w Excelu w sensowny sposób je opracować. Potrzebne są inne możliwości. Oczywiście, można korzystać z narzędzi bazodanowych, takich jak Access, przetwarzać dane z poziomu zapytań za pomocą SQL czy też sięgnąć po języki programowania, takie jak Python lub R. Tylko że te „rafinerie” nie zrobią za nas wszystkiego, bo każda z nich działa w ograniczonym zakresie. A jeśli nawet potrafią przetworzyć naszą nową „ropę” tak, jak tego chcemy, to nauka ich obsługi jest długotrwała i skomplikowana.

Gdy Excel nie wystarcza

Potrzebne jest narzędzie proste w nauce, z intuicyjną obsługą, a jednocześnie będące prawdziwym kombajnem, któremu gigantyczne ilości danych nie są straszne. I tu na scenę wkracza KNIME, wymawiane jako „najm”.

Jego historia zaczyna się na początku XXI wieku na uniwersytecie w niemieckiej Konstancji. Właśnie tam grupa inżynierów z doświadczeniem z Doliny Krzemowej zaczęła tworzyć oprogramowanie wspierające przetwarzanie danych. Członkowie zespołu deweloperskiego mieli doświadczenie w pracy z dużymi ilościami danych, ponieważ mieli za sobą pracę w przemyśle farmaceutycznym. Postanowili stworzyć wydajne, skalowalne i modularne narzędzie, które będzie sobie radziło z przetwarzaniem dowolnej ilości różnorodnych danych. Pierwszej wersji KNIME zaczęło używać kilka firm farmaceutycznych i stopniowo rozpoczęto stosowanie tego narzędzia w przedsiębiorstwach, o różnej wielkości i charakterze, w ponad 50 krajach. KNIME jest obecnie stosowany nie tylko przez firmy farmaceutyczne, choćby przy testowaniu projektowanych leków, ale przez spółki z każdej branży: od finansów, przez FMCG, do pożarnictwa. Wszędzie tam, gdzie modelowanie danych może oszczędzić czas i pieniądze.

Jeśli powyższy akapit nie brzmi dość przekonująco, warto dodać jeszcze dwa fakty. Po pierwsze, Gartner w swoim Magicznym Kwadracie od dawna wskazuje KNIME jako jednego z liderów w swojej dziedzinie. Po drugie – KNIME jest dystrybuowany na licencji GNU (General Public License) jako oprogramowanie darmowe. Płatne są jedynie specjalistyczne rozszerzenia, które nie są potrzebne do wykonywania nawet dość skomplikowanych przekształceń. Oznacza to, że bezkosztowo można mieć wiodącą aplikację wspierającą analizę danych, do tego prostą w obsłudze i łatwą do nauczenia.

Po tym historycznym wstępie warto pokrótce wyjaśnić, na czym zasadza się wyjątkowość tej aplikacji. W KNIME przekształcamy dane, tworząc workflow – ze względu na brak dobrego polskiego odpowiednika tego terminu będę posługiwać się terminem angielskim w wersji spolszczonej. Na dodatek możemy określić zarówno źródło danych (plik xls, csv, baza danych), jak i ich format wyjściowy (plik xls, csv, zapis w bazie danych, dane przystosowane do prezentacji w Tableau i wiele innych). Sprawia to, że możemy mieć w KNIME zmapowany proces przetwarzania danych, który będzie można wielokrotnie uruchamiać w zależności od potrzeb. Oprócz tego nasz workflow każdorazowo przetworzy dane od postaci surowej do wersji finalnej za pomocą jednego kliknięcia.

W jaki sposób można wykorzystać KNIME w finansach czy wsparciu w podejmowaniu decyzji przez kierownictwo przedsiębiorstwa? Podobnie jak w przypadku klocków Lego – ogranicza nas tylko wyobraźnia. Zwłaszcza jeśli zainstalujemy kilka rozszerzeń stworzonych przez prężnie działającą społeczność użytkowników KNIME. Jeśli mamy taką możliwość, najlepiej jest wpiąć nasz workflow bezpośrednio w bazę danych firmowych operacji lub programu księgowego, ale można też bazować na zrzutach tabel do formatu csv lub xls – i tworzyć raporty. Wiekowanie rozrachunków w podziale na położenie geograficzne kontrahentów i czas współpracy. Wielowymiarowa analiza sprzedaży. Efektywność pracy przedstawicieli handlowych. Segmentacja rynku.

Czym jest workflow?

To ciąg mniejszych lub większych zdarzeń, przetwarzających kolejno wprowadzone dane. Co ważne, zdarzenia te są przedstawione w formie tak zwanych node’ów, czyli węzłów, które łączą się ze sobą niczym klocki Lego. Za pomocą przeciągania i wiązania odpowiednich node’ów można szybko stworzyć nawet dość skomplikowany.