Recepta na idealną analizę - przygotowanie procesu

Wyzwania

Wyzwań związanych z przygotowaniem danych do analizy może być wiele i mogą być one różnie kategoryzowane. Podstawową kwestią jest wielkość zbioru, na którym pracujemy. Jaka jest jednak definicja dużego zbioru? Dla jednej osoby praca z arkuszem kalkulacyjnym i milionem rekordów będzie już dużym zbiorem, dla innego użytkownika ta sama próbka będzie jedynie „przystawką”. Czym jest zatem Big Data? Termin ten jest trudny do określenia. Przyjmuje się, że jeśli ogólnodostępne narzędzia są niewystarczające, aby przetworzyć duży zbiór danych, a dodatkowo towarzyszy temu stała potrzeba zdobywania nowych informacji lub wiedzy, to mamy wówczas do czynienia z Big Data. Dobrym przykładem, gdzie ewidentnie mamy z nimi do czynienia, jest rynek telekomunikacyjny. Ciągła potrzeba rejestrowania połączeń abonentów definiuje wielkość bazy danych. Analityk, który chce pracować na tak dużej bazie, musi mieć odpowiednie narzędzia i kompetencje. Rynek telekomunikacyjny jest dynamiczny, szybko się zmienia i towarzyszy temu stała i silna potrzeba zdobywania nowych informacji o kliencie, np. badania jego preferencji.

Aby analiza danych była przeprowadzona w sposób efektywny i dostarczała rzetelnych informacji, dobrze jest wcześniej odpowiednio przygotować się do prac analitycznych.

Punktem wyjścia jest źródło danych. Niezależnie od tego, czy będziemy pracować na dużym, czy małym zbiorze, należy dołożyć wszelkich starań, aby doprowadzić źródło danych do stanu idealnego. Jakość danych jest punktem krytycznym w całym procesie, a praca nad nią sprowadza się do mniej lub bardziej zaawansowanych działań. Dane niekompletne, zdublowane, nieaktualne bądź w jakikolwiek inny sposób naznaczone błędem będą wypaczać obraz rzeczywistości i wpływać na właściwe podejmowanie decyzji biznesowych. Dlatego też ważne jest, aby prace nad jakością danych zacząć już od najwcześniejszego etapu – zbierania danych. Specyfika i skala gromadzonych danych będzie w dużym stopniu definiować rodzaj bazy danych. Dla przykładu, osoba, która prowadzi sklep z pieczywem, prawdopodobnie będzie w stanie określić listę produktów, wielkość sprzedaży i koszty w prostej tabeli i na podstawie tylko jednego źródła danych będzie w stanie określić większość wskaźników biznesowych. Inaczej sytuacja będzie się kształtować w przypadku dużej firmy, która aby określić te same parametry, prawdopodobnie będzie już musiała zastosować bardziej zaawansowany model np. relacyjnej bazy danych, gdzie dane przechowywane są w wielu tabelach. W przypadku zastosowania takiego rozwiązania istotne jest to, aby w każdej tabeli był identyfikator, który umożliwi połączenie ze sobą konkretnych tabel i pracę na zbiorze tylko z danymi, które będą istotne z punktu widzenia realizowanej analizy. Rejestrowanie danych powinno odbywać się w sposób skrupulatny, ustrukturyzowany i sformatowany. Stopień naszego zaangażowania w prace związane z dostosowaniem tabel zaprocentuje na późniejszym etapie prac raportowo-analitycznych.

Duże firmy dysponują wielkimi wewnętrznymi zbiorami danych (hurtowniami danych), ale aby zaspokoić w pełni swoje potrzeby analityczne, często posiłkują się dodatkowymi, zewnętrznymi bazami danych. Niezależnie od pochodzenia źródła danych, im większa liczba źródeł (zwłaszcza tych zewnętrznych), tym trudniej wyciągnąć istotne informacje i przygotować analizę.