Łukasz Bielak

Duże organizacje często muszą analizować ogromne ilości danych, np. aby poprawiać swoje wyniki. Takimi analizami często zajmują się specjalne zespoły, które wiedzą w jaki sposób działa firma i które wskaźniki należy monitorować. Z uwagi na to, że występuje konieczność dzielenia między pracownikami danych i wskaźników firmowych, arkusze Excela stają się niewystarczające. W dzisiejszym artykule opiszę czym jest analityczna baza danych i w jaki sposób można wykorzystać Analysis Services, aby czerpać z niego jak najlepsze korzyści na poziomie organizacji.

Każdy, kto choć w niewielkim stopniu miał styczność z analizą danych wie, że jest to bardzo rozległy temat. W zależności od potrzeb wykorzystywane są do niej różne narzędzia, takie jak Excel, PowerBI i Azure Analysis Services, które – wbrew pozorom – łączy bardzo wiele. Wszystkie te technologie wykorzystują silnik Vertipaq i kolumnowe składowanie danych, dzięki którym możliwa jest wydajna analiza z wykorzystaniem mechanizmów In-Memory.

W poprzednich artykułach omówiłem czym jest proces ETL oraz zaprezentowałem usługę Azure Data Factory, która jest narzędziem do budowania tego procesu. Dzisiaj natomiast zaprezentuję w jaki sposób można wykorzystać ADF do ładowania hurtowni danych. Dla przykładu utworzę prosty proces ETL, wykorzystując podstawowe elementy Azure Data Factory V2.

Poprzedni artykuł opowiadał o tym, czym jest proces ETL oraz dlaczego jest niezbędny do prawidłowego funkcjonowania hurtowni danych. W związku z tym, że na tym blogu poruszam tematykę systemów BI opartą o platformę Azure, dzisiaj chciałbym podzielić się swoją wiedzą na temat Azure Data Factory – narzędzia do budowaniu procesów ETL w Azure. W tym artykule omówię pokrótce ADF, zaprezentuję poszczególne elementy i koszty wykorzystania usługi.

Dzisiejszy post będzie trochę mniej techniczny, z uwagi na odbywającą się kilka dni temu konferencję SQL Day, na której i ja byłem :) Już tradycyjnie, we Wrocławiu, spotkali się pasjonaci platformy danych Microsoft, aby wymienić się doświadczeniami i posłuchać sesji najlepszych prelegentów z całego świata. Mimo że wybór sesji był ogromy, kilka z nich zwróciło moją szczególną uwagę i chciałbym podzielić się tym, czego się dowiedziałem.

Hurtownie danych, jak wskazuje sama nazwa, służą do przechowywania danych, które mogą pochodzić z różnych systemów. Jednak aby mogło do tego dojść, dane należy tam wcześniej załadować. To zadanie bardzo często bywa skomplikowane z uwagi na różnorodność struktur i źródeł danych. Co więcej – zdarza się, że w zależności od systemu, te same nazwy (np. ulic), mogą być zapisywane w różnej formie, co wprowadza niepotrzebny chaos. Aby go uniknąć należy doprowadzić wszystkie nazwy do jednolitej postaci – wykorzystuje się do tego proces ETL (z ang. Extract, Transform and Load). W dzisiejszym artykule wyjaśnię czym jest ETL i przedstawię narzędzia, które są niezbędne przy jego budowaniu.