Bez kategorii

W poprzednich artykułach omówiłem czym jest proces ETL oraz zaprezentowałem usługę Azure Data Factory, która jest narzędziem do budowania tego procesu. Dzisiaj natomiast zaprezentuję w jaki sposób można wykorzystać ADF do ładowania hurtowni danych. Dla przykładu utworzę prosty proces ETL, wykorzystując podstawowe elementy Azure Data Factory V2.

Poprzedni artykuł opowiadał o tym, czym jest proces ETL oraz dlaczego jest niezbędny do prawidłowego funkcjonowania hurtowni danych. W związku z tym, że na tym blogu poruszam tematykę systemów BI opartą o platformę Azure, dzisiaj chciałbym podzielić się swoją wiedzą na temat Azure Data Factory – narzędzia do budowaniu procesów ETL w Azure. W tym artykule omówię pokrótce ADF, zaprezentuję poszczególne elementy i koszty wykorzystania usługi.

Dzisiejszy post będzie trochę mniej techniczny, z uwagi na odbywającą się kilka dni temu konferencję SQL Day, na której i ja byłem :) Już tradycyjnie, we Wrocławiu, spotkali się pasjonaci platformy danych Microsoft, aby wymienić się doświadczeniami i posłuchać sesji najlepszych prelegentów z całego świata. Mimo że wybór sesji był ogromy, kilka z nich zwróciło moją szczególną uwagę i chciałbym podzielić się tym, czego się dowiedziałem.

Hurtownie danych, jak wskazuje sama nazwa, służą do przechowywania danych, które mogą pochodzić z różnych systemów. Jednak aby mogło do tego dojść, dane należy tam wcześniej załadować. To zadanie bardzo często bywa skomplikowane z uwagi na różnorodność struktur i źródeł danych. Co więcej – zdarza się, że w zależności od systemu, te same nazwy (np. ulic), mogą być zapisywane w różnej formie, co wprowadza niepotrzebny chaos. Aby go uniknąć należy doprowadzić wszystkie nazwy do jednolitej postaci – wykorzystuje się do tego proces ETL (z ang. Extract, Transform and Load). W dzisiejszym artykule wyjaśnię czym jest ETL i przedstawię narzędzia, które są niezbędne przy jego budowaniu.

Niemal każda większa organizacja posiada swój system Business Intelligence. Większość z nich oparta jest na klasycznych serwerach, które znajdują się w data center firmy (on-premises). To rozwiązanie jest ciągle bardzo popularne, ale ze względu na szybki rozwój technologii często staje się pewnym ograniczeniem. Czy zdarzyło Ci się, że na maszynie produkcyjnej brakowało pamięci, a żeby ją zwiększyć trzeba było na określony czas wstrzymać działanie systemu? A może doświadczyłeś sytuacji, w której Twój system przestał być wspierany przez producenta i należało go migrować do nowej wersji? Te wszystkie problemy rozwiązuje chmura! Dzisiaj postaram się przekonać Cię do migracji swojego rozwiązania BI do chmury.