Maj 2019

Dzisiejszy post będzie trochę mniej techniczny, z uwagi na odbywającą się kilka dni temu konferencję SQL Day, na której i ja byłem :) Już tradycyjnie, we Wrocławiu, spotkali się pasjonaci platformy danych Microsoft, aby wymienić się doświadczeniami i posłuchać sesji najlepszych prelegentów z całego świata. Mimo że wybór sesji był ogromy, kilka z nich zwróciło moją szczególną uwagę i chciałbym podzielić się tym, czego się dowiedziałem.

Hurtownie danych, jak wskazuje sama nazwa, służą do przechowywania danych, które mogą pochodzić z różnych systemów. Jednak aby mogło do tego dojść, dane należy tam wcześniej załadować. To zadanie bardzo często bywa skomplikowane z uwagi na różnorodność struktur i źródeł danych. Co więcej – zdarza się, że w zależności od systemu, te same nazwy (np. ulic), mogą być zapisywane w różnej formie, co wprowadza niepotrzebny chaos. Aby go uniknąć należy doprowadzić wszystkie nazwy do jednolitej postaci – wykorzystuje się do tego proces ETL (z ang. Extract, Transform and Load). W dzisiejszym artykule wyjaśnię czym jest ETL i przedstawię narzędzia, które są niezbędne przy jego budowaniu.