Blog

Jak zbudować proces ETL w Azure Databricks?

Kiedy myślimy o ETLu w chmurze, pierwsze, co przychodzi na myśl, to usługa Azure Data Factory. Rzeczywiście – z jej pomocą można zbudować całkiem rozbudowane i stabilne procesy, zwłaszcza, że niedawno dodano funkcjonalność Mapping Data Flows. Jednak co, jeśli do wykonania transformacji potrzebna jest naprawdę duża moc obliczeniowa? Wtedy należy wspomóc się czymś bardziej wydajnym. Takim rozwiązaniem jest Apache Spark ukrywający się pod nazwą Azure Databricks.

Czytaj dalej »
Zwiększ swoją produktywność

Azure Analysis Services – 5 narzędzi, które zwiększą twoją produktywność!

Czy zdarzyło Ci się kiedyś, że pracując przy projekcie musiałeś wykonać jakąś pracę, która była strasznie monotonna? Czułeś oczywiście, że takowa jest, ale ktoś to musi zrobić. Oczywiście zdarza się to w niemal każdym projekcie, a tworzenie modelu i miar Azure Analysis Services nie jest tu żadnym wyjątkiem. A co jeśli powiem Ci, że bardzo dużo rzeczy można zautomatyzować? Mało tego, przedstawię narzędzia, które nie tylko umożliwiają generowanie miar Time Intelligence, ale także odpowiednio sformatują kod i pomogą nam sprawdzić czy nasza robota została wykonana dobrze!

Czytaj dalej »

Business Intelligence Consultant – 15 pytań, których możesz się spodziewać na rozmowie rekrutacyjnej

Jeśli właśnie przygotowujesz się do rozmowy rekrutacyjnej lub po prostu jesteś ciekaw, co może cię na niej czekać – przeczytaj ten tekst. Gdybym teraz był w takiej sytuacji to również chciałbym jak najlepiej przygotować się do takiej rozmowy i sprawdzić co już umiem. A ponieważ kilka rozmów mam już za sobą, pomyślałem, że podzielę się swoim doświadczeniem i przedstawię 15 pytań, które mogą pojawić się na rozmowie o pracę na stanowisko Business Intelligence Consultant. Pytania dotyczą zarówno obszarów teoretycznych, jak i praktycznych. Zachęcam do sprawdzenia swojej wiedzy!

Czytaj dalej »

Partition Manager – procesowanie Azure Analysis Services z poziomu Azure Data Factory

W ostatnim artykule opisywałem w jaki sposób można wdrożyć i skonfigurować Partition Managera, a także pokazywałem jak uruchomić to narzędzie z poziomu Azure Functions. Dzisiaj zaprezentuję coś bardzo praktycznego, a mianowicie dodawanie procesowania modelu AAS do naszego procesu ETL w Azure Data Factory! Oznacza to, że Partition Manager będzie działał codziennie na samym końcu procesu ETL w pełni automatycznie. Zapraszam do lektury!

Czytaj dalej »

Partition Manager – procesowanie dużych modeli Azure Analysis Services

Azure Analysis Services oferuje nam maksymalnie 400 GB pamięci RAM. Jest to wartość, która bardzo często wystarczy do zbudowania naprawdę skomplikowanego i rozbudowanego modelu danych. Takie rozwiązanie powinno być także regularnie zasilane danymi. Do tego celu można wykorzystać różne narzędzia – warto jednak pamiętać, że taki model powinno się odpowiednio spartycjonować, aby jego późniejsze procesowanie było w ogóle możliwe. W tym artykule zaprezentuję narzędzie służące do procesowania i partycjonowania danych – AS Partition Managera.

Czytaj dalej »

Analysis Services – 5 funkcjonalności, które powinien znać każdy developer

W poprzednim artykule opisywałem Analysis Services – było to takie teoretycznie wprowadzenie, w którym opowiedziałem o podstawach wielowymiarowej analizy danych z wykorzystaniem Tabulara . Dzisiaj chciałbym przejść do praktyki i zaprezentować ważne z punktu widzenia dewelopera funkcjonalności tej usługi, które pomogą zbudować jeszcze wydajniejsze rozwiązanie. Warto wspomnieć, że funkcjonalności, które będę opisywał, działają zarówno w Azure Analysis Services, jak i w SQL Server Analysis Services (w trybie tablicowym). Zaczynajmy!

Czytaj dalej »

Analysis Services – szybkie wprowadzenie do wielowymiarowej analizy danych

Duże organizacje często muszą analizować ogromne ilości danych, np. aby poprawiać swoje wyniki. Takimi analizami często zajmują się specjalne zespoły, które wiedzą w jaki sposób działa firma i które wskaźniki należy monitorować. Z uwagi na to, że występuje konieczność dzielenia między pracownikami danych i wskaźników firmowych, arkusze Excela stają się niewystarczające. W dzisiejszym artykule opiszę czym jest analityczna baza danych i w jaki sposób można wykorzystać Analysis Services, aby czerpać z niego jak najlepsze korzyści na poziomie organizacji.

Czytaj dalej »

Vertipaq – zacznij tworzyć wydajne modele danych

Każdy, kto choć w niewielkim stopniu miał styczność z analizą danych wie, że jest to bardzo rozległy temat. W zależności od potrzeb wykorzystywane są do niej różne narzędzia, takie jak Excel, PowerBI i Azure Analysis Services, które – wbrew pozorom – łączy bardzo wiele. Wszystkie te technologie wykorzystują silnik Vertipaq i kolumnowe składowanie danych, dzięki którym możliwa jest wydajna analiza z wykorzystaniem mechanizmów In-Memory.

Czytaj dalej »

Jak w kilku krokach załadować hurtownię danych w Azure Data Factory

W poprzednich artykułach omówiłem czym jest proces ETL oraz zaprezentowałem usługę Azure Data Factory, która jest narzędziem do budowania tego procesu. Dzisiaj natomiast zaprezentuję w jaki sposób można wykorzystać ADF do ładowania hurtowni danych. Dla przykładu utworzę prosty proces ETL, wykorzystując podstawowe elementy Azure Data Factory V2.

Czytaj dalej »

Azure Data Factory – wszystko, co powinieneś wiedzieć, zanim zaczniesz!

Poprzedni artykuł opowiadał o tym, czym jest proces ETL oraz dlaczego jest niezbędny do prawidłowego funkcjonowania hurtowni danych. W związku z tym, że na tym blogu poruszam tematykę systemów BI opartą o platformę Azure, dzisiaj chciałbym podzielić się swoją wiedzą na temat Azure Data Factory – narzędzia do budowaniu procesów ETL w Azure. W tym artykule omówię pokrótce ADF, zaprezentuję poszczególne elementy i koszty wykorzystania usługi.

Czytaj dalej »

SQL Day – 5 sesji, które szczególnie zwróciły moją uwagę!

Dzisiejszy post będzie trochę mniej techniczny, z uwagi na odbywającą się kilka dni temu konferencję SQL Day, na której i ja byłem 🙂 Już tradycyjnie, we Wrocławiu, spotkali się pasjonaci platformy danych Microsoft, aby wymienić się doświadczeniami i posłuchać sesji najlepszych prelegentów z całego świata. Mimo że wybór sesji był ogromy, kilka z nich zwróciło moją szczególną uwagę i chciałbym podzielić się tym, czego się dowiedziałem.

Czytaj dalej »

Proces ETL – dlaczego żaden system BI nie może bez niego istnieć?

Hurtownie danych, jak wskazuje sama nazwa, służą do przechowywania danych, które mogą pochodzić z różnych systemów. Jednak aby mogło do tego dojść, dane należy tam wcześniej załadować. To zadanie bardzo często bywa skomplikowane z uwagi na różnorodność struktur i źródeł danych. Co więcej – zdarza się, że w zależności od systemu, te same nazwy (np. ulic), mogą być zapisywane w różnej formie, co wprowadza niepotrzebny chaos. Aby go uniknąć należy doprowadzić wszystkie nazwy do jednolitej postaci – wykorzystuje się do tego proces ETL (z ang. Extract, Transform and Load). W dzisiejszym artykule wyjaśnię czym jest ETL i przedstawię narzędzia, które są niezbędne przy jego budowaniu.

Czytaj dalej »
5 powodow dla ktorych warto migrowac swoj system Business Intelligence do chmury

5 powodów, dla których warto migrować swój system Business Intelligence do chmury

Niemal każda większa organizacja posiada swój system Business Intelligence. Większość z nich oparta jest na klasycznych serwerach, które znajdują się w data center firmy (on-premises). To rozwiązanie jest ciągle bardzo popularne, ale ze względu na szybki rozwój technologii często staje się pewnym ograniczeniem. Czy zdarzyło Ci się, że na maszynie produkcyjnej brakowało pamięci, a żeby ją zwiększyć trzeba było na określony czas wstrzymać działanie systemu? A może doświadczyłeś sytuacji, w której Twój system przestał być wspierany przez producenta i należało go migrować do nowej wersji? Te wszystkie problemy rozwiązuje chmura! Dzisiaj postaram się przekonać Cię do migracji swojego rozwiązania BI do chmury.

Czytaj dalej »
Wprowadzenie do Azure Data Warehouse: krótka teoria hurtowni danych

Wprowadzenie do Azure Data Warehouse: krótka teoria hurtowni danych

Ze względu na to, że temat hurtowni danych (ang. data warehouse) nie jest powszechnie znany, chciałbym go nieco przybliżyć. Z praktycznego punktu widzenia hurtownia jest normalną bazą danych – ma jednak pewne mechanizmy, które odróżniają ją od baz operacyjnych. W tym artykule przybliżę nieco teorię budowania hurtowni danych oraz mechanizmy, które są niezbędne do jej działania.

Czytaj dalej »
Azure SQL Database – jak skonfigurować bazę?

Azure SQL Database – jak skonfigurować bazę?

W poprzednim artykule opisywałem czym jest platforma Azure, a także jak z niej skorzystać. Tym razem zaprezentuję bazę danych Azure SQL Database. Pokażę, jak uruchomić nową instancję usługi, zalogować się do niej, a także jaka jest różnica między klasycznym SQL Serverem, a bazą w chmurze.

Czytaj dalej »

Wprowadzenie do platformy Azure

Ostatnimi czasy w świecie IT coraz częściej poruszane są tematy związane z chmurą obliczeniową. Wynika to przede wszystkim z wszechstronności rozwiązań, które oferowane są nam przez dostawców platform chmurowych. Jednym z przykładów jest Microsoft Azure. W poniższym artykule przedstawię zalety i wady chmury Microsoft Azure oraz pokażę, jak w łatwy sposób zacząć przygodę z cloud computingiem.

Czytaj dalej »

Post powitalny

Cześć! Drogi Czytelniku, miło mi powitać Cię na moim blogu. Cloudbi.pl to miejsce, w którym będę poruszał tematy związane z bazami danych, językiem SQL, Business

Czytaj dalej »