Blog

Databricks SQL

Self Service BI jest obecnie bardzo popularnym podejściem do demokratyzacji danych organizacyjnych. Jako inżynierowie chcemy umożliwić

Czytaj dalej »

Streaming Dataset w Power BI

Platformy danych oferujące dane w czasie niemal rzeczywistym to coraz popularniejsze rozwiązanie. Zamiana batchowego ładowania każdego dnia na streaming, umożliwia nie tylko bieżący wgląd w działanie biznesu, ale także podejmowanie decyzji na bieżąco. Power BI jest narzędziem, które można wykorzystać do wizualizacji strumieni danych (streaming). Wiąże się to z pewnymi ograniczeniami, ale więcej opowiem w tym artykule.

Czytaj dalej »

Calculation Groups w Power BI

Czysty kod to podstawa dobrego rozwiązania. W przypadku miar pisanych w języku DAX, czysty kod to nie tylko formatowanie, ale także ich dobra organizacja, enkapsulacja i reużywalność. Z założenia im mniej kodu, tym lepiej. Dlatego też, tworząc nowy model danych Power BI lub Analysis Services, warto zastanowić się nad wykorzystaniem Calculation Groups.

Czytaj dalej »

Testy obciążeniowe Power BI

Budując duże rozwiązanie oparte o Power BI chcielibyśmy wiedzieć, jak wielu użytkowników może z niego skorzystać. Z uwagi na to, że każde rozwiązanie jest nieco inne, bardzo trudno jest oszacować jakie obciążenie udźwignie. Najlepszą do tego zadania metodą jest po prostu wykonanie testów obciążeniowych. Co więcej, jest do tego specjalne narzędzie i o nim opowiem w dzisiejszym artykule.

Czytaj dalej »

Power BI – Desktop, Pro czy Premium? Poznaj najważniejsze różnice

W ostanim raporcie Gartnera, prym w kategorii platform analitycznych i business intelligence wiedzie Microsoft. Bardzo dużą zasługę ma w tym Power BI – narzędzie kompletne i niezwykle pomocne w eksploracji danych. Jest to platforma składająca się między innymi z elementów takich jak Power BI Desktop, Power BI Pro czy Power BI Premium. W dzisiejszym artykule opowiem o tym, co je różni, a także gdzie znajdują zastosowanie.

Czytaj dalej »

Optymalizacja kosztów w chmurze Azure – wyłączaj usługi, z których nie korzystasz

Wielką zaletą usług w chmurze jest możliwości ich wyłączenia, lub zeskalowania kiedy z nich nie korzystamy. Taki zabieg pozwala zaoszczędzić koszty i przeznaczyć je na bardziej potrzebne rzeczy. Samo skalowanie można wykonać z poziomu portalu czy powershella. Oczywiście, aby wszystko działało zgodnie ze sztuką powinniśmy zautomatyzować zarówno włącznie / wyłącznie jak i skalowanie usług. Do tego celu można wykorzystać runbooki i o nich właśnie w dzisiejszym artykule!

Czytaj dalej »

Jak monitorować produkcję w Azure?

Po wdrożeniu systemu na produkcję istnieje ciągła potrzeba monitorowania go. Oczywiście powinno się monitorować zarówno dostępność wszystkich elementów, ich wydajność, ale w przypadku systemów BI również to, czy mamy aktualne dane. Z pomocą przychodzą tutaj usługi Azure Log Analytics i Alertów. Ta pierwsza zbiera na bieżąco informacje o konkretnych usługach, umożliwiając ich późniejszą analizę. Druga natomiast, w razie jakichkolwiek problemów, wyśle stosowne ostrzeżenie do Administratora. W tym wpisie pokażę jak skonfigurować te usługi na przykładzie Azure Analysis Services.

Czytaj dalej »

5 wskazówek jak optymalizować zapytania DAX

Przychodzi taki moment, kiedy okazuje się, że raport w Power BI działają zbyt wolno. Jeżeli nie korzystamy ze skomplikowanych wizualizacji, to prawdopodobnie przyczyną jest miara, której rezultaty zwracane są zbyt wolno. Aby przyspieszyć raport należałoby zoptymalizować miary, czyli napisać je w taki sposób, aby działały szybciej. Nie można oczywiście podać złotej zasady jak definiować takie miary, ale jest kilka rzeczy, o których należy pamiętać. Opowiem o nich w dzisiejszym artykule.

Czytaj dalej »

Jak zapobiec utracie danych – kopie zapasowe w Azure SQL Database

Wpłacając pieniądze na konto bankowe liczymy, że będą one bezpieczne. Gdyby po przyjściu do domu i sprawdzeniu konta okazało się, że jego stan się nie zmienił, pewnie udalibyśmy się raz jeszcze do banku, aby wyjaśnić sprawę. Załóżmy, że stojąc przy okienku dowiedzielibyśmy się, że niestety, ale ktoś usunął bazę danych z serwera i dane o klientach zostały utracone. Taka sytuacje wydaje się być absurdalna, ale żeby się nie wydarzyła, konieczne jest tworzenie kopii zapasowych baz danych w sposób przemyślany. W przypadku Azure otrzymujemy gotowe rozwiązania, które gwarantują automatyczne tworzenie kopii zapasowych. Opowiem o nich w dzisiejszym artykule.

Czytaj dalej »

Systemy Business Intelligence w chmurze – czy rzeczywiście działamy bez ograniczeń?

Śledząc informacje na temat nowych usług dostępnych w chmurze, a także patrząc, jak szybko zwiększa się wydajność serwerów, można odnieść wrażenie, że podczas budowania systemu BI w chmurze absolutnie nic nas nie ogranicza. Wydawać by się mogło, że jeśli mamy nieograniczone środki finansowe, możemy w nieskończoność zwiększać wydajność i przyspieszać pracę sytemu. Niestety – nawet w świecie technologii wszystko ma swoje ograniczenia. Sztuką jest więc tak budować system, aby te limity nie były osiągane. W dzisiejszym poście zaprezentuję kilka ograniczeń narzucanych przez usługi Azure, na które powinniśmy zwrócić uwagę, kiedy projektujemy duże systemy Business Intelligence w chmurze.

Czytaj dalej »
dobra struktura to podstawa - buduj modele oparte o widoki

Dobra struktura to podstawa – buduj modele oparte o widoki w Analysis Services!

Często zdarza się, że podczas tworzenia nowego modelu Analysis Services, opieramy go bezpośrednio na tabelach w bazie danych. Takie rozwiązanie jest relatywnie mało pracochłonne, jednak po jakimś czasie może okazać się, że struktura bazy się nieco zmieniła i nasz model przestaje się procesować, rzucając jednocześnie błędami. Niestety – aby naprawić to, co zostało zepsute, czeka nas bardzo dużo pracy. Dlatego model Analysis Services warto opierać o osobną, opartą na widokach strukturę, która zabezpieczy nas przed takimi sytuacjami. 

Czytaj dalej »

Power BI vs Azure Synapse Analytics – czyli Composite Model w akcji!

Power BI jest świetnym narzędziem do analizy danych. Dzięki silnikowi Vertipaq, a co za tym idzie – znakomitej wydajności, wyniki zapytań są zwracane bardzo szybko. Szeroka gama wizualizacji zapewnia przejrzystość raportów i dashboardów. Co jednak w sytuacji, kiedy zbiór danych jest na tyle duży, że nie mieści się w pamięci? W takiej sytuacji możemy wspomóc się Composite Modelem i skorzystać z dobrodziejstw Azure Synapse Anlytics.

Czytaj dalej »
Azure DevOps – czyli jak prowadzić nowoczesny projekt Business Intelligence

Azure DevOps – czyli jak prowadzić nowoczesny projekt Business Intelligence

Jak mówi stare chińskie przysłowie: ludzie dzielą się na tych, którzy robią kopie zapasowe i tych co jeszcze ich nie robą. Na szczęście programiści są dosyć świadomą grupą społeczną jeśli chodzi o utratę wszelkiego rodzaju danych. Dlatego wymyślili sobie system kontroli wersji. Wymyślili sobie także, że rzeczy które są powtarzalne trzeba automatyzować. Z połączenia tych i innych czynności związanych rozwojem oprogramowania powstał termin DevOps i o nim dzisiejszy post.

Czytaj dalej »

Optymalizacja systemów Business Intelligence w chmurze

Optymalizacja jest terminem, który pojawia się w najróżniejszych kontekstach począwszy – od naszego ukochanego IT, aż po podatki 🙂 W zasadzie w każdym przypadku chodzi głównie o to, aby mniejszym kosztem osiągnąć takie same bądź lepsze wyniki. Systemy Business Intelligence nie są tutaj wyjątkiem, a zakres optymalizacji może być naprawdę szeroki. Poniżej przedstawiam 3 obszary, w których możesz zoptymalizować swój system Business Intelligence w chmurze.

Czytaj dalej »
azure-cognitive-services-analiza-sentymentu

Co o tobie mówią w sieci – czyli analiza sentymentu z wykorzystaniem Azure Cognitive Services!

Media społecznościowe, takie jak Twitter, Facebook czy Instagram, w ciągu każdej minuty generują ogromne ilości treści. Zwykły śmiertelnik nie jest w stanie tego wszystkiego śledzić na bieżąco, właściwie to zwykły śmiertelnik nie ma po co tego śledzić 🙂 Ale co w sytuacji, gdy prowadzisz firmę i bardzo zależy ci na opinii innych? Wtedy robi się ciekawie – chcielibyśmy wiedzieć czy mówi się o nas dobrze czy źle, a może bez żadnych skrajnych emocji? W dzisiejszym artykule zaprezentuję jak z pomocą sztucznej inteligencji dowiedzieć się co ćwierkają o nas na Twitterze!

Czytaj dalej »
Jak rozpoznawać pismo odręczne w Azure Databricks

Jak rozpoznawać pismo odręczne w Azure Databricks?

Sztuczna inteligencja jest ostatnio bardzo popularna. Do tego stopnia, że niemalże każdy toster potrafi przygotować odpowiednio kruche kromki, bazując na naszych upodobaniach. Z uwagi na to, że ostatnio pisałem o tym jak robić procesy ETL w Azure Databricks, pomyślałem, że warto powiedzieć też o nieco innym zastosowaniu tej usługi. Mianowicie chodzi o Machine Learning, z którym Databricks radzi sobie całkiem nieźle. Co zatem jest tematem tego posta? Rozpoznawanie pisma odręcznego z Azure Databricks!

Czytaj dalej »

Jak zbudować proces ETL w Azure Databricks?

Kiedy myślimy o ETLu w chmurze, pierwsze, co przychodzi na myśl, to usługa Azure Data Factory. Rzeczywiście – z jej pomocą można zbudować całkiem rozbudowane i stabilne procesy, zwłaszcza, że niedawno dodano funkcjonalność Mapping Data Flows. Jednak co, jeśli do wykonania transformacji potrzebna jest naprawdę duża moc obliczeniowa? Wtedy należy wspomóc się czymś bardziej wydajnym. Takim rozwiązaniem jest Apache Spark ukrywający się pod nazwą Azure Databricks.

Czytaj dalej »
Zwiększ swoją produktywność

Azure Analysis Services – 5 narzędzi, które zwiększą twoją produktywność!

Czy zdarzyło Ci się kiedyś, że pracując przy projekcie musiałeś wykonać jakąś pracę, która była strasznie monotonna? Czułeś oczywiście, że takowa jest, ale ktoś to musi zrobić. Oczywiście zdarza się to w niemal każdym projekcie, a tworzenie modelu i miar Azure Analysis Services nie jest tu żadnym wyjątkiem. A co jeśli powiem Ci, że bardzo dużo rzeczy można zautomatyzować? Mało tego, przedstawię narzędzia, które nie tylko umożliwiają generowanie miar Time Intelligence, ale także odpowiednio sformatują kod i pomogą nam sprawdzić czy nasza robota została wykonana dobrze!

Czytaj dalej »

Business Intelligence Consultant – 15 pytań, których możesz się spodziewać na rozmowie rekrutacyjnej

Jeśli właśnie przygotowujesz się do rozmowy rekrutacyjnej lub po prostu jesteś ciekaw, co może cię na niej czekać – przeczytaj ten tekst. Gdybym teraz był w takiej sytuacji to również chciałbym jak najlepiej przygotować się do takiej rozmowy i sprawdzić co już umiem. A ponieważ kilka rozmów mam już za sobą, pomyślałem, że podzielę się swoim doświadczeniem i przedstawię 15 pytań, które mogą pojawić się na rozmowie o pracę na stanowisko Business Intelligence Consultant. Pytania dotyczą zarówno obszarów teoretycznych, jak i praktycznych. Zachęcam do sprawdzenia swojej wiedzy!

Czytaj dalej »

Partition Manager – procesowanie Azure Analysis Services z poziomu Azure Data Factory

W ostatnim artykule opisywałem w jaki sposób można wdrożyć i skonfigurować Partition Managera, a także pokazywałem jak uruchomić to narzędzie z poziomu Azure Functions. Dzisiaj zaprezentuję coś bardzo praktycznego, a mianowicie dodawanie procesowania modelu AAS do naszego procesu ETL w Azure Data Factory! Oznacza to, że Partition Manager będzie działał codziennie na samym końcu procesu ETL w pełni automatycznie. Zapraszam do lektury!

Czytaj dalej »

Partition Manager – procesowanie dużych modeli Azure Analysis Services

Azure Analysis Services oferuje nam maksymalnie 400 GB pamięci RAM. Jest to wartość, która bardzo często wystarczy do zbudowania naprawdę skomplikowanego i rozbudowanego modelu danych. Takie rozwiązanie powinno być także regularnie zasilane danymi. Do tego celu można wykorzystać różne narzędzia – warto jednak pamiętać, że taki model powinno się odpowiednio spartycjonować, aby jego późniejsze procesowanie było w ogóle możliwe. W tym artykule zaprezentuję narzędzie służące do procesowania i partycjonowania danych – AS Partition Managera.

Czytaj dalej »

Analysis Services – 5 funkcjonalności, które powinien znać każdy developer

W poprzednim artykule opisywałem Analysis Services – było to takie teoretycznie wprowadzenie, w którym opowiedziałem o podstawach wielowymiarowej analizy danych z wykorzystaniem Tabulara . Dzisiaj chciałbym przejść do praktyki i zaprezentować ważne z punktu widzenia dewelopera funkcjonalności tej usługi, które pomogą zbudować jeszcze wydajniejsze rozwiązanie. Warto wspomnieć, że funkcjonalności, które będę opisywał, działają zarówno w Azure Analysis Services, jak i w SQL Server Analysis Services (w trybie tablicowym). Zaczynajmy!

Czytaj dalej »

Analysis Services – szybkie wprowadzenie do wielowymiarowej analizy danych

Duże organizacje często muszą analizować ogromne ilości danych, np. aby poprawiać swoje wyniki. Takimi analizami często zajmują się specjalne zespoły, które wiedzą w jaki sposób działa firma i które wskaźniki należy monitorować. Z uwagi na to, że występuje konieczność dzielenia między pracownikami danych i wskaźników firmowych, arkusze Excela stają się niewystarczające. W dzisiejszym artykule opiszę czym jest analityczna baza danych i w jaki sposób można wykorzystać Analysis Services, aby czerpać z niego jak najlepsze korzyści na poziomie organizacji.

Czytaj dalej »

Vertipaq – zacznij tworzyć wydajne modele danych

Każdy, kto choć w niewielkim stopniu miał styczność z analizą danych wie, że jest to bardzo rozległy temat. W zależności od potrzeb wykorzystywane są do niej różne narzędzia, takie jak Excel, PowerBI i Azure Analysis Services, które – wbrew pozorom – łączy bardzo wiele. Wszystkie te technologie wykorzystują silnik Vertipaq i kolumnowe składowanie danych, dzięki którym możliwa jest wydajna analiza z wykorzystaniem mechanizmów In-Memory.

Czytaj dalej »

Jak w kilku krokach załadować hurtownię danych w Azure Data Factory

W poprzednich artykułach omówiłem czym jest proces ETL oraz zaprezentowałem usługę Azure Data Factory, która jest narzędziem do budowania tego procesu. Dzisiaj natomiast zaprezentuję w jaki sposób można wykorzystać ADF do ładowania hurtowni danych. Dla przykładu utworzę prosty proces ETL, wykorzystując podstawowe elementy Azure Data Factory V2.

Czytaj dalej »

Azure Data Factory – wszystko, co powinieneś wiedzieć, zanim zaczniesz!

Poprzedni artykuł opowiadał o tym, czym jest proces ETL oraz dlaczego jest niezbędny do prawidłowego funkcjonowania hurtowni danych. W związku z tym, że na tym blogu poruszam tematykę systemów BI opartą o platformę Azure, dzisiaj chciałbym podzielić się swoją wiedzą na temat Azure Data Factory – narzędzia do budowaniu procesów ETL w Azure. W tym artykule omówię pokrótce ADF, zaprezentuję poszczególne elementy i koszty wykorzystania usługi.

Czytaj dalej »

SQL Day – 5 sesji, które szczególnie zwróciły moją uwagę!

Dzisiejszy post będzie trochę mniej techniczny, z uwagi na odbywającą się kilka dni temu konferencję SQL Day, na której i ja byłem 🙂 Już tradycyjnie, we Wrocławiu, spotkali się pasjonaci platformy danych Microsoft, aby wymienić się doświadczeniami i posłuchać sesji najlepszych prelegentów z całego świata. Mimo że wybór sesji był ogromy, kilka z nich zwróciło moją szczególną uwagę i chciałbym podzielić się tym, czego się dowiedziałem.

Czytaj dalej »

Proces ETL – dlaczego żaden system BI nie może bez niego istnieć?

Hurtownie danych, jak wskazuje sama nazwa, służą do przechowywania danych, które mogą pochodzić z różnych systemów. Jednak aby mogło do tego dojść, dane należy tam wcześniej załadować. To zadanie bardzo często bywa skomplikowane z uwagi na różnorodność struktur i źródeł danych. Co więcej – zdarza się, że w zależności od systemu, te same nazwy (np. ulic), mogą być zapisywane w różnej formie, co wprowadza niepotrzebny chaos. Aby go uniknąć należy doprowadzić wszystkie nazwy do jednolitej postaci – wykorzystuje się do tego proces ETL (z ang. Extract, Transform and Load). W dzisiejszym artykule wyjaśnię czym jest ETL i przedstawię narzędzia, które są niezbędne przy jego budowaniu.

Czytaj dalej »
5 powodow dla ktorych warto migrowac swoj system Business Intelligence do chmury

5 powodów, dla których warto migrować swój system Business Intelligence do chmury

Niemal każda większa organizacja posiada swój system Business Intelligence. Większość z nich oparta jest na klasycznych serwerach, które znajdują się w data center firmy (on-premises). To rozwiązanie jest ciągle bardzo popularne, ale ze względu na szybki rozwój technologii często staje się pewnym ograniczeniem. Czy zdarzyło Ci się, że na maszynie produkcyjnej brakowało pamięci, a żeby ją zwiększyć trzeba było na określony czas wstrzymać działanie systemu? A może doświadczyłeś sytuacji, w której Twój system przestał być wspierany przez producenta i należało go migrować do nowej wersji? Te wszystkie problemy rozwiązuje chmura! Dzisiaj postaram się przekonać Cię do migracji swojego rozwiązania BI do chmury.

Czytaj dalej »
Wprowadzenie do Azure Data Warehouse: krótka teoria hurtowni danych

Wprowadzenie do Azure Data Warehouse: krótka teoria hurtowni danych

Ze względu na to, że temat hurtowni danych (ang. data warehouse) nie jest powszechnie znany, chciałbym go nieco przybliżyć. Z praktycznego punktu widzenia hurtownia jest normalną bazą danych – ma jednak pewne mechanizmy, które odróżniają ją od baz operacyjnych. W tym artykule przybliżę nieco teorię budowania hurtowni danych oraz mechanizmy, które są niezbędne do jej działania.

Czytaj dalej »
Azure SQL Database – jak skonfigurować bazę?

Azure SQL Database – jak skonfigurować bazę?

W poprzednim artykule opisywałem czym jest platforma Azure, a także jak z niej skorzystać. Tym razem zaprezentuję bazę danych Azure SQL Database. Pokażę, jak uruchomić nową instancję usługi, zalogować się do niej, a także jaka jest różnica między klasycznym SQL Serverem, a bazą w chmurze.

Czytaj dalej »

Wprowadzenie do platformy Azure

Ostatnimi czasy w świecie IT coraz częściej poruszane są tematy związane z chmurą obliczeniową. Wynika to przede wszystkim z wszechstronności rozwiązań, które oferowane są nam przez dostawców platform chmurowych. Jednym z przykładów jest Microsoft Azure. W poniższym artykule przedstawię zalety i wady chmury Microsoft Azure oraz pokażę, jak w łatwy sposób zacząć przygodę z cloud computingiem.

Czytaj dalej »

Pozostańmy w kontakcie

Jeżeli chcesz być na bieżąco informowany o nowych wpisach oraz dostawać materiały, których nie publikuję na blogu - zapisz się do newslettera!