Nový způsob transformace dat: Co to je dbt | Mňamka #129
Máme technologie, které milujeme, máme je odzkoušené a umíme je. To ale rozhodně neznamená, že stále netestujeme nové. A tak jsme narazili na dbt (Data Build Tool) - open source, který nás hodně baví.
Než si řekneme víc, pojďme o krok zpět. Máme data ve zdrojových systémech a ve finále se na ně potřebujeme koukat třeba v nějakém vizualizačním nástroji. Ale než se podíváme na pěkný grafíky a rozjedeme naplno business intelligence, musíme ujít ještě dlouhou cestu (který datový analytik by neznal, že...). No a ta cesta je zjednodušeně v zásadě dvojí. Buď si data vezmeme ze zdrojového systému (extract), cestou v nich uklidíme (transform) a upravené je natáhneme do cíle (třeba cílový data warehouse) = ETL (na to se dá využít například nástroj Keboola nebo si to můžeme postavit na cloudových službách), nebo je ze zdrojového systému vytáhneme tak jak jsou a ten úklid děláme až v cíli, plus často až když je potřeba = ELT.
Co to je dbt?
Je to nástroj, který se v ELT stará o to “T”. Základem je projekt, který se konfiguruje sadou YAML souborů a SQL souborů s makry.
Zdroj obrázku: https://blog.getdbt.com/what--exactly--is-dbt-/
V čem je jeho kouzlo?
Tím, že dbt podporuje makra v SQL spojuje silu skriptovacího jazyka Python a SQL. Umožňuje používat cykly pro generování SQL, takže minimalizuje kopírování kódu. Automatické testování - stačí popsat, jak mají vypadat data, která vystupují z transformace, a dbt se postará o to, že to tak fakt je.
Prostě kouzlo dbt je v tom, že k tomu “T” přistupuje tak, že se snaží usnadňovat věci, který jsou často třeba a je nutný je řešit opakováním kódu, případně kódem, kterej je náchylnej k chybám. V případě, že se něco změní v datech, transformace s dbt se dají napsat tak, že to dbt buď pozná a řekne, že je něco špatně, nebo na to bude připravený a zařídí, že se nestane nic špatného.
A mimojiné - je to opensource s velmi snadnou instalací. Správa kódu v gitu, která podporuje CI/CD principy a spolupráci týmu na projektu. Dá se integrovat do existující pipeline, de facto poběží všude, kde běží Python.
Za nás je to pecka. Chcete vědět víc? Mrkněte výše na Tomovo video.
Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi.
Eva
Pilíře úspěšného datového projektu | Mňamka #544
V Bizztreatu máme za sebou desítky datových projektů napříč různými odvětvími např. jako e-commerce, retail, výroba, média nebo obchod. Z praxe víme, že mnoho datových projektů selhává – nedoručí očekávaný přínos, uvíznou na půli cesty nebo se zacyklí v nekonečném „ještě to ladíme“. Bez ohledu na typ projektu či sektor platí, že úspěch vždy stojí na pevných základech – pilířích, které rozhodují o tom, jestli výstup skutečně přinese byznysovou hodnotu. Právě proto je klíčové zaměřit se na to, co dělá datový projekt opravdu úspěšným. Tak pojďme na to.
Ikony v reportu: Zaujměte na první pohled a zjednodušte navigaci | Mňamka #543
Vizuální zkratky, které promění datovou džungli v přehlednou mapu. Zjistěte, jak s pomocí ikon zjednodušit navigaci, zvýraznit klíčové informace a proměnit suchá data v poutavý příběh. Naučte se vybírat vhodné ikony, pracovat s nimi efektivně a odhalte, proč je jejich správné použití klíčové pro srozumitelnost a úspěch vašich reportů.
Jak předvídat chování zákazníků: Churn, životní hodnota a další klíčové ukazatele | Mňamka #542
Porozumění chování zákazníků a jeho predikce jsou dnes klíčové pro firmy, které chtějí budovat loajalitu, zlepšit cílení kampaní a efektivně řídit své marketingové investice. Jak předpovědět, kdy zákazník odejde, jakou má pro firmu hodnotu nebo kdy s největší pravděpodobností znovu nakoupí? V článku se podíváme na klíčové koncepty, jako je predikce odchodu zákazníků (churn), výpočet jejich životní hodnoty (Lifetime Value), odhad pravděpodobnosti další interakce či modelování sklonu k nákupu. Získané poznatky mohou pomoci vytvářet efektivnější marketingové strategie a lepší zákaznickou zkušenost.
