Dátový inžinier - kurz 89 000 rub. od Otus, školenie 4 mesiace, dátum 30.11.2023.
Rôzne / / December 03, 2023
Čo ti dá tento kurz?
- Pochopenie kľúčových spôsobov integrácie, spracovania a ukladania veľkých dát
- Schopnosť pracovať s komponentmi ekosystému Hadoop, distribuovanými úložiskami a cloudovými riešeniami
- Praktické zručnosti vo vývoji dátových služieb, výkladov a aplikácií
- Znalosť princípov organizácie monitorovania, orchestrácie, testovania
Kurz je adresovaný vývojárov, správcov DBMS a všetkých, ktorí sa snažia zlepšiť svoju profesionálnu úroveň, ovládať nové nástroje a venovať sa zaujímavým úlohám v oblasti práce s dátami.
Po štúdiu dátového inžinierstva sa stanete vyhľadávaným odborníkom, ktorý:
- nasadzuje, upravuje a optimalizuje nástroje na spracovanie údajov
- prispôsobuje súbory údajov pre ďalšiu prácu a analýzy
- vytvára služby, ktoré využívajú výsledky spracovania veľkého množstva dát
- zodpovedný za dátovú architektúru v spoločnosti
Reálne prípadové štúdie: príklady implementácií, použitia nástrojov, optimalizácie výkonu, problémov, chýb a aplikovaných výsledkov
Veľmi praktická orientácia:
V priebehu kurzu postupne vytvoríme funkčný produkt, riešiaci aplikované problémy
Holistický obraz o výzvach a úlohách moderného podnikania a úlohe dátového inžiniera pri ich riešení
Dopyt medzi zamestnávateľmi
Už 40 zamestnávateľov je pripravených pozvať absolventov kurzov na pohovor
6
kurzyDátový inžinier v spoločnosti Wildberries, prednášateľ kurzu DE Junior. Viac ako 7 rokov v IT
Absolvent Voronežskej štátnej univerzity s vyznamenaním. V súčasnosti je študentom HSE magisterského programu „Systémové a softvérové inžinierstvo“. Odborná prax - 2 roky práce ako dátový analytik a dátový inžinier. Teraz pracuje s 5 populárnymi databázami, vyvíja sa v Pythone a rýchlo rozvíja svoje zručnosti. Pripravený podeliť sa o svoje skúsenosti.
1
dobreAnalytike sa v spoločnosti venuje už viac ako 10 rokov. Medzi úspechy patrí: - Vybudovanie vlastného komplexného systému webovej analýzy; - Vybudovanie analytického skladu na báze MPP Vertica; - Organizácia spracovania údajov na báze Spark, Kafka, HDFS; -...
Analytike sa v spoločnosti venuje už viac ako 10 rokov. Medzi úspechy patrí: - vybudovanie vlastného komplexného systému webovej analýzy; - vybudovanie analytického skladu na báze MPP Vertica; - organizácia spracovania údajov na báze Spark, Kafka, HDFS;- Budovanie procesov pre prácu s dátami vrátane kvality dát;- Vytvorenie niekoľkých interných nástrojov na prácu a štruktúrovanie metadát (Data Catalog);- Vybudovanie firemného reportingového systému vrátane realtime; - viac ako 5 rokov zvyšuje dátovú gramotnosť v rámci spoločnosti, vedie rôzne školenia o práci s dátami, nástroje, SQL; Vyvinul tiež niekoľko analytikov, ktorí teraz pracujú vo veľkých spoločnostiach. Hlavný dôraz je kladený na pochopenie obchodných problémov pri práci s dátami a ich riešení.
1
dobreVedúci oddelenia, Sberbank 8 rokov skúseností v priemyselnom vývoji vrátane tvorby a údržby webových aplikácií vo veľkých spoločnostiach aj v startupoch. 3 roky vývoja distribuovaných systémov pre veľkú vládu...
Vedúci oddelenia, Sberbank 8 rokov skúseností v priemyselnom vývoji vrátane tvorby a údržby webových aplikácií vo veľkých spoločnostiach aj v startupoch. 3 roky vývoja distribuovaných systémov pre veľkých vládnych zákazníkov. Implementované tri projekty od nuly, od prototypu po pripravené na priemyselné použitie. V súčasnosti sa v banke zaoberáme fullstack developmentom pre interných zákazníkov, riešením problémov súvisiacich s analýzou dát a inžinierstvom. Skúsenosti s programovaním v Java, Scala, Python, Javascript. Široká škála profesionálnych záujmov, od budovania distribuovaných systémov až po prediktívne analýzy a analýzy zámerov. Vzdelanie: Bakalársky titul z UrFU pomenovaný po. B.N. Jeľcin „Informačné technológie“.
Dátová architektúra
-Téma 1.Dátový inžinier. Úlohy, zručnosti, nástroje, potreby trhu
-Téma 2.Architektúra analytických aplikácií: základné komponenty a princípy
-Téma 3. V priestoroch / Cloudové riešenia
-Téma 4. Automatizácia a orchestrácia potrubí – 1
-Téma 5. Automatizácia a orchestrácia potrubí – 2
Dátové jazero
-Téma 6. Distribuované súborové systémy. HDFS/S3
-Téma 7.Prístup SQL k Hadoop. Apache Hive/Presto
-Téma 8. Formáty ukladania údajov a ich vlastnosti
-Téma 9. Rozbor diaľkového ovládača pre 1 prípad
-Téma 10. Fronty správ. Kafkov prehľad.
-Téma 11.Sťahovanie dát z externých systémov
-Téma 12.Apache Spark – 1
-Téma 13.Apache Spark – 2
DWH
-Téma 14.Analytický DBMS. databázy MPP
-Téma 15.DWH Modelovanie – 1. základy dbt
-Téma 16. Modelovanie DWH – 2. Dátový trezor 2.0
-Téma 17. Postupy DevOps v analytických aplikáciách. CI+CD
-Téma 18. Analýza diaľkového ovládača pre prípad 2
-Téma 19.Kvalita údajov. Riadenie kvality údajov
-Téma 20. Nasadenie BI riešenia
-Téma 21.Monitorovanie / Metadáta
NoSQL/NewSQL
-Téma 22. NoSQL Storage. Široký stĺpec a kľúč – hodnota
-Téma 23. NoSQL Storage. Orientovaný na dokumenty
-Téma 24.ELK
-Téma 25.ClickHouse
-Téma 26. Analýza diaľkového ovládača pre prípad 3
MLOps
-Téma 27.Organizácia a balenie kódu
-Téma 28. Docker a REST architektúra
-Téma 29.MLFlow + DVC
-Téma 30. Nasadenie modelov
-Téma 31. Analýza diaľkového ovládača pre prípad 4
-Téma 32. Analýza diaľkového ovládača pre prípad 5
Absolventský projekt
-Téma 33. Výber témy a organizácia projektovej práce
-Téma 34.Konzultácia
-Téma 35.Ochrana