MLOps - sadzba 80 000 rub. od Otus, školenie 5 mesiacov, dátum 30.11.2023.
Rôzne / / November 30, 2023
Osvojíte si všetky potrebné zručnosti strojového učenia pre streamovanie dát a distribuované prostredia. Program obsahuje potrebné znalosti z oblasti Data Science a Data Engineering, ktoré vám umožnia spracovávať veľké dáta a písať distribuované algoritmy v Sparku.
Každý modul si precvičíte plnením domácich úloh. Na konci školenia budete mať záverečný projekt, ktorý vám umožní zhrnúť všetky nadobudnuté vedomosti a doplniť ich do portfólia. Môže sa to uskutočniť ako súčasť pracovných úloh na vašom súbore údajov alebo to môže byť vzdelávací projekt založený na údajoch poskytnutých OTUS.
Pre koho je tento kurz určený?
Pre špecialistov na strojové učenie alebo softvérových inžinierov, ktorí sa chcú naučiť pracovať s veľkými dátami. Takéto úlohy zvyčajne existujú vo veľkých IT spoločnostiach s rozsiahlym digitálnym produktom.
Pre dátových vedcov, ktorí chcú posilniť svoje zručnosti pomocou inžinierskych zručností. Vďaka kurzu budete vedieť spracovávať dáta a samostatne zobrazovať výsledky ML riešení vo výrobe.
Na učenie budete potrebovať základné zručnosti v oblasti vedy o údajoch. Odporúčame vám pozrieť si kurzy Map of Data Science na OTUS, aby ste zistili požadovanú úroveň školenia.
Naučíš sa:
- Používať štandardné nástroje ML pipeline v distribuovanom prostredí;
- Vyvíjajte svoje vlastné bloky pre plynovody ML;
- Prispôsobiť algoritmy ML distribuovaným prostrediam a nástrojom veľkých dát;
- Používajte Spark, SparkML, Spark Streaming;
- Vyvinúť algoritmy na prípravu streamovaných dát pre strojové učenie;
- Zabezpečiť kontrolu kvality vo všetkých fázach presunu riešení ML do priemyselnej prevádzky.
Dopyt po špecialistoch
Zručnosti, ktoré budete ovládať, sú maximálne aplikované a sľubné. Na trhu sa objavuje čoraz viac digitálnych produktov, ktorých vývoj si vyžaduje prácu s veľkými dátami a streamové spracovanie. Už teraz sa špecialisti s takým množstvom zručností a určitými pracovnými skúsenosťami môžu kvalifikovať na plat 270-tisíc. rubľov Ďalší trend - automatizácia tréningových a validačných procesov, naopak istým spôsobom znehodnocuje prácu klasického Data Scientistu. Všetko smeruje k tomu, že aj nešpecialista dokáže správne predpovedať. Preto tí, ktorí majú aspoň povrchné inžinierske schopnosti, sú už v prémii.
Vlastnosti kurzu
Veľa praxe pri práci s dátami
Široká škála zručností od distribuovaného ML a streamového spracovania dát až po produkčný výstup
Aktuálne nástroje a technológie: Scala, Spark, Python, Docker
Živá komunikácia s odborníkmi prostredníctvom webinárov a Slack chatu
4
kurzZapojené do vývoja tímu Data Science, ktorý poskytuje funkcie založené na strojovom učení pre produkty a služby spoločnosti. Ako Data Scientist sa podieľal na vývoji Kaspersky MLAD a MDR AI Analyst. V...
Zapojené do vývoja tímu Data Science, ktorý poskytuje funkcie založené na strojovom učení pre produkty a služby spoločnosti. Ako Data Scientist sa podieľal na vývoji Kaspersky MLAD a MDR AI Analyst. Ako vývojár v jazyku C++ sa podieľal na tvorbe MaxPatrol SIEM a už roky vyučuje počítač. vedných odborov na MSTU GA Autor série správ o riadení a rozvoji projektov ML, C++, DS tímov. Člen PC konferencie C++ Rusko. Programový manažér
8
kurzy20+ rokov skúseností s projektmi vývoja na mieru v IT. Desiatky úspešných projektov, vrátane tých v rámci štátnych zákaziek. Skúsenosti s vývojom a implementáciou ERP systémov, open-source riešenia, podpora vysoko zaťažovaných aplikácií. Lektor kurzov na...
20+ rokov skúseností s projektmi vývoja na mieru v IT. Desiatky úspešných projektov, vrátane tých v rámci štátnych zákaziek. Skúsenosti s vývojom a implementáciou ERP systémov, open-source riešenia, podpora vysoko zaťažovaných aplikácií. Lektor kurzov Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, ako aj mentor kurzu HighLoad
1
dobreŠpecialista na prácu s veľkými dátami a strojové učenie. 8 rokov pracoval v Odnoklassniki.ru. Riadil tím OK Data Lab (laboratórium pre výskumníkov v oblasti veľkých dát a strojových...
Špecialista na prácu s veľkými dátami a strojové učenie. 8 rokov pracoval v Odnoklassniki.ru. Riadil tím OK Data Lab (laboratórium pre výskumníkov v oblasti veľkých dát a strojového učenia). Analýza veľkých dát v Odnoklassniki sa stala jedinečnou šancou spojiť teoretickú prípravu a vedecký základ s vývojom skutočných, žiadaných produktov. Od roku 2019 pôsobí v Sberbank ako generálny riaditeľ. Pôsobí ako vedúci klastra pri vývoji platformy pre systémy odporúčaní v divízii masovej personalizácie. V roku 2004 absolvoval Petrohradskú štátnu univerzitu, kde v roku 2007 obhájil doktorát z formálnych logických metód. V outsourcingu som pôsobil takmer 9 rokov bez toho, aby som stratil kontakt s univerzitným a vedeckým prostredím.
Základný úvod do začiatku kurzu
-Téma 1.Gradientný zostup a lineárne modely
-Téma 2.Prehľad základných metód a metrík strojového učenia
-Téma 3.Vývoj prístupov k práci s dátami
-Téma 4.Základy programovania v Scale
Technologický základ distribuovaného spracovania dát
-Téma 5. Distribuované súborové systémy
-Téma 6. Správcovia zdrojov v distribuovaných systémoch
-Téma 7. Evolúcia masívne paralelných a distribuovaných výpočtových rámcov
-Téma 8. Základy Apache Spark 1
-Téma 9. Základy Apache Spark 2
Základy distribuovaného ML
-Téma 10. Prenos ML algoritmov do distribuovaného prostredia
-Téma 11.ML v Apache Spark
-Téma 12. Vývoj vlastných blokov pre SparkML
-Téma 13.Optimalizácia hyperparametrov a AutoML
Spracovanie toku
-Téma 14. Spracovanie dátových tokov
-Téma 15. Knižnice tretích strán na použitie so Sparkom
-Téma 16.Spark Streaming
-Téma 17. Štruktúrované a nepretržité streamovanie v Sparku
-Téma 18. Alternatívne streamingové rámce
Stanovenie cieľov a analýza výsledkov
-Téma 19. Stanovenie cieľa projektu ML a predbežná analýza
-Téma 20. Dlhodobé ciele ML na príklade úlohy znižovania churn
-Téma 21.A/B testovanie
-Téma 22.Dodatočné témy
Výstup výsledkov ML do výroby
-Téma 23. Prístupy k uvedeniu riešení ML do výroby
-Téma 24. Verzia, reprodukovateľnosť a monitorovanie
-Téma 25.Online podávanie modelov
-Téma 26. Vzory pre asynchrónne streamovanie ML a ETL
-Téma 27. Ak potrebujete Python
ML v Pythone vo výrobe
-Téma 28.Produkčný kód v Pythone. Organizačný a baliaci kód
-Téma 29. Architektúra REST: Flask API
-Téma 30.Docker: Štruktúra, aplikácia, nasadenie
-Téma 31.Kubernetes, orchestrácia kontajnerov
-Nástroje Theme 32.MLOPS pre Kubernetes: KubeFlow, Seldon Core. Vlastnosti fungovania heterogénnych systémov v priemysle.
-Téma 33.Amazon Sagemaker
-Téma 34. Služba AWS ML
Pokročilé témy
-Téma 35. Neurónové siete
-Téma 36. Distribuované učenie a odvodzovanie neurónových sietí
-Téma 37. Zosilnenie gradientu na stromoch
-Téma 38. Posilňovacie učenie
Projektová práca
-Téma 39. Výber témy a organizácia projektovej práce
-Téma 40. Konzultácia projektov a domácich úloh
-Téma 41.Ochrana dizajnérskej práce