Войти

Data Engineering

Практический курс "Data Engineering" обучает перспективному направлению в Big Data и рассчитан на новичков. Бизнес-аналитики и специалисты Data Science, аналитики данных и разработчики, менеджеры и руководители за 70 дней научатся собирать информацию для принятия бизнес-решений, используя различные источники. Получат практические навыки по эффективному пользованию командной строкой linux, работе с инструментом обработки данных Apache Spark и с файлами ORC, Parquet, Avro; с программами Cluster Manager, Python, Hadoop, Apache Airflow, Apache ZooKeeper и Apache Hive. Выдаётся диплом об окончании курса.

Подробнее


Компания: skillfactory (скиллфактори)

Язык: ru

Длительность курса

Длительность курса

75 дней

Формат обучения

Формат обучения

видеолекции и практические задания 5-6 часов в неделю

Обратная связь

Обратная связь

Помощь одногруппников и преподавателя в закрытом сообществе в Slack.

Теория и практика

Теория и практика

20% теории и 80% практики на реальных данных 7 теоретических модулей с упражнениями после каждого

Чему научитесь

Собирать данные из разных источников, очищать их и передавать в удобном виде аналитикам для принятия бизнес-решений

- Работать с хранилищем данных и понимать, как обрабатываются данные
- Пользоваться одним из главных инструментов дата инженера — командной строкой Linux
- Разбираться в разных видах баз данных, их особенностях и различиях
- Работать с Apache Spark, как с инструментом для обработки данных
- Работать с разными форматами файлов (ORC, Parquet, Avro)

Перейти на страницу курса Запишись на курс
прямо сейчас!

75 дней Кураторы: нет

О курсе

О курсе

75 дней Кураторы: нет
бизнес-аналитиков, специалистов Data Science, аналитиков данных, разработчиков, которые хотят научиться выстраивать потоки данных, и менеджеров, руководителей, которым нужно понимать как устроено хранилище данных, как собираются и очищаются данные

Рассрочка

2900 р. в месяц

Введение, практический linux

Кто такой Data Engineer и зачем ему Linux?

Модуль 1

Современные хранилища данных

Разнообразие баз данных и их особенности

Модуль 2

Экосистема Hadoop

Что такое Hadoop, что он умеет и как им пользоваться

Модуль 3

Источники данных и работа с ними

Файлы как источники данных, JDBC - структурированные данные, SQL для выгрузки данных

Модуль 4

Apache Spark и обработка данных

Зачем нужен Apache Spark и как с ним работать

Модуль 5

Hadoop как хранилище данных

Особенности и нюансы hdfs

Модуль 6

Apache Airflow для оркестрации конвейеров

Настройка data pipelines

Модуль 7

Обзор облачных хранилищ

Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure

Cluster Manager

Python

Hadoop

Apache Airflow

Apache ZooKeeper

Apache Hive

Работа с Hadoop

Apache Spark, как с инструментом для обработки данных

Работа с разными форматами файлов (ORC, Parquet, Avro)

Apache Airflow для оркестрации конвейеров

загрузка данных в Hive (файлы, sqoop, spark)

Навыки, которые вы получите

 
HIVE APACHE AIRFLOW ОСНОВЫ HADOOP

Компания, проводящая курс

Skillfactory (Скиллфактори)

27 курсов по 96 темам

Школа SkillFactory (Скиллфактори) начала свою работу в 2016 году и с того времени разработала и запустила 25 курсов и специализаций в области...

Преподаватели курса

Ведущий Data Engineer в Альфастрахование

Ни одного отзыва об этом курсе

Может, вы можете помочь? Вам будут благодарны многие пользователи. И мы тоже.

больше курсов

Похожие курсы компании

skillfactory (скиллфактори)
(3)
276 000 руб
skillfactory (скиллфактори)
(0)
79 900 руб
skillfactory (скиллфактори)
(2)
79 900 руб
skillfactory (скиллфактори)
(13)
63 000 руб
skillfactory (скиллфактори)
(0)
63 000 руб
skillfactory (скиллфактори)
(1)
29 833 руб
skillfactory (скиллфактори)
(2)
92 502 руб
skillfactory (скиллфактори)
(1)
158 004 руб
skillfactory (скиллфактори)
(1)
60 000 руб
skillfactory (скиллфактори)
(38)
41 500 руб