Войти

Data Engineering

Практический курс "Data Engineering" обучает перспективному направлению в Big Data и рассчитан на новичков. Бизнес-аналитики и специалисты Data Science, аналитики данных и разработчики, менеджеры и руководители за 70 дней научатся собирать информацию для принятия бизнес-решений, используя различные источники. Получат практические навыки по эффективному пользованию командной строкой linux, работе с инструментом обработки данных Apache Spark и с файлами ORC, Parquet, Avro; с программами Cluster Manager, Python, Hadoop, Apache Airflow, Apache ZooKeeper и Apache Hive. Выдаётся диплом об окончании курса.

Подробнее


Компания: skillfactory

Язык: ru

Длительность курса

Длительность курса

75 дней

Формат обучения

Формат обучения

видеолекции и практические задания 5-6 часов в неделю

Обратная связь

Обратная связь

Помощь одногруппников и преподавателя в закрытом сообществе в Slack.

Теория и практика

Теория и практика

20% теории и 80% практики на реальных данных 7 теоретических модулей с упражнениями после каждого

Чему научитесь

Собирать данные из разных источников, очищать их и передавать в удобном виде аналитикам для принятия бизнес-решений

- Работать с хранилищем данных и понимать, как обрабатываются данные
- Пользоваться одним из главных инструментов дата инженера — командной строкой Linux
- Разбираться в разных видах баз данных, их особенностях и различиях
- Работать с Apache Spark, как с инструментом для обработки данных
- Работать с разными форматами файлов (ORC, Parquet, Avro)

Пройти курс Запишись на курс
прямо сейчас!

75 дней Кураторы: нет

О курсе

О курсе

75 дней Кураторы: нет
бизнес-аналитиков, специалистов Data Science, аналитиков данных, разработчиков, которые хотят научиться выстраивать потоки данных, и менеджеров, руководителей, которым нужно понимать как устроено хранилище данных, как собираются и очищаются данные

Рассрочка

2900 р. в месяц

Введение, практический linux

Кто такой Data Engineer и зачем ему Linux?

Модуль 1

Современные хранилища данных

Разнообразие баз данных и их особенности

Модуль 2

Экосистема Hadoop

Что такое Hadoop, что он умеет и как им пользоваться

Модуль 3

Источники данных и работа с ними

Файлы как источники данных, JDBC - структурированные данные, SQL для выгрузки данных

Модуль 4

Apache Spark и обработка данных

Зачем нужен Apache Spark и как с ним работать

Модуль 5

Hadoop как хранилище данных

Особенности и нюансы hdfs

Модуль 6

Apache Airflow для оркестрации конвейеров

Настройка data pipelines

Модуль 7

Обзор облачных хранилищ

Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure

Cluster Manager

Python

Hadoop

Apache Airflow

Apache ZooKeeper

Apache Hive

Работа с Hadoop

Apache Spark, как с инструментом для обработки данных

Работа с разными форматами файлов (ORC, Parquet, Avro)

Apache Airflow для оркестрации конвейеров

загрузка данных в Hive (файлы, sqoop, spark)

Навыки, которые вы получите

Компания, проводящая курс

Skillfactory

27 курсов по 96 темам

Школа SkillFactory начала свою работу в 2016 году и с того времени разработала и запустила 25 курсов и специализаций в области аналитики и...

Преподаватели курса

Ведущий Data Engineer в Альфастрахование

Ни одного отзыва об этом курсе

Может, вы можете помочь? Вам будут благодарны многие пользователи. И мы тоже.

смотрите также

Похожие курсы

больше курсов

Похожие курсы компании

skillfactory
(3)
150 000 Р
skillfactory
(7)
79 900 Р
skillfactory
(0)
63 000 Р
skillfactory
(1)
29 833 Р
skillfactory
(1)
165 504 Р
skillfactory
(1)
70 000 Р
skillfactory
(41)
41 500 Р