Почему Data Engineering?
Чем занимается Data Engineer:
- Спрос
Спрос на квалифицированных инженеров по обработке данных намного превышает предложение
- Работа удаленно
Возможно работать как в офисе, так и удаленно
- Математический барьер
Сильно ниже, чем в data science
- Data engineering
– фундамент любой data-driven компании
- Зарплаты
Одна из самых высоких заработных плат
- Востребованность в будущем
Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством
Для кого программа?
- собирает информацию о продукте и/или клиентах из разных источников
- сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше
- организовывает безопасное хранение данных, на основании которых принимаются взвешенные бизнес-решения и создаются конкурентоспособные продукты
Какие компетенции вы получите:
- Для аналитиков
Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу
- Для начинающих IT-специалистов
Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста
- Для практикующих разработчиков
Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше
- Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python
- Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
- Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения
- Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
- Пользоваться распределенной файловой системой
- Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
- Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать
В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда.
- Курс: "Старт в Data Engineering" (3 месяца, 8 часов в неделю)
- Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL)
- Освоите инструменты: Git, SQL, базовый Python
- Научитесь работать с хранилищами данных (DWH)
- Курс: "Python: основы языка" (1 месяц, 8 часов в неделю)
- Освоите стартовые навыки программирования на языке Python
- Далее сможете изучать необходимые вам библиотеки Python в зависимости от выбранной области
- Курс: "Инструменты работы с большими данными" (2,5 месяца, 8 часов в неделю)
Освоите самые популярные инструменты для работы с большими данными
- Apache Hadoop (HDFS, MapReduce, YARN)
- Apache Hive
- Apache Spark (в том числе технологии Streaming)
- Apache Kafka
- NoSQL в больших данных (Apache Cassandra, Apache HBase)
Гайк Инанц
7 лет опыта работы в Big Data и разработки в веб на различных проектах (ВТБ, Райффайзен, Альфа).
На данный момент работает над проектом Ингосстраха, Лаборатории Инноватики и школы Феникс по подготовке middle fullstack разработчиков. Преподает в МФТИ и израильской школе программирования HackerU
Илья Склонин
Преподаватель курса "Python: основы языка".
МФТИ, аспирант кафедры информатики и вычислительной математики
работал в команде компьютерного зрения TCS Group, преподаватель курсов "Программирование на Python" , "Основные алгоритмы" и "Алгебра логики, комбинаторики и теория графов" в МФТИ
Олег Ивченко
Преподаватель курса "Инструменты работы с большими данными"
Разработчик системы HJudge - системы автоматизирванного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space
Кто такой Data Engineer?Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...Скрытый текст. Открывается зарегистрированным пользователям.
Новые складчины | страница 7
Категории
Страница 7 из 7
