Основы Hadoop

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные, на его основе. Участники познакомятся с HDFS — стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.

Цели:

— понимать ключевые концепции и архитектуру Hadoop®;

— уметь записывать и читать данные в/из HDFS;

— разрабатывать программы для классического MapReduce и для YARN;

— работать с данными в HDFS из MapReduce-программ;

— получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

Разбираемые темы:

— Основные концепции Hadoop®;

— Установка и конфигурирование: локально и в облаке;

— HDFS: Архитектура, репликация, чтение и запись данных;

— Команды HDFS;

— Структура классической MapReduce-программы;

— Форматы данных для MapReduce;

— Архитектура YARN;

— Выполнение работ в классическом MapReduce и в YARN;

— Распределенный кеш и счетчики;

— Hadoop Streaming;

— Экосистема и вендоры Hadoop®;

— Введение в Pig™;

— Введение в Hive;

— Введение в Sqoop;

— Введение в Flume;

— Введение в Spark™;

— Введение в Mahout™.

Регистрация: http://www.luxoft-training.ru/kurs/osnovyhadoop.html?IDTIME=65843

Смотрите также