Лекция, 6 апреля 2017, 10:00

Разработка приложений Apache Spark на языке Scala

26 000 ₽
Описание встречи

Мастер-класс посвящен возможностям крупномасштабной распределенной обработки больших данных с помощью Apache Spark. На тренинге участники будут использовать язык Scala для разработки Spark-приложений и познакомятся с различными типами развертывания Spark и интерфейсами Spark API. Также будет рассмотрена основа основ Spark — восстанавливаемые распределенные наборы данных (RDDs), затем использование Spark SQL через DataFrame и DataSet API, а также способы настройки производительности Spark и внутренних компонентов Spark.

РАЗБИРАЕМЫЕ ТЕМЫ:

ИТ-ландшафт в области больших данных:

– Hadoop и MapReduce;

– Анатомия кластера;

– Место Spark в экосистеме;

– Процесс выполнения задания Spark по шагам;

– Типы развертывания Spark: локальное, автономное, Yarn, Mesos.

Ядро Spark:

– Восстанавливаемые распределенные наборы данных (Resilient Distributed Datasets, RDDs);

– Использование RDDs;

– Оболочка Spark;

– Создание и развертывание приложений Spark.

Дополнительные возможности в ядре Spark:

– Распределение и пересылка данных между узлами;

– Задачи, этапы, задания;

– Пользовательский интерфейс Spark;

– Кэширование RDD;

– Контрольные точки в RDD;

– Рассылка данных на узлы (broadcasting) и аккумуляторы.

Spark SQL:

– Форматы чтения и записи (Json, Parquet);

– Использование SQL для запросов данных в Spark;

– DataFrames API;

– DataSets API;

– Оптимизатор запросов Catalyst: что внутри?

Зарегистрироваться.

Преподаватели
Beb8ad10dd
Юлиан Драгос
Занимается языком Scala с 2004 года, в это же время он начал работать в исследовательской лаборатории Мартина Одерски (Martin Odersky) в Федеральной политехнической школе Лозанны. Им была написана серверная часть (backend) виртуальной машины Java и оптимизатор байткода, а также он работал над различными частями компилятора. Кроме того, Юлиан реализовал для Scala специализацию с помощью типов. В 2010 году Юлиан получил степень PhD в Федеральной политехнической школе Лозанны. Работал в компании Typesafe с момента ее основания Мартином Одерски, создателем языка Scala, занимаясь созданием средств разработки (в частности, написал плагин Eclipse для Scala). Затем возглавил группу Spark в компании Lightbend (прежнее название – Typesafe) и внес значительный вклад в развитие этого проекта. Кроме того, он ведет учебные курсы и помогает клиентам в реализации Spark-проектов.
Собираются
Показать Всех
Смотрите также