Лекция, 6 апреля, 10:00

Разработка приложений Apache Spark на языке Scala

26 000 ₽
Описание встречи

Мастер-класс посвящен возможностям крупномасштабной распределенной обработки больших данных с помощью Apache Spark. На тренинге участники будут использовать язык Scala для разработки Spark-приложений и познакомятся с различными типами развертывания Spark и интерфейсами Spark API. Также будет рассмотрена основа основ Spark — восстанавливаемые распределенные наборы данных (RDDs), затем использование Spark SQL через DataFrame и DataSet API, а также способы настройки производительности Spark и внутренних компонентов Spark.

РАЗБИРАЕМЫЕ ТЕМЫ:

ИТ-ландшафт в области больших данных:

— Hadoop и MapReduce;

— Анатомия кластера;

— Место Spark в экосистеме;

— Процесс выполнения задания Spark по шагам;

— Типы развертывания Spark: локальное, автономное, Yarn, Mesos.

Ядро Spark:

— Восстанавливаемые распределенные наборы данных (Resilient Distributed Datasets, RDDs);

— Использование RDDs;

— Оболочка Spark;

— Создание и развертывание приложений Spark.

Дополнительные возможности в ядре Spark:

— Распределение и пересылка данных между узлами;

— Задачи, этапы, задания;

— Пользовательский интерфейс Spark;

— Кэширование RDD;

— Контрольные точки в RDD;

— Рассылка данных на узлы (broadcasting) и аккумуляторы.

Spark SQL:

— Форматы чтения и записи (Json, Parquet);

— Использование SQL для запросов данных в Spark;

— DataFrames API;

— DataSets API;

— Оптимизатор запросов Catalyst: что внутри?

Зарегистрироваться.

Преподаватели
Beb8ad10dd
Юлиан Драгос
Занимается языком Scala с 2004 года, в это же время он начал работать в исследовательской лаборатории Мартина Одерски (Martin Odersky) в Федеральной политехнической школе Лозанны. Им была написана серверная часть (backend) виртуальной машины Java и оптимизатор байткода, а также он работал над различными частями компилятора. Кроме того, Юлиан реализовал для Scala специализацию с помощью типов. В 2010 году Юлиан получил степень PhD в Федеральной политехнической школе Лозанны. Работал в компании Typesafe с момента ее основания Мартином Одерски, создателем языка Scala, занимаясь созданием средств разработки (в частности, написал плагин Eclipse для Scala). Затем возглавил группу Spark в компании Lightbend (прежнее название – Typesafe) и внес значительный вклад в развитие этого проекта. Кроме того, он ведет учебные курсы и помогает клиентам в реализации Spark-проектов.
Собираются
Показать Всех
Смотрите также