[ВigData Тeam] Практический курс по Big Data. Часть 2. Spark: from zero to hero (2023)

[Admin]

Практический курс по Big Data. Часть 2. Spark: from zero to hero [bigdata team]

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:

• cхема выполнения задачи в Spark;
• основные термины Spark (job, task, stage);
• представление вычислений в виде графа. Spark Python API. Spark RDD API;
• Broadcast-сообщения и счетчики.
• взаимодействие Hive и Spark SQL;
• отличия DF от RDD.
• Spark on YARN;
• типы stage в Spark;
• оптимизация операции shuffle;
• настройка Garbage Collection, тюнинг потребления памяти.

Пожалуйста Войдите или Зарегистрируйтесьдля просмотра скрытого текста.

Скачать:

[/HIDE]