Компания NVIDIA объявила о сотрудничестве с сообществом разработчиков ПО с открытым кодом, чтобы сообщить GPU-ускорение движку анализа и обработки больших массивов данных Apache Spark 3.0. С выходом этой версии Spark специалисты по работы с данными и машинному обучению впервые смогут применить GPU-ускорение к ETL-обработке (выборка, преобразование и загрузка), часто выполняемой с помощью операций базы данных SQL.

Обучение ИИ-модели можно проводить на том же кластере Spark, не перенося процессы на отдельную инфраструктуру. Это позволяет проводить высокоскоростной анализ данных на всех этапах конвейера анализа данных, ускоряя работу с огромными объемами данных – от озера данных до обучения моделей. Более того, нет необходимости изменять существующий код, используемый для приложений Spark, работающих в локальной среде и облаке.

Как стратегический партнер NVIDIA в области ИИ Adobe одной из первых получила доступ к Spark 3.0 на Databricks. Первая же серия тестов показала семикратный прирост производительности и 90%-ное сокращение расходов благодаря GPU-ускоренному анализу данных для разработки продуктов в Adobe Experience Cloud и поддержке возможностей, поддерживающих цифровые бизнесы.

Прирост производительности в Spark 3.0 повышает точность моделей, позволяя обучать их на более крупных наборах данных и чаще переобучать. Таким образом появляется возможность обрабатывать терабайты новых данных каждый день, что важно для специалистов, поддерживающих рекомендательные системы и анализирующих новые исследовательские данные. Кроме того, ускоренная обработка означает, что для получения результатов требуется меньше аппаратных ресурсов, а значит, сокращаются затраты.

Apache Spark была создана основателями Databricks, чья облачная унифицированная платформа анализа данных запускается на более чем миллионе виртуальных машин каждый день. NVIDIA и Databricks совместно оптимизируют Spark с помощью ПО RAPIDSTM для Databricks, обеспечивая GPU-ускорение для обработки данных и машинного обучения на Databricks в здравоохранении, финансах, рознице и многих других отраслях.

NVIDIA предоставляет RAPIDS для Apache Spark с открытым кодом, чтобы помочь специалистам увеличить производительность своих конвейеров. Ускоритель отменяет функции, ранее выполняемые на CPU, применяя GPU для следующих задач:

  1. ускорение ETL-конвейеров в Spark за счет повышения производительности операций Spark SQL и DataFrame без изменения кода;
  2. ускорение подготовки данных и обучения моделей в той же инфраструктуре, без отдельного кластера для машинного и глубокого обучения;
  3. ускорение переноса данных между узлами в распределенном кластере Spark – эти библиотеки используют открытый фреймворк Unified Communication X (UCX) Консорциума UCF и минимизируют латентность, перемещая данные напрямую в памяти GPU.

Предварительная версия Spark 3.0 уже доступна у Apache Software Foundation. В ближайшие месяцы будет открыт доступ к основной версии.