Ray 2.55 добавляет отказоустойчивость для крупномасштабных развертываний моделей ИИ
Joerg Hiller 18:35, 02 апреля 2026
Обновление Ray Serve LLM от Anyscale обеспечивает отказоустойчивость группы DP для развертываний vLLM WideEP, снижая риск простоя для распределенных систем вывода ИИ.
Anyscale выпустила значительное обновление своего фреймворка Ray Serve LLM, которое решает критическую операционную проблему для организаций, выполняющих крупномасштабные рабочие нагрузки вывода ИИ. Ray 2.55 представляет отказоустойчивость группы параллельных данных (DP) для развертываний vLLM Wide Expert Parallelism — функцию, которая предотвращает падение целых кластеров обслуживания моделей из-за отказов отдельных GPU.
Обновление нацелено на конкретную болевую точку в обслуживании моделей Mixture of Experts (MoE). В отличие от традиционных развертываний моделей, где каждая реплика работает независимо, архитектуры MoE, такие как DeepSeek-V3, распределяют экспертные слои по группам GPU, которые должны работать коллективно. Когда один GPU в этих конфигурациях выходит из строя, вся группа — потенциально охватывающая от 16 до 128 GPU — становится неработоспособной.
Техническая проблема
Модели MoE распределяют специализированные «экспертные» нейронные сети по нескольким GPU. DeepSeek-V3, например, содержит 256 экспертов на слой, но активирует только 8 на токен. Токены маршрутизируются к тем GPU, которые содержат необходимых экспертов, через операции диспетчеризации и объединения, требующие, чтобы все участвующие ранги были работоспособными.
Ранее отказ одного ранга нарушал эти коллективные операции. Запросы продолжали маршрутизироваться к выжившим репликам в затронутой группе, но каждый запрос завершался неудачей. Восстановление требовало перезапуска всей системы.
Как Ray решает эту проблему
Ray Serve LLM теперь обрабатывает каждую группу DP как атомарную единицу посредством группового планирования. Когда один ранг выходит из строя, система помечает всю группу как неработоспособную, прекращает маршрутизацию трафика к ней, разбирает вышедшую из строя группу и перестраивает её как единое целое. Другие работоспособные группы продолжают обслуживать запросы на протяжении всего процесса.
Функция поставляется включенной по умолчанию в Ray 2.55. Существующие развертывания DP не требуют изменений в коде — фреймворк автоматически обрабатывает проверки работоспособности на уровне группы, планирование и восстановление.
Автомасштабирование также соблюдает эти границы. Операции масштабирования вверх и вниз происходят с шагом размером группы, а не отдельными репликами, предотвращая создание частичных групп, которые не могут обслуживать трафик.
Операционные последствия
Обновление создает важное соображение для проектирования: ширина группы против количества групп. Согласно тестам vLLM, цитируемым Anyscale, пропускная способность на GPU остается относительно стабильной при размерах экспертного параллелизма 32, 72 и 96. Это означает, что операторы могут настраивать в сторону меньших групп без ущерба для эффективности — а меньшие группы означают меньший радиус поражения при возникновении отказов.
Anyscale отмечает, что эта устойчивость на уровне оркестрации дополняет работу по эластичности на уровне движка, происходящую в сообществе vLLM. RFC vLLM Elastic Expert Parallelism рассматривает, как среда выполнения может динамически настраивать топологию внутри группы, в то время как Ray Serve LLM управляет тем, какие группы существуют и получают трафик.
Для организаций, развертывающих модели в стиле DeepSeek в масштабе, практическая выгода очевидна: отказы GPU становятся локализованными инцидентами, а не системными сбоями. Примеры кода и шаги воспроизведения доступны в репозитории GitHub Anyscale.
Источник изображения: Shutterstock- ray
- vllm
- инфраструктура ИИ
- машинное обучение
- распределенные вычисления
