OpenAI заявила о недовольстве оборудованием Nvidia для инференса, теперь рассматривает AMD, Cerebras, Groq

OpenAI больше не довольна чипами для ИИ от Nvidia, особенно когда речь идет о скорости ответов пользователям. Компания начала искать другие варианты в прошлом году, и сейчас ведет переговоры с AMD, Cerebras, а также вела переговоры с Groq, прежде чем это было прекращено.

Это напряжение стало реальным, когда OpenAI поняла, что чипы Nvidia недостаточно быстры для конкретных задач, таких как написание кода и обработка задач между программами.

По словам одного инсайдера, OpenAI хочет, чтобы новые чипы обрабатывали по крайней мере 10% её потребностей в выводе в будущем. Это та часть, где ИИ отвечает пользователям, а не та часть, где он обучается.

OpenAI хочет более быстрые чипы для кодирования и ответов пользователям

Большая часть текущей работы OpenAI по-прежнему выполняется на Nvidia, но за кулисами компания тестирует чипы, которые могут ускорить все процессы.

Это включает чипы с SRAM, которые помогают ускорить работу, размещая память прямо рядом с процессором. Nvidia и AMD по-прежнему используют память, которая находится вне чипа, что замедляет работу.

Сотрудники OpenAI указали на Codex, инструмент для написания кода, как на место, где медлительность была самой большой проблемой. Некоторые сотрудники даже обвинили слабую производительность в оборудовании Nvidia. На пресс-конференции 30 января генеральный директор OpenAI Сэм Альтман сказал: "Клиенты, использующие наши модели для кодирования, будут придавать большое значение скорости для работы с кодом".

Сэм добавил, что обычные пользователи ChatGPT не так заботятся о скорости, но для разработчиков и компаний каждая секунда на счету. Он сказал, что OpenAI только что подписала соглашение с Cerebras, чтобы помочь ускорить работу.

В то же время такие компании, как Anthropic и Google, получают лучшие результаты, используя свои собственные чипы. TPU от Google созданы специально для того типа работы, который требуется для вывода. Это сделало их быстрее в ответах, особенно для моделей типа Claude и Gemini.

Переговоры OpenAI-Groq прекращены после лицензионной сделки с Nvidia

OpenAI также вела переговоры с Groq, еще одним стартапом, создающим быстрые чипы, но эти разговоры не зашли далеко. Nvidia вмешалась и подписала лицензионную сделку на $ 20 млрд с Groq. Это дало Nvidia доступ к разработкам Groq и уничтожило планы OpenAI по работе с ними.

Источник, близкий к ситуации, сказал, что чипы Groq были созданы именно для того, что нужно OpenAI. Но как только Nvidia заключила сделку, эта дверь закрылась. Несмотря на то, что лицензия не была эксклюзивной, Groq теперь фокусируется на облачном программном обеспечении, а Nvidia забрала себе некоторых разработчиков чипов Groq.

Cerebras, с другой стороны, отказала, когда Nvidia попыталась их купить. Вместо этого они пошли вперед и заключили собственную сделку с OpenAI. Groq также получила инвестиционные предложения, оценивающие её стоимость примерно в $ 14 млрд, но это сейчас изменилось, поскольку она связана с Nvidia.

OpenAI полностью не отказалась от Nvidia. В публичном заявлении представитель сказал: "Мы полагаемся на Nvidia для питания подавляющего большинства нашего парка вывода", и назвал их производительность за доллар лучшей на рынке. Nvidia также заявила: "Клиенты продолжают выбирать Nvidia для вывода, потому что мы обеспечиваем лучшую производительность и общую стоимость владения в масштабе".

Инвестиционная сделка Nvidia на $ 100 млрд все еще находится в подвешенном состоянии

В прошлом году Nvidia заявила, что планирует инвестировать до $ 100 млрд в OpenAI. Эти деньги должны были помочь OpenAI купить более продвинутые чипы, а взамен Nvidia получила бы долю в компании. Reuters сообщило, что сделка должна была закрыться через несколько недель. Она до сих пор не закрылась.

Пока эта сделка застопорилась, OpenAI пошла вперед и подписала соглашения с AMD и другими для тестирования чипов, которые могут напрямую конкурировать с чипами Nvidia. Но по мере того, как OpenAI меняла свои планы по продуктам, тип оборудования, который ей был нужен, также изменился. Это еще больше замедлило переговоры, сказал кто-то, знакомый с ситуацией.

В субботу генерального директора Nvidia Дженсена Хуанга спросили о трениях. Он сказал: "Это чушь", и настаивал, что Nvidia по-прежнему планирует крупно инвестировать в OpenAI. Но за кулисами ясно, что обе стороны изучают свои варианты.

В то же время Nvidia искала новые идеи чипов. Она обратилась и к Cerebras, и к Groq, чтобы узнать, открыты ли они для покупки. Cerebras отклонила это и удвоила усилия по своей сделке с OpenAI.

Прямо сейчас OpenAI использует GPT4o для работы большинства своих услуг. Но судя по тому, как идут дела, по крайней мере часть этой работы будет выполняться на чипах от AMD или Cerebras в ближайшем будущем. Компания не пытается полностью отказаться от Nvidia, но ясно, что она хочет больше контроля над тем, насколько быстро работают её системы.

Улучшите свою стратегию с помощью наставничества и ежедневных идей - 30 дней бесплатного доступа к нашей торговой программе