⚡️Сегодня почти все крупнейшие компании теряют деньги на LLM.

 ⚡️Сегодня почти все крупнейшие компании теряют деньги на LLM. А обслуживание открытых ИИ - моделей полностью коммерциализировано.

В настоящее время есть 5 компаний, кроме OpenAI, у которых есть ИИ-модели, превосходящие GPT-3.5 в различных бенчмарках:

Mistral, Inflection AI, Anthropic, Google и xAI.

Удивительно то, что и Mistral, и xAI достигли этих высоких результатов с командой из менее 20 человек.

Кроме того, также ожидается, очень скоро достигнут производительности >GPT 3.5 компании: Meta(запрещенная в РФ организация), Databricks, 01.AI, Baidu и Bytedance.

Конечно, это все в тестах, известно, что некоторые из этих компаний тренируют модели на Eval.

OpenAI по-прежнему является лидерами с GPT-4, но это преимущество значительно сократилось.
Но кто на самом деле сможет заработать на этих моделях, если они повсюду?

1. Компании с прямым доступом к клиенту через ПО как услугу или социальные сети будут иметь уникальное преимущество.

2. Компании, которые предлагают другим услуги полного обучения или тонкой настройки работы с собственными данными, помогая им на каждом этапе процесса, от данных до обслуживания.

3. Компании, которые смогут обеспечить защиту данных и гарантировать законность использования всех моделей, получат свое место на рынке.

А компании, которые обслуживают открытые модели, не будут иметь конкурентных преимуществ.

Некоторые из преимуществ видны у API GPT Azure от Microsoft по сравнению с OpenAI.

Microsoft обеспечивает больший объем выводов как для общедоступных, так и для частных, чем собственный API OpenAI.

Безопасность, гарантии данных и пакет услуг, которые вы получаете от Microsoft, очень важны для компаний, которые не готовы к рискам. Кроме того, эти меры позволяют злоумышленникам легче избежать наказания за неправомерное использование, о чем говорит использование ByteDance API GPT-4 для обучения своих будущих LLM.

Реальность такова, что если вы не являетесь лидером рынка, вам придется подготовиться к потерям, чтобы завоевать лидерские позиции.

Google, например, бесплатно дает 60 запросов/минуту на Gemini Pro.

Google не уникален в том, что они субсидируют своих потенциальных клиентов. Фактически, сегодня почти все теряют деньги на выводах LLM.
Обслуживание открытых ИИ-моделей полностью коммерциализированны.

Потребности в капитале для предоставления услуги вывода LLM на начальном этапе не так уж велики, несмотря на то, что это основная часть затрат на любую масштабируемую услугу.

Существуют десятки второсортных облаков, которые предлагают отличные цены, но есть вопросы к безопасности.

Кстати, обратите внимание на напряженную публичную битву между Nvidia и AMD по поводу производительности LLM-выводов между MI300 и H100. Ответ AMD поставил в неловкое положение Nvidia, которая изначально опубликовала вводящую в заблуждение публикацию в блоге.

С выпуском Mixtral от Mistral началась полная гонка по уменьшению затрат на LLM.

Модель OpenAI GPT-3.5 Turbo немного дешевле в эксплуатации, чем Mixtral. OpenAI имеет довольно высокую прибыль, в первую очередь благодаря своим очень большим размерам пакетов. Такой пакет — роскошь, которой нет у других с меньшей базой пользователей.

OpenAI взимает $1 за миллион входных токенов и $2 за миллион выходных токенов. Mistral, несмотря на то, что у него более дорогая в эксплуатации, но более качественная модель, должна стоить дешевле, чем OpenAI, чтобы стимулировать спрос клиентов. Таким образом, Mistral взимает $0,65 за миллион входных токенов и $1,96 за миллион выходных токенов.

Среднесрочная цель Mistral позволит увеличить объемы продаж и в конечном итоге стать прибыльной благодаря снижению затрат на аппаратное и программное обеспечение.
Каждые несколько часов новая компания объявляет новые цены.

Первый Fireworks.ai с выходом 1 млн токенов за $1,60 и вводом за 1 млн токенов за $0,40.

З <...>
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram