DeepSeek выпустили DSpark, которая ускорила их модели без потери качества
Если многие гонятся за самой умной моделью, #DeepSeek снова решили проблему с другой стороны, как сделать модели быстрее и дешевле в использовании.
DSpark - это не новая модель, а технология ускорения инференса.
Обычные большие модели типа DeepSeek-V4 генерируют текст токен за токеном - это медленно и дорого по вычислениям.
А DSpark использует технику спекулятивное декодирование.
В результате в продакшене:
генерация ответов на 57–85% быстрее для пользователя; общая пропускная способность сервера вырастает на 51–400%; качество ответов ровно такое же.
В будущем нас ждут агентные системы, которые будут часами думать, использовать инструменты, переписывать код, проверять себя. Там каждый лишний токен и каждая секунда инференса будут стоить очень дорого.
_______
Источник | #blockchainRF
@F_S_C_P
Комментариев нет:
Отправить комментарий