Исследователи из Стэнфордского и Калифорнийского университетов разработали технологию S-LoRA,

 Исследователи из Стэнфордского и Калифорнийского университетов разработали технологию S-LoRA, позволяющую использовать тысячи крупных языковых моделей (LLM) на одном графическом процессоре (GPU)🤯 Этот метод значительно сокращает вычислительные и финансовые затраты на настройку LLM, делая их доступными для большего круга предприятий. Технология основана на методе "низкоранговой адаптации" (Low-Rank Adaptation - LoRA), уменьшающем количество тренируемых параметров, при этом сохраняя высокую точность моделей.

S-LoRA выделяется своими способностями динамического управления памятью и тензорного параллелизма, что повышает эффективность и позволяет обрабатывать множество запросов одновременно. Эти особенности делают технологию привлекательной для различных приложений, включая создание контента и обслуживание клиентов. Код S-LoRA уже доступен на GitHub, а его интеграция в популярные фреймворки для LLM обещает упростить внедрение этой технологии в бизнес-приложения, открывая новые перспективы в использовании искусственного интеллекта🤓
_______
Источник | #Futuris
@F_S_C_P