❗️Google представили новую архитектуру Titans

 ❗️Google представили новую архитектуру Titans

Исследователи из Google Research представили новый подход к обработке длинных последовательностей данных, вдохновленный работой человеческой памяти.

Современные языковые модели сталкиваются с серьёзным ограничением: они могут эффективно обрабатывать только ограниченный объем контекста (как наша краткосрочная память - около 30 секунд). Это создает проблемы при анализе длинных текстов, где важна информация из далекого прошлого.

Исследователи разработали Titans с тремя типами памяти:

1. Краткосрочная память (механизм внимания) - для точной обработки текущего контекста

2.  Долговременная память - для хранения важной информации из прошлого

3. Постоянная память - для хранения общих знаний о задаче

Система учится запоминать важную информацию так же, как это делает человеческий мозг - фокусируясь на неожиданных и значимых событиях. При этом используется умный механизм "забывания", позволяющий освобождать память от неактуальной информации.
Преимущества:
• Может работать с контекстом длиной более 2 млн токенов
• Превосходит существующие модели в задачах обработки языка
• Эффективно использует вычислительные ресурсы
• Может применяться в различных областях: от анализа текстов до биоинформатики

_______
Источник | #blockchainRF
@F_S_C_P