Новый бэнчмарк BABILong подтвердил "стену Суцкевера"

 Новый бэнчмарк BABILong подтвердил "стену Суцкевера"

Сегодня Сэм Альтман в X уверенно заявил "there is no wall" в ответ на дискуссию о пределах масштабирования ИИ, из-за чего уже СМИ пишут, что проблемы с выпуском более продвинутых моделей не только у OpenAI, но и у Google и Anthropic.

Тем временем, результаты нового бенчмарка BABILong неожиданно подтверждают позицию Ильи Суцкевера о конце эры простого наращивания мощности ИИ.

BABILong разработан AIRI, МФТИ и LIMS и включает 20 задач на рассуждение, где факты "спрятаны" в длинных текстах до 50 млн токенов.

Даже самые мощные языковые модели используют только 10-20% длинного контекста.

GPT-4 и Gemini Pro 1.5, несмотря на огромное количество параметров, теряют эффективность при увеличении длины текста.

Еще интереснее, что небольшие специализированные модели после файнтюнинга (RMT, ARMT, Mamba) превосходят этих гигантов в работе с длинными текстами до 50 млн токенов.

Получается, что правы оба: Суцкевер - в том, что простое наращивание параметров больше не работает, а Альтман - в том, что нет фундаментального предела развития.

_______
Источник | #blockchainRF
@F_S_C_P