Илья Суцкевер пришел в подкаст к Дваркешу Пателю и повторил свой тезис про завершение эпохи масштабирования. По его словам, с 2020 по 2025 год индустрия жила по простому рецепту — больше данных, больше compute, предсказуемый результат. Теперь данные для pre-training заканчиваются, и мы возвращаемся в «эпоху исследований», только с большими компьютерами.
Илья интересно объясняет парадокс современных моделей, которые блестяще проходят сложные бенчмарки, но в реальном vibe coding чередуют один и тот же баг туда-сюда. Суцкевер предлагает изящную аналогию: студент, который 10000 часов тренировался на спортивное программирование, выучил все алгоритмы, но обобщает и применяет абстрактное знание хуже того, кто потратил 100 часов и просто имеет «it factor». Текущий RL по сути повторяет первого студента — компании берут вдохновение из бенчмарков для обучения моделей.
SSI (компания Ильи) при этом позиционируется как компания без продукта, которая выбирает стратегию «прямого выстрела» (straight shot) к суперинтеллекту, минуя выпуск промежуточных продуктов. Цель SSI — создать не просто систему, которая «знает все», а систему, которая способна научиться любой работе так же быстро и качественно, как человек, и затем превзойти его — как кажется Суцкеверу, люди обладают какой-то технологией обучения, которую еще не смогли реализовать в моделях.
При этом он считает, что достижение суперинтеллекта может не потребовать больших бюджетов — в конце концов, трасформеры были разработаны на кластерах, состоящих от 8 до 64 GPU. Компании больше денег тратят на инференс. Хотя это звучит иронично, учитывая 3 млрд инвестиций, уже полученных SSI, но уж как есть.
https://www.dwarkesh.com/p/ilya-sutskever-2
_______
Источник | #blognot
@F_S_C_P
Комментариев нет:
Отправить комментарий