​​С ИИ происходит что-то странное и потенциально крайне опасное.
Эксперты перестали моделировать ситуацию в области ИИ.
Еще древние ассирийцы полагали: «Если двое говорят, что ты пьян, - ложись спать». Если к тому же эти двое – признанные эксперты в области, о которой идет речь, и оба они бьют тревогу, - то, определенно, стоит к ним прислушаться.
Макс Тегмарк и Джек Кларк – эксперты-тяжеловесы в области ИИ. И оба, не сговариваясь, бьют тревогу из-за того, что за последний год в развитии ИИ произошел некий тревожный перелом:
• ИИ начал прогрессировать непредсказуемыми темпами;
• специалисты перестали понимать, куда это может привести даже в самом ближайшем будущем.

На этой неделе Макс Тегмарк почти 3 часа говорил об этом в подкасте «80,000 Hours» (1).
Лейтмотив рассказа таков.
«Честно говоря, сценарий, в котором мы сейчас живем, мне видится наихудшим. Это тот сценарий, который, как я надеялся, не произойдет. Я надеялся совсем на другой сценарий, - что развитие ИИ до нынешнего уровня будет куда труднее, и это займет куда больше времени. А у нас, соответственно, будет куда больше времени, чтобы заняться безопасностью ИИ».
Макс приводит простой пример.
Всего 7 лет назад практически никто из экспертов не мог вообразить, что в 2022 ИИ будет в состоянии правильно ответить на такой вопрос:
«Я собираюсь пойти на гору с лицами на ней. Какая столица штата к востоку от того штата, в котором она находится?»
А сегодня каждый из нас может:
1.  Спросить у смартфона с поисковиком: «гора с лицами», и получить ответ «гора Рашмор»
2.  Спросить – «гора Рашмор штат», и услышать «Южная Дакота»
3.  Спросить – «штат на востоке от Южная Дакота», и услышать «Миннесота»
4.  Спросить – «столица Миннесота», и услышать «Сент-Пол»
Но это, увы, далеко не весь прогресс.
ИИ уровня GPT-3 не надо задавать эти 4 (и вообще, какие либо) наводящие вопросы.
Ибо ИИ, услыхав вопрос «Я собираюсь пойти …», сразу даст ответ «Сент-Пол».
Кто-то скажет, - это не понимание, а статистика. И будет прав.
Но если прогресс продолжится с той же скоростью, на что будут способна такая статистика уже через пару лет?

И об этом на неделе Джек Кларк говорил на рабочей группе National Academy по ИИ (слушания закрытые, но вот слайды (2)).

Смотрите на картинку А к этому посту – наши оценочные тесты способностей ИИ уже не годятся, или ИИ уже вышел за пределы ожиданий?.
Показана динамика 6-и популярных бенчмарков, нормализованных от -1 (начальный показатель бенчмарка) до 1 (уровень человека-эксперта)

Теперь картинка B – мы не может предсказать способность ИИ даже на год вперед.
Показан прогноз прогнозистов Hypermind (июнь 2021) способностей ИИ на 30 июня 2022, 2023, 2024 и 2025 по 4 тестам:
•  MATH — решение математических задач
•  MMLU —  тест на знание специальных предметов с использованием экзаменов средней школы, колледжа и профессиональных экзаменов с множественным выбором
•  Something Something v2 —  распознавания видео
•  Надежная точность CIFAR-10 — мера надежной защиты от злоумышленников.
Зеленый пунктир — уровень человека-эксперта.
А теперь приз в студию:
синяя и желтая точки, расположенные выше прогнозных показателей 2022, это уже не прогноз, а факт.
Джек спрашивает:
—  Что здесь происходит?
—  Какие силы движут этим?
— Что означает сочетание плохих тестов и плохих прогнозов для будущего?
—  В каких других областях науки прогресс неоднократно превосходил ожидания?
—  Где будут эти точки по факту в 2025?

Нет ответов. И это потенциально крайне опасно.
#ИИ
1 2
_______
Источник | #theworldisnoteasy