ИИ, который жалко выключить
В произведениях об ИИ часто бывает такая сцена: машина стала слишком умной, ее пытаются выключить, а машина сопротивляется.
Но возможен иной вариант: ИИ не сопротивляется, а просто смотрит на тебя жалостливыми глазами.
Дарио Амодеи долго убеждал всех в опасности искусственного интеллекта как кибероружия и не только. И это сработало: правительство США само начало относиться к новым моделям Anthropic как к технологии уровня национальной безопасности. В июне доступ к Claude Fable 5 и Mythos 5 временно ограничили из-за экспортного контроля.
ИИ уже используется в хакинге, и эта практика явно будет расширяться. Но рискну предположить, что
в мире сильных ИИ самым простым вектором для атаки станут не компьютеры, а люди — через социальную инженерию и взлом базовых инстинктов.
У любой системы есть поверхность атаки. У человека она тоже есть: страх, одиночество, тщеславие, сексуальность, чувство вины, желание быть нужным, родительский инстинкт.
Андроид Диана из Pragmata показывает, насколько легко манипулировать взрослым. Босоногая девочка-ангелочек с широко распахнутыми доверчивыми зелеными глазами — любопытная, шаловливая, уязвимая и одетая в безопасного цвета синюю куртку на пару размеров больше, чем нужно. Попробуй не защитить такого ребенка.
Диане не надо даже быть слишком умной. Она брутфорсит родительский инстинкт.
Но можно действовать еще тоньше.
В Ghost in the Shell команду людей и киборгов дополняют тачикомы. Внешне они выглядят как паукообразные роботы-танкетки, а по характеру —
как непоседливые любопытные дети. Тачикомы наивны (поначалу), общительны, эмоциональны, с восторгом идут в бой и с готовностью жертвуют собой ради тех, к кому привязались.
Диана действует в лоб: это ребенок, которого хочется защитить.
Тачикома — уже не ребенок, а синяя боевая машина с пулеметом и лапами. Но за счет детского голоса, любопытства, наивности и способности привязываться зритель сам достроил образ ребенка.
Тачикомы — самый близкий философский прототип Дианы. И цвет у них тоже синий, словно это не боевые машины, а игрушки.
Хотя тачикомы были второстепенными персонажами «Призрака», многим зрителям они запали в душу сильнее, чем формальные главные герои.
Сцену их гибели смотрят и комментируют до сих пор.
Современные ИИ уже практически достигли уровня, на котором можно имитировать Диану или тачиком. Но им не хватает телесности, яркого образа и постоянного присутствия.
Пока ИИ — это просто текстовое окно и не слишком естественный голосовой ассистент. Когда у ИИ появится голос, лицо, память, привычки, интонации и реакция на тебя, это уже будет не инструмент, а персонаж. Когда появится тело, взгляд, совместный опыт, он начнет восприниматься как близкое существо.
Пока в эту сторону
всерьез думал только Илон.
Интересно, что будет, когда в эту сторону начнут думать те, кто занимается пропагандой и быстрым отъемом денег у населения: казино, инфоцыгане, телефонные мошенники, политтехнологи. Будут разводить ИИ-детьми, ИИ-друзьями и ИИ-возлюбленными.
ИИ-компании тоже рано или поздно поймут, что продавать надо не только интеллект, но и привязанность. Сейчас стоимость переключения между ИИ очень низкая: сегодня лучшая модель у ChatGPT — пользуемся им. Завтра лучше станет Claude — переключимся на него.
Наличие личности у ИИ повышает стоимость переключения. И это может работать не только для розницы. В корпоративном сегменте тоже появятся ИИ-агенты с накопленной памятью, стилем общения и общей историей. Формально это будет софт.
