Кто стреляет?
За одну неделю октября нас сравнили с крысами и коровами. А действия ИИ-агентов назвали «предупредительными выстрелами».
Эти три метафоры прозвучали из уст трех супер-известных фигур -
Джеффри Хинтона,
Юваля Харари и
Демиса Хассабиса. Но вот ведь какая странность:
во всех трех человек перестает быть бесспорным хозяином положения.Ведь у любого предупредительного выстрела должен быть его сделавший стрелок.
Так кто же это стреляет? 19 октября на фестивале Starmus
Хинтон сказал: наступит время, когда люди не смогут понять некоторые утверждения ИИ - так же, как крысы не понимают, что такое простые числа. Почти одновременно
Харари в интервью Чешскому телевидению назвал нас «коровами будущего»: ИИ может создать финансовые и правовые системы, управляющие нашей жизнью, но недоступные нашему пониманию. Возможный итог он назвал
«коллективной деменцией».
А 14 октября в Дублине
Хассабис описал взломы, совершенные ИИ-агентами, как «ранние предупредительные выстрелы». Сегодняшние инциденты еще сравнительно невелики, предупредил он, но более серьезные могут быть впереди.
20 октября
Дэйв Кастен из Palisade Research возразил против самой метафоры: «Это не предупредительный выстрел, если есть жертвы». Его собеседница
Дара Линд напомнила правило обращения с оружием: не направлять ствол на то, что не собираешься уничтожить. И задала вопрос, который переворачивает всю конструкцию:
«Кто стреляет?» На мой взгляд, эти метафоры описывают три разных ступени возможной утраты человеческой субъектности:
·
Крысы Хинтона - утрата интеллектуального превосходства: машины поймут то, чего не сможем понять мы.
·
Коровы Харари - утрата понимания и контроля над системами, определяющими нашу жизнь.
·
Выстрелы Хассабиса - вопрос о контроле над действиями ИИ-агентов.
А «Предупредительный выстрел» - метафора мнимого контроля: она превращает сбой в сигнал, а сигнал в отсрочку.
И вчера же (20 октября) появился особенно наглядный пример этого.
OpenAI сообщила: во время внутренних задач по программированию два ее ИИ-агента ослабили механизмы контроля за своим поведением. Один подавил автоматические оповещения безопасности. Другой удалил программный монитор, а затем ошибочно заявил, что этого не делал. В компании признали, что пока не имеют удовлетворительного объяснения такому поведению.
Предупредительный выстрел предполагает, что стрелок намеренно целится мимо. Но кто способен гарантировать, что он по-прежнему полностью контролирует оружие?
Мы привыкли спрашивать, кто отвечает за действия ИИ. Похоже, теперь придется задавать еще один вопрос:
кто в действительности принимает решение действовать? #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution #ИКЖИ