В Корее случился скандал, идеально иллюстрирующий, как ошибки недостаточно квалифицированных людей пытаются выдать за проблемы технологии машинного обучения как таковой — а это ныне популярнейший прием среди технофобов.

Суть дела: Пять лет назад компания  ScatterLab запустила приложение Science of Love, которое рекламировалось как научный анализатор глубины чувств в отношениях. Для анализа требовалось загрузить в приложение копию переписки с партнёром в мессенджере, именно этот массив текста являлся основой анализа, который за 4 с половиной доллара сообщали пользователю. К концу 2020 в систему были загружены 2,5 миллиона диалогов в Южной Корее и 5 млн - в Японии. 

А в декабре 2020 компания запустила чатбот, обученный на всех этих диалогах. Чатбот по имени Ли-Люда эмулировал 20-летнюю девушку, которая хочет со всеми дружить. Компания заявила, что ее цель — создать “an A.I. chatbot that people prefer as a conversation partner over a person.” 

Через несколько недель, однако, обнаружилось, что Ли-Люду легко спровоцировать на некорректные высказывания в адрес некоторых социальных групп, грубые сексуально окрашенные ответы — и, что хуже всего, в этих ответах обнаружились реальные имена и уникальные ники и даже реальные адреса. 

Компания немедленно заявила, что в процессе своих разговоров Ли-Люда не обучается дополнительно, ее нельзя переобучить как когда-то печально известную Таи, ибо она использует только дотасет из Science of Love, который якобы чистили. 

Но компания еще и загрузила часть датасета на Гитхаб, и там немедленно нашли имена 20 человек, геолокационные данные по ним и даже частично медицинские данные. 

Короче, налицо набор вопиющих человеческих ошибок, имеющих слабое отношение к технологии как таковой — но случившийся в результате масштабный фейл подают как пример вреда, который A.I. industry and tech companies приносят обществу:)

https://slate.com/technology/2021/04/scatterlab-lee-luda-chatbot-kakaotalk-ai-privacy.html

_______

#хроникицифровизации 

Источник: https://t.me/techsparks/2924