Системы мониторинга активности школьников на устройствах с искусственным интеллектом становятся стандартом в американских школах. Округа заключают многомиллионные контракты с компаниями вроде Gaggle, GoGuardian и Securly, чтобы круглосуточно отслеживать поисковые запросы, чаты, документы и электронные письма учащихся. Администрации уверяют, что это помогает предотвращать насилие, самоубийства и травлю, но на практике алгоритмы фиксируют и передают учителям личные переживания детей, их творчество и даже безобидные беседы.
Принцип работы одной из таких систем — Gaggle — сканировать все, что школьник пишет или ищет в интернете на школьном ноутбуке или планшете. Алгоритмы выявляют потенциальные угрозы — от упоминаний депрессии и суицида до слов, связанных с насилием и буллингом. При срабатывании триггера система делает скриншот и отправляет его модератору Gaggle, который принимает решение передавать ли информацию в школу. Если случай кажется срочным, алгоритм может напрямую связаться с администрацией или даже полицией. Стоимость этой системы: $328 036 за три года только в одном округе, что сопоставимо с зарплатой еще одного школьного психолога.
Ванкуверский школьный округ использует Gaggle с 2024 года. За это время система зафиксировала более 1 000 потенциальных случаев суицида и 800 угроз насилия. Однако значительная часть тревог оказалась ложной: в отчетах фигурировали ученические эссе, творческие рассказы и обычные переписки. При этом школы не могут доказать, что система реально предотвращает трагедии — независимых исследований эффективности Gaggle не существует.
Кроме того, у системы регулярно возникают проблемы с сохранностью данных. Данные о тысячах учеников Ванкувера, включая их личные письма, запросы в поисковиках и эссе о психологических проблемах, случайно утекли в открытый доступ. Журналисты Seattle Times и AP получили полный доступ к 3 500 конфиденциальным файлам без пароля и шифрования. После этого Gaggle обновила систему, теперь файлы блокируются через 72 часа. Однако за это время информация может оказаться в чьих угодно руках.
А тем временем, бизнес Gaggle процветает: компания входит в число крупнейших игроков на рынке школьного ИИ-мониторинга наряду с GoGuardian и Securly. В 2021 году GoGuardian использовалась в 7 000 школах, охватывая десятки миллионов детей. Выручка сектора не раскрывается, но только округ Ванкувер тратит на контракт с Gaggle сумму, эквивалентную зарплате нескольких десятков психологов.
По данным AP, программы ИИ-мониторинга обещают защиту, но на практике создают эффект цифрового надзора без четких доказательств пользы. Исследование RAND 2023 года показало, что таких систем нет в странах с самой низкой статистикой подросткового суицида, а данные о влиянии мониторинга на уровень насилия остаются «скудными».
Gaggle уверяет, что обеспечивает безопасность, но, кажется, если школы действительно хотят защитить учеников, им стоит инвестировать не в алгоритмы, а в живых специалистов.
_______
Источник | #antidigital
@F_S_C_P
Комментариев нет:
Отправить комментарий