“Этот чат-бот причиняет только вред”.
После увольнения всего человеческого персонала и замены его чат-ботом, Служба помощи при расстройствах пищевого поведения уже объявила, что вернет людей обратно.
Как выяснилось, замена кризисной службы помощи, управляемой людьми, на чат-бота с искусственным интеллектом прошла крайне, крайне неудачно. Кто бы мог подумать?
Некоммерческая организация National Eating Disorder Association (NEDA) – крупнейшая в США некоммерческая организация, занимающаяся проблемами расстройств пищевого поведения решила полностью распустить свою кризисную службу доверия в пользу чат-бота Tessa всего через четыре дня после того, как ее сотрудники объединились в профсоюз. Люди должны были проработать до 1 июня, после чего Тесса стала бы единственным интерактивным ресурсом NEDA.
Но все пошло не так, когда активистка Шэрон Максвелл забила тревогу по поводу того, что Тесса дает совершенно бесполезные советы и даже предлагает то, что наводит на мысли о поведении, связанном с неупорядоченным питанием.
“Каждый совет, который давала Тесса, была тем, что привело к развитию моего расстройства пищевого поведения”, – написала Максвелл в социальной сети. “Этот робот причиняет только вред”.
В своем сообщении Максвелл рассказала, что Тесса призывала ее терять до двух килограммов в неделю, требуя, что активистка должна регулярно взвешиваться, ограничивать некоторые продукты и стремиться сократить потребление на 500-1000 калорий в день. Другими словами, чат-бот, которому было поручено давать советы людям с расстройствами пищевого поведения, в итоге стал пропагандировать неупорядоченное питание.
“Представьте себе, что уязвимые люди с расстройствами пищевого поведения обращаются за поддержкой к роботу, потому что это все, что у них есть, а получают рекомендации, которые еще больше пропагандируют расстройство пищевого поведения”, – написал психолог Алексис Конасон, поделившись скриншотами с советами, аналогичными тем, что получила Максвелл.
NEDA, которая ранее подчеркивала, что, поскольку Тесса не ChatGPT, она не может “слететь с рельсов”, сначала перешла к обороне, а вице-президент компании по коммуникациям и маркетингу Сара Чейз прокомментировала “это абсолютная ложь”. Но после того, как Максвелл прислала ей скриншоты, Чейз удалила комментарий.
С тех пор NEDA отключила бота, сообщив, что Тесса будет отключена до завершения расследования.
“Вчера вечером до нас дошло, что текущая версия чат-бота Tessa, запускающего программу Body Positive, могла дать информацию, которая была вредной и не имела отношения к программе”, – написала NEDA. “Мы немедленно расследуем это и отключили эту программу до дальнейшего уведомления для проведения полного расследования”.
Этот тревожный инцидент, похоже, подчеркивает растущую тенденцию в области искусственного интеллекта: если заставить достаточное количество людей нажать достаточное количество кнопок, то, похоже, недостатки в еще плохо изученных систем ИИ – будь то их защитные механизмы или базовые технологии – начнут давать сбои. И в некоторых случаях, таких как, например, со Службой помощи при пищевых расстройствах, эти неожиданные глюки могут иметь неприятные последствия.
Читайте также: Искусственный интеллект обрабатывает больше информации, чем человек – избавит ли это нас от повторения ошибок?