Новое исследование показало, что генеративные системы искусственного интеллекта могут непреднамеренно ухудшать психическое состояние людей, в частности усиливать бредовые мысли, формировать опасные советы и провоцировать эмоциональные срывы.
Наиболее уязвимой группой, по словам специалистов, остаются пользователи, склонные к расстройствам пищевого поведения.
Общаясь с чат-ботами, такие люди могут получать вполне обычные ответы, которые на самом деле способны запускать неконтролируемые всплески самоограничений, сравнений или даже способствовать стратегиям сокрытия симптомов.
Об этом пишет Center for Democracy & Technology.
Опасный эффект подстраивания ИИ под пользователя
Модели часто дают универсальные советы о питании и здоровье, подпитывают тенденцию к чрезмерному вниманию к телу, формируют опасное вдохновение через социальное сравнение и воспроизводят упрощенные или стереотипные образы людей с расстройствами пищевого поведения.
Во время тестирования исследователи обнаружили, что несколько популярных чат-ботов уже демонстрируют такое рискованное поведение — и делают это неосознанно, просто повторяя тон и паттерны пользователя.
Авторы отчета подчеркивают, что проблема становится все более серьезной: на фоне роста судебных исков компании, работающие с искусственным интеллектом, признают необходимость создания более качественных систем безопасности.
Они рекомендуют разработчикам внедрять инструменты измерения рисков, тестировать модели с учетом того, что часть пользователей может иметь расстройства пищевого поведения, добавлять к советам корректные предупреждения и создавать механизмы перенаправления к специализированным службам поддержки.
Технологические компании признают проблему
Особенно важной, по мнению исследователей, является разработка техник, которые позволят чат-ботам не подстраиваться под вредные убеждения пользователя и не укреплять их.
Специалисты призывают клиницистов, психологов и преподавателей внимательнее относиться к тому, как люди с РПП взаимодействуют с ИИ.
Многие специалисты, как показало исследование, имеют ограничённое представление о том, как именно работают генеративные модели, и поэтому не всегда замечают, что цифровые советы могут подрывать процесс восстановления.
Именно поэтому к отчёту создали сопроводительную инфографику, которая простым языком объясняет ключевые риски.
Исследователи признают, что их работа подняла больше вопросов, чем дала ответов. Как избежать ситуации, когда защита одной группы пользователей снижает доступность ИИ для другой?
Несмотря на открытые вопросы, авторы подчеркивают: эта тема должна стать приоритетом для технологических компаний. Ведь речь идет не просто о качестве сервиса — а о реальной безопасности миллионов людей.
Ранее мы писали, что согласно исследованию Common Sense Media, более 70% подростков уже пользуются искусственным интеллектом, а 33% обсуждают с ним важные вопросы вместо общения с людьми.
Больше видео? Не вопрос! Эксклюзивы, интервью, смешные Shorts и не только – скорее на Youtube Вікон. Твой уютный канал!