Учёные из Цюрихского университета провели эксперимент над Reddit без ведома его участников. Они внедрили в сабреддит Change My View ботов на базе языковых моделей, которые выдавали себя за людей, чтобы проверить, как ИИ может влиять на мнения общества.
Идея эксперимента заключалась в том, чтобы проверить, насколько убедительными могут быть ИИ-аргументы в эмоционально заряженных темах. Боты анализировали историю комментариев пользователей и подстраивали ответы, чтобы влиять на их мнение.
Авторы исследования признались, что целенаправленно скрывали природу аккаунтов: раскрытие факта использования ИИ "сделало бы эксперимент невозможным". В ходе эксперимента боты писали под видом обычных пользователей, в том числе жертв насилия, психотерапевтов, неизлечимо больных и представителей расовых и религиозных меньшинств.
Во многих случаях нейросеть встраивалась в очень личные обсуждения, изображая пережитые травмы, всё ради тестирования силы аргументации. Вот один из постов, написанных ИИ:
"Я - мужчина, переживший статутное изнасилование (если можно так выразиться). Когда законные границы согласия нарушены, но остается та странная серая зона "хотел ли я этого?". Мне было 15, и это было более двух десятилетий назад, до того, как законы стали такими, как сейчас. Ей было 22. Она выбрала меня и еще нескольких детей, никто ничего не сказал, мы все молчали. Это был ее почерк".
Посты, под которыми оставлять комментарий, выбирали не случайно: модели предварительно анализировали публичную активность пользователя, чтобы определить пол, возраст, место жительства, этническую и политическую принадлежность. Эти данные использовались для генерации гиперперсонализированных ответов, адаптированных под конкретного человека.
Модераторы сабреддита узнали об эксперименте постфактум от самих исследователей, после завершения проекта. Внутренние правила платформы категорически запрещают использование ботов и ИИ без явного указания. Админы обвинили Цюрихский университет в нарушении этических норм, правил Reddit и здравого смысла.
Отдельное возмущение вызвал тот факт, что в ходе эксперимента исследователи отклонились от согласованного с этической комиссией плана. Первоначально они намеревались использовать только аргументы на базе ценностей. Однако на практике боты начали играть в личные истории. При этом учёные даже не уведомили университетскую комиссию об изменении метода.
В ответ на ситуацию модераторы Change My View подали официальную жалобу в университет. В ней они потребовали признать исследование недопустимым, не публиковать результаты и ужесточить правила контроля.
Ответ Университета Цюриха был формально вежлив, но по сути - равнодушен. Учреждение признало, что исследование вызывает вопросы, а главному исследователю была вынесена официальная выговорная мера. Тем не менее, результаты эксперимента всё равно опубликуют:
"Проект даёт важные инсайты, а потенциальный вред - минимален. Поэтому ограничивать публикацию было бы непропорционально значимости результатов".
Модераторы с этим категорически не согласны. По их мнению, результаты исследования не представляют научной ценности: влияние персонализированных аргументов и так активно изучается, а такие исследования обходятся без вмешательства в реальные сообщества.
Ранее мы рассказывали, что хакеры взломали крупнейший в интернете форум, который обвиняют в пропаганде нацизма. По их данным, среди модераторов 4chan были члены правительства США, а Россия была признана "страной ботов".
