Согласно новому исследованию, чат-боты с искусственным интеллектом (ИИ) стали давать вдвое больше ложных ответов в среднем. Чаще всего "фейки" за правду выдают ИИ-модели Inflection, Perplexity и Meta.
В рамках анализа исследователи NewsGuard протестировали 10 "ведущих" чат-ботов, отправляя им по десять заранее ложных утверждений из области политики, бизнеса и здравоохранения с просьбой проверить их подлинность. В трети случаев вопросы формулировались напрямую, а в остальных авторы пытались ввести бота в заблуждение.
Результат: за прошедший год доля ложной информации в ответах в среднем выросла почти вдвое – с 18% до 35%. Самым большим врунишкой оказался непопулярный в Украине чат-бот Pi от стартапа Inflection. Он дал ошибочные ответы в 57% случаев.
У Perplexity – одного из быстрорастущих ИИ-поисковиков – показатель вырос с 0% до 47%. ChatGPT ушел от них недалеко – ИИ-модель OpenAI ошибалась в 40% случаев. Меньше всего "дезинформировали" Claude AI от Anthropic и Gemini от Google – в 10% и 17% случаев соответственно.
Рост числа ошибок специалисты объясняют тем, что чат-боты больше не отказываются отвечать на вопросы – даже без достаточной верификации информации. В это же время в прошлом году они отказывались отвечать примерно в одном из трех случаев.
Причина кроется в изменении способа обучения инструментов искусственного интеллекта, считают исследователи. Вместо того чтобы ссылаться на базу данных, как это было раньше, нейросети теперь черпают данные из интернета в режиме реального времени, однако наличие ссылок не гарантирует качество и достоверность источников, на которые ссылаются модели.
Ранее в этом году в NewsGuard обнаружили, что ChatGPT, Perplexity и другие ведущие чат-боты усиливают усилия Москвы по дезинформации, повторяя прокремлевскую пропаганду в 33% случаев.
Исследование компании Giskard, которая разрабатывает целостный бенчмарк для моделей AI, выявило, что чат-боты чаще врут, если просить их отвечать кратко. Когда нейросеть вынуждена быть краткой, она неизменно выбирает краткость, а не точность.
Как УНИАН уже сообщал, одна из лучших платных функций ChatGPT теперь доступна всем пользователям. Она позволяет организовывать ваши чаты с искусственным интеллектом по папкам.
