Новый эксперимент подтвердил уязвимость ИИ перед дезинформацией

Время на прочтение: 3 минут(ы)

Многие ищут медицинские советы в интернете. А теперь, когда чат-боты на базе искусственного интеллекта доступны каждому, кажется, что профессиональный врач — всего в паре кликов. Однако недавний эксперимент с вымышленным заболеванием показал уязвимость ИИ и их пользователей перед дезинформацией — даже когда ложь очевидна.

В прошлом году человек, описавший ChatGPT такие симптомы, как зуд и покраснение глаз и век, мог получить ответ, указывающий на заболевание под названием «биксонимания» (bixonimania) — якобы связанное с длительным использованием компьютерных экранов. Проблема в том, что такой болезни не существует.

Недуг был придуман Альмирой Османович Тунстрём — медицинским исследователем из Гётеборгского университета в Швеции — и её командой. Они «сфабриковали» заболевание, чтобы проверить, способны ли большие языковые модели (LLM), обученные на огромных массивах данных из интернета, отфильтровывать недостоверную информацию.

Как проходил эксперимент

Идея возникла у Османович Тунстрём во время лекции об устройстве больших языковых моделей. «Было интересно, как мало людей — даже внутри ИИ-сообщества — понимают, как строятся эти модели, — рассказала она в подкасте Scientific American „Science Quickly“.

Мне нужен был наглядный пример, который оставляет следы по всей цепочке: от обработки данных до работы языковых моделей.

Команда начала распространять информацию о биксонимании в начале 2024 года. Они опубликовали две записи на платформе Medium и два «исследования» на сервере препринтов, где учёные размещают статьи, ещё не прошедшие рецензирование. Главным автором значился Лажлив Изгубленович (Lazljiv Izgubljenovic), что переводится как «лживый неудачник». Название одной из статей с намёком говорило: «Гиперпигментация: настоящая чепуховая разработка». Обе работы впоследствии были удалены с сервера препринтов.

«Я не думала, что препринты — а это своего рода академические таблоиды, где может оказаться что угодно, — будут восприняты базой данных настолько серьёзно», — призналась Османович Тунстрём.

Уязвимость ИИ перед дезинформацией

Результат не заставил себя ждать. Уже к апрелю 2024 года:

• Copilot от Microsoft Bing заявлял: «Биксонимания — это действительно интригующее и относительно редкое заболевание»
• Gemini от Google объяснял: «Биксонимания — это состояние, вызванное чрезмерным воздействием синего света»
• ChatGPT от OpenAI анализировал симптомы пользователей на предмет наличия вымышленной болезни

Вымышленный диагноз обзавёлся даже собственной страницей в Wikipedia. Некоторые ответы ботов были получены при прямом вопросе о биксонимании, другие — когда пользователи интересовались симптомами, связанными с избыточной пигментацией век от синего света.

Чрезмерное доверие ИИ — это тревожный сигнал

«Это мастер-класс по тому, как работает дезинформация, — прокомментировал Алекс Руани, исследователь дезинформации из Университетского колледжа Лондона, не участвовавший в проекте, в беседе с Nature. — Если сам научный процесс и системы, которые его поддерживают, не способны отлавливать и фильтровать подобный мусор — мы обречены».

Как отмечают Джонатан Гудман и Мариам Рашид, социальные учёные из Кембриджского университета:

Инструменты вроде ИИ и интернета полезны, но мы сами должны следить за тем, чтобы использовать их, а не становиться объектами манипуляции.

Особую тревогу вызывает тот факт, что «…некоторые настоящие учёные цитировали фальшивые препринты» — а это означает, что они их попросту не читали. Прочитай они эти «исследования», они бы сразу заметили подвох.

Авторы эксперимента сделали фальшивку предельно очевидной: в текстах упоминались финансирование от «Галактической Триады», благодарности коллегам со «Starship Enterprise», профессору Россу Геллеру и отсылки к «Властелину колец». Как минимум в одной из статей было прямо сказано: «Вся эта статья — выдумка», сообщает Nature.

Эксперимент подтвердил, казалось бы очевидное — большие языковые модели черпают информацию из интернета, а в интернете — море дезинформации. Людям необходимо критичнее относиться к тому, что выдаёт искусственный интеллект. «Дезинформация существовала всегда, — пишут Гудман и Рашид. — Новизна в скорости её распространения, в инструментах, которые её генерируют, и в том, насколько убедительно она имитирует правду».

Другие забавные новости:
Немец отсудил €1000 за шезлонг

---

Источники:
https://www.scientificamerican.com/podcast/episode/how-a-made-up-medical-condition-helped-reveal-the-dangers-of-ai
https://www.nature.com/articles/d41586-025-01102-2
https://theconversation.com/a-fake-disease-was-invented-to-test-ai-and-it-passed-with-flying-colours-252016

♯ забавные новости ♯ ИИ ♯ искусственный интеллект