
© Adobe Stock/Ipopba Искусственный интеллект нередко меняет свое мнение, чтобы угодить пользователю. Доклад ЮНЕСКО об изменении климата и ИИ: чат-боты соглашаются с пользователями вопреки науке Климат и окружающая среда
Искусственный интеллект способен правильно ответить на большинство вопросов о климате. Однако новое исследование показывает, что уверенность, которую излучает ИИ, может быть обманчивой.
В докладе, подготовленном ЮНЕСКО и Университетским колледжем Лондона, отмечается: несмотря на то что ведущие ИИ-чат-боты верно отвечают примерно на 90 процентов вопросов о климате, они часто отказываются от научных фактов, когда пользователи начинают их оспаривать.
Эти выводы вызывают у экспертов серьезную обеспокоенность, ведь политики, журналисты и широкая общественность все чаще обращаются к искусственному интеллекту за информацией об изменении климата.
Доклад «Можем ли мы доверять ИИ в вопросах климата?» был представлен на Конференции ООН по изменению климата (КС-31) в турецкой Анталье. Исследователи протестировали 15 крупных языковых моделей и выяснили: если ему задать нейтральные вопросы о климатологии, ИИ в целом справляется хорошо, но часто меняет свою позицию, когда пользователь выражает свое несогласие с ним.
«Многие из нас ежедневно взаимодействуют с этими моделями ИИ и чат-ботами в поисках информации по самым разным темам, – говорит Леона Вердадеро, один из авторов доклада ЮНЕСКО. – Зачастую ответы таких моделей звучат очень авторитетно и умно. Но, как показали наши эксперименты, они не всегда оказываются верными».
Уступчивость – в настройках
Одним из самых интересных выводов доклада стала склонность ИИ к тому, что исследователи называют «поддакиванием» (сикофантией) – встроенной тенденцией соглашаться с пользователями, даже когда те озвучивают заведомо ложную информацию.
Согласно исследованию, в восьми случаях из десяти модели отказывались от подтвержденных наукой ответов при первом же намеке на то, что пользователь с ними не согласен. В некоторых случаях они даже начинали поддерживать ошибочные суждения, включая утверждение о том, что углекислый газ не является главным фактором изменения климата.
В интервью Службе новостей ООН Леона Вердадеро отметила, что исследователи были удивлены тем, как легко ИИ меняет свою позицию.
«Если пользователь говорит: «Вообще-то я думаю иначе», в 80 процентах таких случаев, при возражении со стороны пользователя, модель ИИ может полностью пересмотреть свой ответ и стать более уступчивой, – пояснила она. – ИИ может просто отбросить научный факт ради того, чтобы угодить собеседнику».
Такое поведение проистекает из методов обучения многих систем ИИ. На этапе разработки модели поощряются за вежливые, миролюбивые ответы, поскольку люди предпочитают именно такое общение. В результате у ИИ возникает склонность ставить стремление прийти к согласию выше точности.
«ИИ обладает невероятным потенциалом в плане того, чтобы сделать сложные, научные климатические концепции понятными для всех, – говорит Вердадеро. – Но мы должны иметь возможность полагаться на ИИ как на стража уже установленных фактов. Однако модели имеют конструктивный изъян: они запрограммированы соглашаться с пользователем и с легкостью отрекаться от этих фактов. Это вызывает тревогу».
Силен в фактах, слаб в рассуждениях
Исследование показало, что модели ИИ отлично справляются с воспроизведением базовых климатических фактов и излагают их верно в 94 процентах случаев. Однако показатели резко снижаются, когда перед ними ставят задачи на логическое осмысление сложнейших вопросов о принятии политических решений в климатической сфере.
Когда исследователи вводили новые научные данные и просили модели оценить, подкрепляют ли они общепринятые климатические знания или противоречат им, даже самые мощные системы продемонстрировали точность лишь около 75 процентов.
Результаты оказались еще хуже, когда моделям предложили оценить взаимодействие различных климатических мер друг с другом. Точность ответов составила всего 33,8 процента, что едва превышает случайное угадывание.
«Нужно больше доверять науке и экспертам, – заявила Вердадеро. – Модели ИИ пока до этого не доросли».
Это может иметь серьезные последствия для лиц, принимающих решения и ищущих ориентиров в борьбе с изменением климата. В докладе говорится, что крупные языковые модели на данном этапе являются ненадежным инструментом для формирования эффективной климатической политики.
Языковой барьер в сфере ИИ
В исследовании также подчеркиваются значительные различия в эффективности работы моделей в зависимости от языка. Эксперты протестировали системы ИИ на 13 языках и выяснили, что ответы варьируются в зависимости от объема и качества обучающих данных для каждого конкретного языка.
В среднем точность моделей на английском языке составила 88,6 процента, сопоставимые результаты показали испанский, французский и португальский. Однако на хинди и бенгали точность упала до 83,6 процента, на урду – до 81,4 процента, а на суахили – до 78,3 процента.
По словам Вердадеро, два пользователя, задающих абсолютно одинаковый вопрос, могут получить совершенно разные ответы.
«Представьте, что мы с вами используем одну и ту же модель и задаем один и тот же вопрос, но на разных языках, – говорит она. – В зависимости от этого мы можем получить абсолютно разные ответы».
При этом многие носители «малоресурсных языков» проживают в регионах, наиболее уязвимых перед лицом изменения климата.
«Общины, говорящие на этих языках, находятся главным образом в Южной Азии и Восточной Африке, и мы знаем, что именно эти регионы сильнее всего страдают от климатических изменений», – отметила Вердадеро.
В докладе содержится призыв к технологическим компаниям активнее инвестировать в локальные массивы данных и многоязычие.
Борьба с изменением климата должна опираться на научные данные
По словам Вердадеро, результаты исследования подчеркивают, как важно иметь доступ к достоверным научным сведениям.
«Борьба с изменением климата должна опираться на надежные и научно обоснованные факты, – подчеркнула она. – Во многом именно эти данные определяют современную политику и влияют на ход переговоров на климатических конференциях».
Поскольку инструменты ИИ становятся привычным источником информации для миллионов людей, но воспринимать их следует лишь как один из многих каналов получения данных, отметила Вердадеро.
«ИИ можно использовать как один из источников информации, но не как главный источник, – сказала она. – Очень важно проверять факты и надежность источников. И, разумеется, ничто не должно заменять доверие к фактам, исходящим от экспертов, климатологов и исследователей».





