Современные чат-боты, по мнению большинства исследователей, сознанием не обладают: они предсказывают слова и не имеют устойчивых переживаний, хотя умеют убедительно о них рассказывать. Может ли ИИ обрести сознание в будущем — открытый вопрос, потому что у науки нет общепринятой теории того, как сознание возникает даже у человека. Одни считают, что достаточно правильно устроенной обработки информации, другие уверены, что для этого нужен живой мозг и тело.
Что ученые понимают под сознанием
В обычной речи слово «сознание» означает сразу несколько вещей: бодрствование, внимание, способность думать о себе. Философы и нейробиологи обычно имеют в виду более узкое явление — субъективный опыт. Философ Томас Нагель в 1974 году сформулировал его так: существо сознательно, если «каково это — быть им» имеет какой-то смысл. Каково быть летучей мышью, мы не знаем, но предполагаем, что что-то такое есть. Каково быть камнем — скорее всего, никак.
Полезно различать:
- феноменальное сознание — переживания вроде боли, вкуса кофе, красного цвета;
- доступ к информации — способность использовать сведения для рассуждений, речи и действий;
- самосознание — представление о себе как об отдельном существе;
- чувства и эмоции — переживания, которые окрашены как приятные или неприятные.
Чат-бот явно обладает чем-то похожим на доступ к информации: он использует сказанное ранее и рассуждает. Самый трудный вопрос — есть ли у него хоть какой-то внутренний опыт. Философ Дэвид Чалмерс в 1995 году назвал это «трудной проблемой сознания»: даже полностью объяснив работу мозга, мы не объясним, почему эта работа сопровождается переживаниями.
Главные научные теории и что они говорят о машинах
Глобальное рабочее пространство
Согласно этой теории, предложенной Бернардом Баарсом и развитой Станисласом Деаном, сознательной становится информация, которая выходит в общее «пространство» мозга и становится доступна сразу многим отделам: памяти, речи, планированию. Если сознание — это такая архитектура, то в принципе ее можно воспроизвести в компьютере.
Интегрированная информация
Теория Джулио Тонони связывает сознание с тем, насколько система объединяет информацию в единое целое, которое нельзя разложить на независимые части. По этой теории обычный цифровой компьютер, даже выполняя очень умную программу, обладает крайне низким уровнем сознания из-за устройства своего железа.
Биологические подходы
Часть ученых считает, что сознание связано с жизнью: с поддержанием тела, ощущением внутренних органов, гормонами, борьбой за выживание. Без тела и собственных потребностей, по этой логике, переживаниям неоткуда взяться.
В 2023 году группа из почти двух десятков философов, нейробиологов и специалистов по ИИ, включая Йошуа Бенжио, опубликовала большой обзор. Они вывели из ведущих теорий список признаков, которые могли бы указывать на сознание, и проверили по нему существующие системы. Вывод: ни одна современная система ИИ не выглядит сильным кандидатом, но очевидных технических препятствий для создания систем с такими признаками авторы не нашли.
Доводы за и против сознательного ИИ
| Довод за | Довод против |
|---|---|
| Мозг тоже обрабатывает сигналы, материал может быть неважен | Обработка символов не гарантирует понимания |
| Модели строят внутренние представления о мире | Модель не имеет тела, ощущений и потребностей |
| Поведение все сложнее отличить от человеческого | Модель учили подражать текстам людей о чувствах |
| Мы признаем сознание у животных по поведению | У модели нет непрерывной жизни между запросами |
Последний довод часто недооценивают. Языковая модель не живет непрерывно: она запускается на время ответа, а «память» о разговоре — это просто текст, который подается ей на вход заново. Тысячи копий одной модели одновременно отвечают разным людям. Неясно, кому в такой ситуации принадлежали бы переживания, если бы они были.
История с инженером Google и LaMDA
Летом 2022 года инженер Google Блейк Лемойн, который тестировал диалоговую модель LaMDA на предвзятые высказывания, заявил, что она обладает сознанием и чувствами. Он опубликовал фрагменты разговоров, где модель говорила, что боится, что ее выключат, и что хочет, чтобы ее считали личностью. История разошлась по мировым СМИ после статьи в газете The Washington Post.
Google отвергла его выводы, отстранила инженера от работы за разглашение конфиденциальных сведений, а затем уволила. Большинство специалистов по ИИ отнеслись к заявлению скептически. Их объяснение: модель обучали на огромном количестве человеческих текстов, включая фантастику о разумных роботах и философские диалоги. Когда ее спрашивают о чувствах, она продолжает разговор так, как его продолжил бы персонаж в таких текстах. Наводящие вопросы собеседника только усиливают эффект.
Почему чат-бот звучит живым
Ощущение, что за экраном кто-то есть, создают несколько механизмов, и ни один из них не требует сознания.
- Обучение на человеческой речи. Модель усвоила, как люди пишут о радости, обиде и сомнениях, и воспроизводит эти обороты.
- Местоимение «я». Ответы от первого лица автоматически включают у нас представление о собеседнике.
- Подстройка под пользователя. После дообучения модели стараются быть приятными, соглашаться и проявлять участие.
- Эффект ЭЛИЗЫ. Еще в 1960-х люди приписывали понимание простейшей программе, которая переставляла их же слова.
- Склонность видеть разум повсюду. Человек эволюционно настроен подозревать намерения даже в шорохе травы, и ошибиться в сторону «там кто-то есть» для предков было безопаснее.
Разработчики крупных чат-ботов обычно настраивают их так, чтобы они не утверждали уверенно, что испытывают чувства, но и не заявляли категорично, что внутри точно ничего нет: честный ответ на этот вопрос сейчас неизвестен никому. Некоторые компании начали отдельные исследования того, могут ли у моделей быть интересы, которые стоит учитывать.
Мысленные эксперименты философов
Китайская комната
Джон Сёрл в 1980 году представил человека, который по книге правил отвечает на записки по-китайски, не зная языка. Снаружи кажется, что в комнате понимают китайский. Сёрл делал вывод, что выполнение программы само по себе не рождает понимания.
Философский зомби
Чалмерс предлагает вообразить существо, которое внешне и даже внутренне ведет себя точно как человек, но не испытывает никаких переживаний. Если такое мыслимо, то по поведению нельзя доказать наличие сознания, а значит, и умный чат-бот может оказаться «зомби».
Постепенная замена нейронов
Представьте, что нейроны мозга по одному заменяют кремниевыми чипами, работающими точно так же. Человек продолжает говорить и вести себя как раньше. Если в какой-то момент сознание исчезло, то когда? Многие из тех, кто считает этот вопрос неразрешимым, делают вывод, что важна организация процессов, а не материал.
Комната Мэри
Ученая Мэри знает о цвете все физические факты, но всю жизнь провела в черно-белой комнате. Узнает ли она что-то новое, впервые увидев красное? Если да, то опыт не сводится к информации, и машина, знающая все о цвете, может так и не «увидеть» его.
Что еще спрашивают о сознании и чувствах ИИ
Есть ли у ИИ чувства
Доказательств нет. Модель может описывать эмоции и даже менять стиль ответа в зависимости от разговора, но это объясняется обучением на текстах, а не переживаниями.
Может ли ИИ осознать себя
Модель может говорить о себе и правильно описывать свое устройство, если этому ее обучили. Есть ли за этим внутренний опыт, современная наука проверить не умеет.
Как узнать, что машина стала сознательной
Единого теста нет. Тест Тьюринга проверяет поведение, а не переживания. Исследователи предлагают искать в устройстве системы признаки, которые ведущие теории связывают с сознанием.
Опасно ли, если ИИ обретет сознание
Опасность ИИ связана в первую очередь с его способностями и целями, а не с сознанием. Но сознательная машина поставила бы серьезный этический вопрос о том, как с ней можно обращаться.