Тест Тьюринга — это проверка, при которой человек переписывается с невидимыми собеседниками и пытается понять, кто из них машина. Если программа регулярно сбивает судей с толку, ее поведение можно считать разумным. Алан Тьюринг описал эту идею в 1950 году как «игру в имитацию». За 75 лет тест обманывали хитрыми уловками, критиковали философы, а в 2020-х крупные языковые модели стали показывать в нем результаты на уровне людей.
Что придумал Тьюринг в 1950 году
В октябре 1950 года британский журнал Mind опубликовал статью Алана Тьюринга «Вычислительные машины и разум». Она начинается с вопроса «Могут ли машины мыслить?», но Тьюринг сразу признает, что слова «машина» и «мыслить» слишком расплывчаты, и спорить об их определениях бессмысленно. Он предлагает заменить вопрос практической проверкой.
Исходная версия игры выглядит неожиданно. В ней три участника: мужчина, женщина и ведущий, который общается с ними письменно из другой комнаты. Ведущий должен угадать, кто из двоих женщина, а мужчина старается его запутать. Затем Тьюринг спрашивает: что будет, если роль мужчины займет машина? Будет ли ведущий ошибаться так же часто?
Переписка выбрана намеренно: голос, внешность и почерк не должны влиять на решение. Оценивается только содержание ответов.
Прогноз Тьюринга
Тьюринг предположил, что примерно через 50 лет, то есть к 2000 году, появятся компьютеры с памятью около миллиарда бит, и средний ведущий после пяти минут расспросов будет правильно распознавать машину не более чем в 70% случаев. Это скромный критерий: программе достаточно обмануть судью в трех случаях из десяти. Порог 30% позже стали использовать организаторы конкурсов.
Возражения, которые Тьюринг разобрал сам
В той же статье он перечислил девять возражений против мыслящих машин и ответил на них. Среди них:
- богословское: мышление дано только бессмертной душе;
- математическое: по теореме Геделя у любой формальной системы есть вопросы, на которые она не ответит;
- аргумент от сознания: машина не чувствует того, что пишет;
- возражение Ады Лавлейс: машина делает только то, что ей приказали, и не создает нового.
На последнее Тьюринг ответил, что машины часто удивляют своих создателей, и предложил строить «машину-ребенка», которая будет учиться, а не программироваться полностью. По сути, это описание машинного обучения задолго до его появления.
ЭЛИЗА и первые программы-собеседники
В 1966 году Джозеф Вейценбаум из Массачусетского технологического института написал программу ЭЛИЗА. Ее самый известный сценарий DOCTOR изображал психотерапевта: программа находила ключевые слова во фразе пользователя и превращала их в вопрос. На «Я грущу из-за матери» она могла ответить «Расскажите подробнее о своей семье». Никакого понимания внутри не было — только шаблоны и перестановка слов.
Тем не менее люди охотно делились с ЭЛИЗОЙ личным. Вейценбаум вспоминал, что его секретарь попросила оставить ее с программой наедине. Склонность приписывать машине понимание по нескольким удачным фразам с тех пор называют эффектом ЭЛИЗЫ.
В 1972 году психиатр Кеннет Колби создал PARRY, имитировавшего пациента с параноидной шизофренией. Когда психиатрам показывали стенограммы бесед с PARRY и с настоящими пациентами, они угадывали, где программа, примерно на уровне случайного выбора. Это первый пример, когда узкий вариант теста фактически был пройден, но благодаря выбору роли: странные ответы списывали на болезнь.
Премия Лёбнера: соревнование, которое не нашло победителя
В 1991 году американский предприниматель Хью Лёбнер учредил ежегодный конкурс программ-собеседников. Судьи переписывались одновременно с людьми и ботами, а авторы самой «человечной» программы получали бронзовую медаль и денежный приз. Серебряную медаль обещали за бота, неотличимого в текстовом разговоре, золотую — за прохождение теста с голосом и изображением. Ни одну из них так и не вручили.
Победители ежегодных этапов чаще всего брали не интеллектом, а приемами:
- делали опечатки и паузы, как человек при наборе;
- уводили разговор на любимую тему, где у них были заготовленные ответы;
- шутили и отвечали вопросом на вопрос, когда не понимали фразу;
- изображали персонажа с характером, которому прощают странности.
Ученые критиковали конкурс за то, что он поощряет обман, а не развитие понимания языка. Последний раз премию проводили в 2019 году.
Чат-бот Женя Густман в 2014 году и победа с оговорками
В июне 2014 года Университет Рединга провел в Лондоне серию тестов в честь 60-летия со дня смерти Тьюринга. Организаторы объявили, что чат-бот «Женя Густман» впервые прошел тест: 33% судей после пятиминутной переписки приняли его за человека. Программу создали разработчики из России и Украины Владимир Веселов, Евгений Демченко и Сергей Уласень.
Секрет успеха был в легенде. «Женя» представлялся 13-летним мальчиком из Одессы, для которого английский не родной язык. Ошибки, уход от вопросов и незнание фактов судьи объясняли возрастом и языковым барьером. Специалисты по ИИ в большинстве своем не признали результат прорывом: пять минут разговора, низкий порог и маскировка под подростка говорили о ловкости авторов, а не о мышлении машины.
Проходят ли тест Тьюринга современные чат-боты
С появлением больших языковых моделей вопрос стал практическим. Модели вроде GPT-4, Claude или Gemini пишут связно, поддерживают тему, шутят и рассуждают. Исследователи из Калифорнийского университета в Сан-Диего Кэмерон Джонс и Бенджамин Берген провели серию онлайн-экспериментов, где тысячи людей переписывались с собеседником и решали, человек это или ИИ. В работе, опубликованной в 2025 году, использовали формат, близкий к исходному у Тьюринга: судья одновременно общался с человеком и с моделью. Модель GPT-4.5 с инструкцией изображать застенчивого молодого человека, знакомого с интернет-сленгом, выбирали как человека в большинстве разговоров, чаще, чем реальных участников. Без такой инструкции результат был заметно хуже.
Отсюда два вывода. Первый: в коротком текстовом разговоре отличить хорошую языковую модель от человека уже трудно. Второй: успех сильно зависит от подобранной роли и стиля, то есть тест по-прежнему измеряет умение казаться человеком. Сами модели обычно настроены честно говорить, что они ИИ, поэтому в обычном использовании никого не обманывают.
| Программа | Год | Чем брала |
|---|---|---|
| ЭЛИЗА | 1966 | Шаблоны и встречные вопросы |
| PARRY | 1972 | Роль пациента с бредом |
| Женя Густман | 2014 | Легенда подростка-иностранца |
| Языковые модели | 2020-е | Обучение на огромных текстах |
Китайская комната Сёрла и другие возражения
Самая известная критика теста принадлежит философу Джону Сёрлу. В 1980 году он предложил мысленный эксперимент «китайская комната». Человек, не знающий китайского, сидит в закрытой комнате с толстой книгой правил. Через щель ему передают записки с иероглифами, он находит в книге нужную строку и выдает в ответ другие иероглифы. Снаружи кажется, что в комнате сидит носитель языка, хотя человек не понимает ни слова.
Сёрл делал вывод: выполнение программы, как бы хорошо она ни имитировала разговор, не создает понимания. Синтаксис, то есть манипуляция символами, не дает семантики, то есть смысла. Сторонники ИИ отвечали, что понимает не человек, а вся система целиком вместе с книгой, или что понимание возникло бы, если подключить комнату к датчикам и роботу. Спор не закончен до сих пор.
Есть и практические возражения. Тест проверяет способность обманывать, а не решать задачи. Он зависит от наивности судьи. Наконец, машина может быть очень умной, но легко выдать себя тем, что считает слишком быстро. Поэтому ученые предлагали альтернативы: схемы Винограда, где нужно понять, к какому слову относится местоимение, наборы сложных экзаменационных задач, оценку способности учиться новому.
Что еще спрашивают о тесте Тьюринга
Прошел ли кто-нибудь тест Тьюринга официально
Единого официального теста нет. Были заявления о прохождении в 2014 году и эксперименты 2020-х годов с языковыми моделями, но научное сообщество спорит о том, что именно они доказывают.
Что такое обратный тест Тьюринга
Это проверка, где машина пытается отличить человека от программы. Самый известный пример — капча: ее английское название расшифровывается как полностью автоматический публичный тест Тьюринга для различения компьютеров и людей.
Сколько длится тест Тьюринга
Тьюринг упоминал пять минут расспросов. В конкурсах и экспериментах длительность разная, от нескольких минут до получаса.
Значит ли прохождение теста, что ИИ мыслит
Нет единого ответа. Сам Тьюринг считал хорошую имитацию достаточным основанием говорить о мышлении, его критики, включая Сёрла, с этим не согласны.