Нейросетям гораздо больше лет, чем кажется: первую обучаемую машину показали публике еще в 1958 году. За это время они пережили забвение, научились играть лучше чемпионов, нашли кошек на YouTube без подсказки и принесли своим создателям Нобелевские премии. Ниже — 15 фактов, каждый из которых подтвержден историей и научными публикациями.
Факты из истории: от лампового шкафа до зимы ИИ
1. Идее искусственного нейрона больше 80 лет
В 1943 году нейрофизиолог Уоррен Маккалок и логик Уолтер Питтс опубликовали работу, где описали нервную клетку как простое логическое устройство: оно складывает входящие сигналы и срабатывает, если сумма превышает порог. Компьютеров тогда почти не было, и модель существовала только на бумаге.
2. Первая обучаемая нейросеть была размером со шкаф
Психолог Фрэнк Розенблатт из Корнеллской лаборатории аэронавтики в 1958 году представил перцептрон — устройство, которое училось распознавать простые изображения. Аппаратная версия, Mark I Perceptron, видела мир через матрицу из 400 фотоэлементов (20 на 20), а веса связей хранились в потенциометрах, которые поворачивали электромоторы. Газеты тогда писали, что машина скоро будет ходить, говорить и осознавать себя, — до этого оказалось очень далеко.
3. Одна книга остановила исследования почти на 15 лет
В 1969 году Марвин Минский и Сеймур Пейперт выпустили книгу «Перцептроны», где строго доказали: однослойный перцептрон не способен решить даже простую задачу «исключающее ИЛИ». Многие восприняли это как приговор всему направлению, финансирование сократилось. Период застоя потом назвали «зимой искусственного интеллекта». Выход нашли в многослойных сетях и методе обратного распространения ошибки, который стал популярен в 1986 году.
4. Нейросети читали банковские чеки еще в 1990-х
Сверточная сеть LeNet, созданная группой Яна Лекуна в лаборатории Bell Labs, научилась распознавать рукописные цифры. В конце 1990-х системы на ее основе читали суммы на чеках в американских банках и обрабатывали значительную долю всех чеков страны. Так что задолго до чат-ботов нейросети уже тихо работали с деньгами.
Как нейросети видят мир
5. Google нашел «кошачий нейрон», не показывая сети ни одной подписи
В 2012 году исследователи Google и Стэнфорда (среди них Эндрю Ын и Джефф Дин) собрали сеть примерно с миллиардом связей и запустили ее на 16 000 процессорных ядер. Ей показали 10 миллионов кадров из случайных роликов YouTube, ничего не объясняя. Через несколько дней в сети обнаружился нейрон, который сильно реагировал на кошачьи морды. Сеть сама выделила кошек как частый образ — интернет полон котиков.
6. Незаметный шум превращает панду в гиббона
В 2014 году Иэн Гудфеллоу с коллегами показали, что к фотографии панды можно добавить слабый, невидимый глазу узор, — и сеть с уверенностью больше 99% назовет ее гиббоном. Такие подделки называют состязательными примерами. Позже выяснилось, что несколько наклеек на дорожном знаке «Стоп» способны сбить с толку систему распознавания знаков. Это одна из причин, почему беспилотники проверяют так долго.
7. Нейросеть может видеть собак в облаках
Проект Google DeepDream в 2015 году «развернул» работу сети наоборот: вместо распознавания образов на картинке ее попросили усиливать то, что ей мерещится. Облака, листва и лица на фото покрывались глазами, собачьими мордами и пагодами. Картинки получились психоделическими, а ученые получили наглядный способ увидеть, какие узоры выучила сеть.
Нейросети и игры
8. Компьютер, победивший Каспарова, нейросетью не был
Знаменитый Deep Blue от IBM, обыгравший Гарри Каспарова в 1997 году, работал на переборе вариантов и правилах оценки позиций, которые составили люди вместе с гроссмейстерами. Он просматривал около 200 миллионов позиций в секунду. Нейросети в шахматах стали ведущей силой гораздо позже.
9. Нейросеть научилась нардам, играя сама с собой
В 1992 году Джеральд Тезауро из IBM создал TD-Gammon. Программа сыграла сама с собой сотни тысяч партий в нарды и вышла на уровень сильнейших игроков. Более того, некоторые ее нестандартные ходы потом переняли профессионалы.
10. Одна программа освоила десятки игр Atari по пикселям
Команда DeepMind в 2013-2015 годах обучила сеть играть в игры приставки Atari, давая ей лишь изображение с экрана и счет. Правил ей не объясняли. В игре Breakout, где мячом разбивают кирпичи, сеть сама нашла хитрость: пробить туннель сбоку и закинуть мяч за стену, чтобы он разбивал кирпичи без участия игрока.
11. Ход 37 удивил чемпиона мира по го
В марте 2016 года программа AlphaGo выиграла у Ли Седоля со счетом 4:1. Во второй партии она сделала 37-й ход, который комментаторы сначала сочли ошибкой: так не играл ни один профессионал. Позже этот ход признали блестящим. Го считали неприступной для машин игрой: вариантов в ней больше, чем атомов в наблюдаемой Вселенной. Преемница AlphaZero за сутки обучения с нуля превзошла лучшие программы в шахматах, сёги и го.
Язык, данные и масштабы
12. Сеть научилась арифметике смыслов
Метод word2vec, опубликованный в Google в 2013 году, превращал слова в наборы чисел. Оказалось, что с ними можно делать почти алгебраические операции: если из вектора «король» вычесть «мужчина» и прибавить «женщина», получится вектор, ближайший к слову «королева». Сеть никто не учил понятию пола — она вывела его из того, как слова соседствуют в текстах.
13. Обучающих текстов больше, чем человек прочтет за тысячи лет
Модель GPT-3 2020 года обучали примерно на 300 миллиардах токенов — кусочков слов. Если читать по 250 слов в минуту восемь часов в день без выходных, на такой объем ушло бы несколько тысяч лет. Современные языковые модели обучают на объемах, которые больше еще в десятки раз.
14. ChatGPT стал одним из самых быстрорастущих сервисов в истории
Чат-бот вышел в конце ноября 2022 года, и, по оценкам аналитиков, примерно за два месяца им воспользовались около 100 миллионов человек. Популярным соцсетям для этого понадобились годы.
Нейросети в большой науке
15. За нейросети дали сразу две Нобелевские премии
В 2024 году Нобелевскую премию по физике получили Джон Хопфилд и Джеффри Хинтон — за фундаментальные открытия, сделавшие возможным машинное обучение на нейросетях. В том же году премию по химии разделили Дэвид Бейкер, Демис Хассабис и Джон Джампер. Хассабис и Джампер руководили созданием AlphaFold — сети, которая предсказывает трехмерную форму белков по последовательности аминокислот. Раньше на определение структуры одного белка в лаборатории уходили месяцы и годы, а AlphaFold выдала предсказания для сотен миллионов белков.
Что эти факты говорят о нейросетях
Если сложить истории вместе, получается несколько закономерностей:
- идеи часто опережали технику на десятилетия — перцептрону 1958 года не хватало ни данных, ни вычислительной мощности;
- прорывы случались, когда совпадали три вещи: большие наборы данных, быстрые компьютеры и удачная архитектура сети;
- сети регулярно находят решения, о которых люди не думали, — от туннеля в Breakout до хода 37;
- они же ломаются от вещей, которые человек даже не заметит, вроде невидимого шума на фото.
Вопросы о нейросетях, которые задают чаще всего
Кто изобрел нейросеть
Единого изобретателя нет. Математическую модель нейрона предложили Маккалок и Питтс в 1943 году, первую обучаемую сеть-машину построил Розенблатт в 1958-м, а современное глубокое обучение выросло из работ Хинтона, Лекуна, Бенжио и многих других.
Почему нейросети стали популярны только недавно
Им не хватало данных и вычислений. Интернет дал миллиарды картинок и текстов, а графические ускорители — нужную скорость. Переломом считают 2012 год, когда сеть AlexNet с большим отрывом выиграла конкурс по распознаванию изображений.
Нейросеть умнее человека
В отдельных задачах — в игре в го, распознавании некоторых изображений, предсказании формы белков — она превосходит людей. Но гибкости человеческого мышления, способности учиться на паре примеров и здравого смысла у нейросетей пока нет.