Большая языковая модель, или LLM (large language model), — это нейросеть, которая обучена на гигантском объеме текстов и умеет продолжать, писать и анализировать текст. Внутри у нее миллиарды настраиваемых чисел-параметров и архитектура «трансформер», позволяющая учитывать связи между словами по всему тексту сразу. На таких моделях работают ChatGPT, Claude, Gemini, YandexGPT, GigaChat, DeepSeek и другие чат-боты.
Что такое языковая модель вообще
Языковая модель — любая программа, которая оценивает, насколько вероятна та или иная последовательность слов. Самый привычный пример — подсказки на клавиатуре смартфона. Вы набираете «Буду через пять», и телефон предлагает «минут». Он знает, что после этих слов «минут» встречается чаще, чем «огурцов».
Ранние языковые модели считали частоты: какие два или три слова чаще всего идут подряд. Они неплохо угадывали следующее слово, но не видели дальше короткого отрезка. В предложении «Книгу, которую мне подарила бабушка на прошлый день рождения, я так и не...» простая модель забудет про книгу к концу фразы и не догадается, что дальше вероятнее «прочитал», а не «съел».
Большая языковая модель решает ту же задачу — предсказывает продолжение текста, — но делает это несравнимо лучше. Чтобы точно угадывать продолжение в любых текстах, от рецептов до физических статей, модели приходится усвоить грамматику, факты о мире, стиль, логику рассуждений. Умение отвечать на вопросы возникает как побочный результат этой простой с виду цели.
Почему модель называют большой
«Большая» относится сразу к трем вещам.
- Число параметров. Параметры — это настраиваемые числа внутри нейросети, в которых хранится все выученное. У крупных моделей их от нескольких миллиардов до сотен миллиардов и больше. Для сравнения: модель GPT-2 2019 года имела 1,5 миллиарда параметров, а GPT-3 2020 года — 175 миллиардов.
- Объем данных. Модели учатся на текстах из интернета, книгах, научных статьях, программном коде — это сотни миллиардов и триллионы слов и их частей.
- Вычисления. Обучение крупной модели занимает недели или месяцы на тысячах специализированных ускорителей в дата-центрах и стоит больших денег.
Исследователи заметили, что при одновременном росте всех трех величин качество моделей растет предсказуемо. Эти закономерности назвали законами масштабирования, и именно они подтолкнули компании строить все более крупные модели.
Трансформер и механизм внимания без формул
Почти все современные LLM построены на архитектуре «трансформер». Ее описали исследователи Google в статье 2017 года с названием «Attention Is All You Need» («Внимание — это все, что вам нужно»). Буква T в названии GPT означает как раз Transformer.
Проблема, которую решил трансформер
Прежние нейросети для текста читали слова строго по одному, слева направо, и передавали «память» о прочитанном дальше по цепочке. На длинных текстах эта память размывалась, как сообщение в игре «испорченный телефон». К тому же читать по одному слову долго: такую работу плохо удается распараллелить.
Как работает внимание
Трансформер смотрит на все слова фрагмента одновременно и для каждого решает, на какие другие слова ему нужно «обратить внимание», чтобы понять собственный смысл. Возьмем два предложения:
- «Старый замок на холме привлекает туристов»;
- «Замок на двери заржавел и не открывается».
Слово «замок» одинаковое, а смысл разный. Механизм внимания позволяет слову «замок» в первом случае «посмотреть» на «холм» и «туристов», а во втором — на «дверь» и «заржавел» — и уточнить свое значение. Это похоже на то, как человек читает с маркером: при встрече с непонятным местом взгляд возвращается к ключевым словам выше по тексту.
Внимание работает не один раз, а в десятках слоев подряд, и в каждом слое — несколькими «головами» параллельно. Одна голова может следить за грамматикой (какое существительное к какому глаголу относится), другая — за тем, о ком идет речь в местоимении «он», третья — за темой абзаца. Разделение обязанностей при этом никто не задает вручную: оно складывается при обучении.
Почему трансформеры победили
Обработка всех слов одновременно идеально ложится на графические ускорители, которые умеют делать тысячи вычислений параллельно. Поэтому трансформеры можно обучать на огромных объемах данных за разумное время. Позже ту же архитектуру приспособили для изображений, звука и даже предсказания структуры белков.
Как учат большую языковую модель
Обучение идет в несколько этапов, и каждый дает модели свое.
Предобучение — чтение всей библиотеки
На первом этапе модель читает огромный корпус текстов и учится угадывать пропущенное продолжение. Никто не размечает данные вручную: правильный ответ — это просто следующий кусок настоящего текста. Это самый долгий и дорогой этап. В итоге получается так называемая базовая модель. Она много знает, но ведет себя странно: на вопрос «Как испечь блины?» может ответить списком похожих вопросов, потому что в интернете такие вопросы часто идут подряд на форумах.
Дообучение — стажировка
Затем модель дообучают на примерах диалогов, где на вопрос дается полезный ответ. Если предобучение похоже на годы чтения в библиотеке, то дообучение — на стажировку, где выпускника учат работать с клиентами: отвечать по делу, соблюдать формат, вежливо отказывать в опасных просьбах.
Обучение на оценках людей
На следующем шаге люди сравнивают несколько ответов модели и отмечают, какой лучше. Из этих оценок обучают отдельную модель-«судью», а основную модель подстраивают так, чтобы ее ответы нравились судье. Метод называют RLHF — обучением с подкреплением на основе отзывов людей. Именно он сделал чат-ботов заметно услужливее и аккуратнее. Некоторые компании дополняют его правилами, записанными в виде принципов, по которым модель сама оценивает свои ответы.
Какие большие языковые модели существуют
Моделей сотни, но массовому пользователю чаще всего встречаются эти семейства:
| Модель | Разработчик | Где встречается |
|---|---|---|
| GPT | OpenAI, США | ChatGPT |
| Claude | Anthropic, США | Чат Claude, сервисы разработчиков |
| Gemini | Google, США | Чат Gemini, сервисы Google |
| YandexGPT | Яндекс, Россия | Алиса, сервисы Яндекса |
| GigaChat | Сбер, Россия | Чат GigaChat, сервисы Сбера |
| DeepSeek | DeepSeek, Китай | Чат DeepSeek, открытые веса |
| Llama | Meta, США | Открытые веса для разработчиков |
Модели делят на закрытые, доступные только через сервис разработчика, и открытые: их веса можно скачать и запустить на своем сервере. Открытые модели удобны компаниям, которые не хотят отправлять данные наружу.
Многие современные LLM мультимодальны: они понимают не только текст, но и изображения, а иногда звук. Им можно показать фото чека, схему или страницу учебника и задать вопрос.
Слабые места больших языковых моделей
- Знания с датой отсечения. Модель знает мир только до момента сбора обучающих данных. Без подключения к поиску она не в курсе свежих новостей.
- Выдуманные факты. Модель оптимизирована на правдоподобный текст, а не на истинный, поэтому иногда уверенно сообщает несуществующие даты, цитаты и источники.
- Неточный счет. Длинную арифметику модель «угадывает» по образцам, если не пользуется встроенным калькулятором или кодом.
- Зависимость от формулировки. Небольшое изменение вопроса может заметно изменить ответ.
- Цена работы. Каждый ответ требует вычислений на дорогом оборудовании, а крупные дата-центры потребляют много электроэнергии.
Что еще спрашивают о LLM
Чем LLM отличается от поисковика
Поисковик находит существующие страницы и показывает ссылки. Языковая модель формирует новый текст по выученным закономерностям. Поэтому она умеет пересказать и объяснить, но не гарантирует, что каждое утверждение где-то подтверждено. Многие сервисы сейчас совмещают оба подхода: модель сначала ищет, затем отвечает по найденному.
Можно ли запустить языковую модель на своем компьютере
Да, небольшие открытые модели с несколькими миллиардами параметров работают на мощном домашнем компьютере или даже ноутбуке. Они уступают крупным облачным моделям, но справляются с простыми задачами без интернета.
Понимает ли LLM смысл текста
Вопрос спорный. Модель явно хранит связи между понятиями и умеет их применять в новых ситуациях. Но у нее нет опыта взаимодействия с миром, и рассуждения иногда ломаются там, где человек не ошибся бы. Ученые до сих пор спорят, считать ли это пониманием.