Что такое токены в нейросети и почему они заканчиваются быстрее, чем кажется

Токены в нейросети — это базовые единицы текста, на которые модель разбивает слова, части слов, отдельные символы и знаки препинания перед обработкой, присваивая каждому элементу числовой идентификатор. Это помогает быстрее анализировать запросы, находить языковые закономерности, учитывать контекст и генерировать ответы.

В материале разбираем, как работает токенизация и почему на русском языке нейросетям «думать» сложнее.

• Что такое токены и зачем они нейросетям
• Откуда берутся токены
• Сколько слов помещается в один токен
• Почему русский «съедает» токены быстрее
• Почему токены так важны
• Сколько токенов в разных сервисах
• Токены в ChatGPT: как работают ограничения
• Сколько токенов в Claude Pro
• Сколько токенов в «Дипсик»
• Как экономить токены

Что такое токены и зачем они нейросетям

Представьте, что вы объясняете задачу человеку, который не знает вашего языка. Чтобы он хоть что-то понял, вы разбиваете каждое слово на слоги и показываете карточку с цифрой для каждого слога.

Примерно так же устроена и языковая модель: текст для нее — это не привычные слова, а последовательность чисел. Проще говоря, нейросеть не умеет читать слова.

Токены — это базовые единицы текста, которые нейросеть выделяет перед началом анализа. В качестве единицы измерения может выступать целое слово, его часть, отдельный символ или знак препинания. Каждому элементу присваивается специальный числовой идентификатор. Их и обрабатывает в дальнейшем нейросеть.

Библиотекарь вместо книг работает с карточками каталога. Так ему проще искать нужную информацию.

С нейросетями происходит примерно то же. Разбивая текст на части, модель может:

• быстрее анализировать запрос;
• находить закономерности в языке;
• учитывать контекст разговора;
• генерировать новые ответы.

Откуда берутся токены

Их не назначают вручную, а определяют с помощью специального алгоритма токенизации, анализирующего гигантские массивы текста и отбирающего наиболее частотные сочетания символов.

Самый распространенный метод — Byte Pair Encoding (BPE). Алгоритм начинает с букв и шаг за шагом «склеивает» те пары символов, которые чисто статистически чаще всего стоят рядом. Сначала получается «ст», потом «сто», потом «стол» — и так далее. В итоге формируется словарь из 30 000–100 000 символов, покрывающий большинство слов и их словоформ.

Разные компании используют собственные токенизаторы: 

• OpenAI применяет BPE,
• Anthropic (создатели Claude) — свой субсловный токенизатор,
• DeepSeek — адаптированную версию BPE с упором на многоязычные данные.

Сколько слов помещается в один токен

Универсального соотношения нет.

По данным OpenAI, для английского языка в среднем один токен соответствует примерно четырем символам или 0,75 слова.

Чтобы понять масштаб:

• короткая фраза может занимать 5–10 токенов;
• страница текста — несколько сотен;
• книга среднего объема — десятки или даже сотни тысяч.

Поэтому даже ограничение в 100 000 на практике означает возможность обработать довольно внушительный объем информации.

Нейросети считают токены, а мы — деньги. И если за использованием ИИ удобно следить через счетчики токенов, то за личными финансами — с помощью карты «Халва». Она позволяет получать кешбэк до 10%, оплачивать покупки частями и контролировать расходы в мобильном приложении. Так проще понимать, куда уходят средства, и планировать бюджет на будущее.

Почему русский «съедает» токены быстрее

Факт, важный для каждого, кто работает с нейросетями на русском языке: один токен в русском тексте покрывает значительно меньше информации, чем в английском.

Если для английского языка работает правило: 100 токенов ≈ 75 слов, то для русского соотношение другое. Те же 75 слов потребуют около 120–150. Русскоязычный текст расходует лимит в 1,5–2 раза быстрее.

Причина техническая: большинство современных моделей обучали преимущественно на англоязычных данных. Токенизатор «натренирован» на латинский алфавит и его частотные сочетания. Кириллица встречалась в обучающих данных реже, поэтому русские слова дробятся на большее число фрагментов. «Привет» — это 2 символа, а «Hello» — 1.

К тому же русский в принципе «длиннее» английского примерно на 9%.

Так что, если вы работаете с длинными русскими текстами через API и платите за единицы измерения, это обходится дороже, чем аналогичная работа с английским контентом. При одинаковом бюджете на русском вы получите в полтора раза меньше эффективной работы.

Почему токены так важны

У каждой нейросети есть так называемое контекстное окно — максимальное количество единиц измерения, которое модель может учитывать одновременно.

В этот лимит входят:

• системные инструкции;
• история переписки;
• текущий запрос пользователя;
• ответ самой модели.

Когда лимит исчерпывается, нейросеть начинает забывать старые сообщения или просит начать новый чат.

Именно поэтому длинные диалоги иногда становятся менее точными: часть раннего контекста просто перестает помещаться в доступное окно.

Сколько токенов в разных сервисах

Конкуренция между платформами идет в десятках и сотнях тысяч — и разрыв стремительно растет.

Токены в ChatGPT: как работают ограничения

Токены в ChatGPT ограничены контекстным окном в 400 000 токенов для флагманской серии GPT-5. Это примерно 400 страниц текста на английском или около 200–250 страниц на русском. Сервис ограничивает не количество сообщений, а общий объем текста, который модель может удерживать в памяти.

Каждый новый вопрос расходует символы. Причем учитывается не только сам запрос, но и предыдущая переписка.

Например, если вы ведете длинный рабочий проект в одном чате, через некоторое время часть ранних обсуждений перестанет учитываться. Поэтому для крупных задач часто рекомендуют создавать новые диалоги и периодически делать краткие выжимки из того, что уже обработали.

Сколько токенов в Claude Pro

По данным Anthropic, большинство современных моделей Claude в платных тарифах поддерживают контекстное окно до 500 000 токенов. Для отдельных сценариев в Claude Code доступны окна до 1 миллиона.

Для сравнения: 200 000 символов — это примерно несколько сотен страниц текста. Поэтому Claude считается одним из лидеров по работе с объемными документами.

Сколько токенов в «Дипсик»

Если в 2025 году модели DeepSeek-V3 и DeepSeek-R1 работали с окном в 128 000 токенов, то с выходом DeepSeek-V4-Pro и DeepSeek-V4-Flash в апреле 2026 года контекстное окно выросло до 1 миллиона.

В таком объеме помещается примерно 800 страниц текста на английском. Это рекордный показатель среди коммерчески доступных моделей на сегодняшний день.

Как экономить токены

Если вы часто работаете с ИИ, несколько приемов помогут использовать контекст эффективнее:

• формулируйте запросы кратко и конкретно;
• удаляйте лишние фрагменты текста из промптов;
• разбивайте большие документы на части;
• начинайте новый чат для новой задачи;
• периодически просите нейросеть сделать краткое резюме обсуждения.

Так вы сможете получить более точные ответы и избежать ситуации, когда важный контекст неожиданно исчезает.

Чем лучше вы представляете, как расходуются токены, тем проще создавать длинные диалоги, анализировать большие документы и получать качественные ответы от нейросети.

Список источников

1. OpenAI Help Center: What are tokens and how to count them? (дата обращения: 01.06.2026).
2. Claude API Docs: Token counting (дата обращения: 01.06.2026).
3. DeepSeek API Docs: Models & Pricing (дата обращения: 01.06.2026).