10 октября 2026 г.
Утилита ttok 1.0 сменила стандартный токенизатор на семейство GPT-5
В ttok 1.0 обновлён стандартный токенизатор для подсчёта объёма текстов. Теперь утилита ориентируется на семейство GPT-5, однако совместимость с GPT-6 пока не подтверждена официально.
Автор утилиты командной строки ttok выпустил версию 1.0 и изменил стандартный механизм подсчёта токенов. Вместо токенизатора GPT-4 программа теперь по умолчанию ориентируется на семейство GPT-5. Обновление влияет на результаты, которые пользователь получает без явного выбора модели.
ttok позволяет передавать текст или файл через командную строку и оценивать количество токенов. Такой подсчёт помогает заранее проверить, поместится ли учебный текст, подборка источников или черновик отчёта в контекстное окно модели.
Почему изменился результат подсчёта
Переход на новую версию произошёл после обнаружения того, что ttok 0.4 продолжала автоматически выбирать токенизатор GPT-4. Автор посчитал такое поведение неподходящим для актуальных моделей и сделал смену настройки основанием для выпуска 1.0.
| Параметр | ttok 1.0 |
|---|---|
| Стандартный токенизатор | Семейство GPT-5 |
| Предыдущее поведение | Токенизатор GPT-4 |
| Работа с GPT-6 | Предполагаемая совместимость без официального подтверждения |
| Способ использования | Передача текста или файла через командную строку |
После обновления один и тот же документ может получить другую оценку объёма, если ранее пользователь полагался на стандартные настройки. Это нужно учитывать при повторном подсчёте курсовой работы, отчёта или набора заметок.
Совместимость с GPT-6 остаётся предварительной
OpenAI не подтверждала, что модели GPT-6 используют тот же токенизатор, что и семейство GPT-5. Автор ttok ссылается на отдельный эксперимент: семь протестированных моделей показали одинаковый результат в 44 794 токена и совпали на всех 31 проверочном примере.
Этот тест указывает на вероятное совпадение, но не заменяет официальную спецификацию. Пользователям, которым нужен точный расчёт стоимости или предельного размера запроса, стоит явно выбирать известный токенизатор и сверять итоговый объём с показателями конкретного API. После обновления ttok также полезно повторно проверить несколько типичных документов, прежде чем использовать новые значения в рабочих расчётах.
