10 октября 2026 г.

Утилита ttok 1.0 сменила стандартный токенизатор на семейство GPT-5

В ttok 1.0 обновлён стандартный токенизатор для подсчёта объёма текстов. Теперь утилита ориентируется на семейство GPT-5, однако совместимость с GPT-6 пока не подтверждена официально.

Автор утилиты командной строки ttok выпустил версию 1.0 и изменил стандартный механизм подсчёта токенов. Вместо токенизатора GPT-4 программа теперь по умолчанию ориентируется на семейство GPT-5. Обновление влияет на результаты, которые пользователь получает без явного выбора модели.

ttok позволяет передавать текст или файл через командную строку и оценивать количество токенов. Такой подсчёт помогает заранее проверить, поместится ли учебный текст, подборка источников или черновик отчёта в контекстное окно модели.

Почему изменился результат подсчёта

Переход на новую версию произошёл после обнаружения того, что ttok 0.4 продолжала автоматически выбирать токенизатор GPT-4. Автор посчитал такое поведение неподходящим для актуальных моделей и сделал смену настройки основанием для выпуска 1.0.

Параметрttok 1.0
Стандартный токенизаторСемейство GPT-5
Предыдущее поведениеТокенизатор GPT-4
Работа с GPT-6Предполагаемая совместимость без официального подтверждения
Способ использованияПередача текста или файла через командную строку

После обновления один и тот же документ может получить другую оценку объёма, если ранее пользователь полагался на стандартные настройки. Это нужно учитывать при повторном подсчёте курсовой работы, отчёта или набора заметок.

Совместимость с GPT-6 остаётся предварительной

OpenAI не подтверждала, что модели GPT-6 используют тот же токенизатор, что и семейство GPT-5. Автор ttok ссылается на отдельный эксперимент: семь протестированных моделей показали одинаковый результат в 44 794 токена и совпали на всех 31 проверочном примере.

Этот тест указывает на вероятное совпадение, но не заменяет официальную спецификацию. Пользователям, которым нужен точный расчёт стоимости или предельного размера запроса, стоит явно выбирать известный токенизатор и сверять итоговый объём с показателями конкретного API. После обновления ttok также полезно повторно проверить несколько типичных документов, прежде чем использовать новые значения в рабочих расчётах.

Читайте также

MIT представил систему, которая исправляет ошибки робота в памятиНовости

MIT представил систему, которая исправляет ошибки робота в памяти

UQ-DAAAM помогает роботу находить ненадёжные описания объектов, выбирать дополнительные ракурсы и обновлять память без полного повторного анализа окружающей среды.

2 мин.Читать новость
Учёные Сеченовского Университета нашли способ переключать макрофаги в режим восстановления тканейНовости

Учёные Сеченовского Университета нашли способ переключать макрофаги в режим восстановления тканей

Исследователи Сеченовского Университета изучили, как вещества мезенхимных стромальных клеток влияют на воспаление и восстановление тканей. Наиболее выраженный эффект показала среда после 72 часов культивирования трёхмерных клеточных сфероидов.

2 мин.Читать новость
Россия: ФИПИ представил проекты КИМ ОГЭ 2027 годаНовости

Россия: ФИПИ представил проекты КИМ ОГЭ 2027 года

ФИПИ разместил проекты кодификаторов, спецификаций и демонстрационных вариантов ОГЭ 2027 года по 14 предметам. Предложения принимают до 30 сентября 2026 года.

2 мин.Читать новость
Если не защитил диплом: сроки пересдачи и порядок действийПолезные материалы

Если не защитил диплом: сроки пересдачи и порядок действий

Разбираем, когда назначают повторную защиту диплома в российском вузе, чем она отличается от переноса из-за неявки и какие документы нужно запросить.

20 мин.Читать статью
Автор студенческих работ: вакансии и работа с научными публикациямиПолезные материалы

Автор студенческих работ: вакансии и работа с научными публикациями

Запрос «автор студенческих работ вакансии» может привести к задачам по научным статьям. Разбираем обязанности редактора, требования журналов, оплату, подачу рукописи и работу с замечаниями.

21 мин.Читать статью
Нормоконтроль диплома купить: как заказать проверку оформления ВКРПолезные материалы

Нормоконтроль диплома купить: как заказать проверку оформления ВКР

Разбираем состав нормоконтроля ВКР, требования к исходным файлам, правила технического задания, критерии выбора исполнителя и порядок приемки исправленного документа.

21 мин.Читать статью