热点事件历史事件
ttok 1.0 默认分词器改为 GPT-5/GPT-6
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
2026 年 10 月 9 日，Simon Willison 发布 ttok 1.0，将该工具的默认分词器从 GPT-4 切换至 GPT-5/GPT-6。此次调整的依据来自 William Liu 的实验：他测试了 GPT-5.5、GPT-5.6 的 Sol/Terra/Luna 三个变体，以及 GPT-6 的 Astra/Sol/Luna 三个变体，共 7 个模型，在 31 个测试样本上均输出了 44,794 tokens，因此推断这些模型可能共享同一分词器。基于该实验结果，Simon Willison 将 ttok 的默认分词器更新为 GPT-5/GPT-6。需要指出的是，截至目前 OpenAI 并未官方确认 GPT-6 与 GPT-5 系列使用同一分词器，因此相关变更仍基于第三方实验而非厂商声明。
AI 根据报道生成 · 10 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon WillisonSimon Willison 发布 ttok 1.0，默认分词器改为 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0，将默认分词器从 GPT-4 切换至 GPT-5/GPT-6。改动依据来自 William Liu 的实验：GPT-5.5、5.6 Sol/Terra/Luna 与 6 Astra/Sol/Luna 共 7 个模型在 31 个测试样本上均输出 44,794 tokens。OpenAI 尚未官方确认 GPT-6 与 GPT-5 系列使用同一分词器。