Simon Willison·· 10 天前AI 评分35
Simon Willison 发布 ttok 1.0,默认分词器改为 GPT-5/GPT-6
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认分词器从 GPT-4 切换至 GPT-5/GPT-6。改动依据来自 William Liu 的实验:GPT-5.5、5.6 Sol/Terra/Luna 与 6 Astra/Sol/Luna 共 7 个模型在 31 个测试样本上均输出 44,794 tokens。OpenAI 尚未官方确认 GPT-6 与 GPT-5 系列使用同一分词器。
来源:Simon Willison · simonwillison.net