跳到正文
原文
Simon Willison·· 10 天前AI 评分35

Simon Willison 发布 ttok 1.0,默认分词器改为 GPT-5/GPT-6

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认分词器从 GPT-4 切换至 GPT-5/GPT-6。改动依据来自 William Liu 的实验:GPT-5.5、5.6 Sol/Terra/Luna 与 6 Astra/Sol/Luna 共 7 个模型在 31 个测试样本上均输出 44,794 tokens。OpenAI 尚未官方确认 GPT-6 与 GPT-5 系列使用同一分词器。

来源:Simon Willison · simonwillison.net