(资料图片仅供参考)
胖其拉这图上没找到中文的费用是英文的两倍啊?是哪句话,烦请指出。
哦。找到了。在最下面的图表里。有几点需要说明。
1,原文的意思是chatgpt按语句的token收费。这里谈的是费用,不是训练成本。可以说是用户使用chatgpt的使用成本。
2,这里讲的是chatgpt如何计算不同语言的token。英语很简单,一个单词就是一个token。其它语言特别是中文涉及断句,不能按一个字符一个token。具体怎么算,完全是chatgpt决定的。不同语言的算法肯定在公平性上有差异。比如文章中的极端例子,缅甸语。那种分法显然是不公平的。相当于中文一个笔划算一个token了。
3文中对中文的token划分显然也是不公平的。如果按一个词一个token,循环,系统,的,主要,器官,是,心脏,心脏,负责,输送,血液。总共11个token。比英语还少(主要是因为中文省略了定冠词the)。
4,简言之,这个海报的意思是:chatGPT你划英语token还像样,其他语言你就瞎七八分来算钱你好意思吗?
大家不必惊慌不必愤怒。就是个学界论文灌水而已。