正式审定大模型场景下的token为词元,tokenization为词元化

经国务院授权的全国科学技术名词审定委员会,在《计算机科学技术名词(第三版)》《语言学名词》中,正式审定NLP/大模型场景下的token为词元,tokenization为词元化,成为国内科研、教学、出版的强制规范。
复旦大学计算机学院邱锡鹏教授最早将NLP场景下的token译为词元。

上一篇:

下一篇:

发表回复

登录后才能评论