正式审定大模型场景下的token为词元，tokenization为词元化

经国务院授权的全国科学技术名词审定委员会，在《计算机科学技术名词（第三版）》《语言学名词》中，正式审定NLP/大模型场景下的token为词元，tokenization为词元化，成为国内科研、教学、出版的强制规范。 复旦大学计算机学院邱锡鹏教授最早将NLP场景下的token译为词元。