LOADING加载中
腾讯混元开源Hy4flash系列:总参数224B,支持百万token上下文
腾讯混元宣布开源Hy4flash系列,包括标准版、FP8量化版及供研究者从零训练的Base版。模型采用稀疏架构,总参数量224B,包含64B Engram参数,每个token仅激活12B参数,支持多模态输入及100万token上下文。开发者可在GitHub、Hugging Face、ModelScope、GitCode四个平台下载权重,相关协议公开,并提供便于本地部署的GGUF格式。该模型API价格较Hy4大幅下调,已接入腾讯云TokenHub、元宝、企业微信、QQ、ima、Marvis等产品。本次开源涵盖标准、量化和基础模型,分别提供不同版本选择及训练用途支持。腾讯同时预告,更大规模的Hy4模型也将开源。
评论
0