|
EN
登录
注册
CPM2
CPM2是一个拥有110亿参数的通用中英文双语预训练语言模型,基于encoder-decoder架构。CPM2具有7种通用语言能力。
2021年9月CPM2推出升级版本CPM2.1,CPM2.1新增了生成式的预训练任务并基于持续学习范式进行训练,生成能力进行了大幅度强化。
GitHub
使用协议
核心技术
知识继承
使用已有模型知识加速训练
提示微调
基于提示进行微调
减少微调参数,更好激发模型性能
MoE技术
基于MoE技术扩展模型参数
支持千亿级参数模型训练
模型性能
模型具有较强的通用语言能力
Performance of mT5 and CPM-2 with fine-tuning. We use the first 6 datasets, which makes up the lite version of CUGE, to compute the overall CUGE scores (%). The numbers in brackets are the CUEG scores (%) for each dataset.
应用场景
阅读理解
文本摘要
文本生成
文本分类
实例
开发中,敬请期待
文本填空
__ 输入双下划线来代表您需要填空的内容