|
EN
登录
注册
BMTrain
大模型训练“发动机”。BMTrain进行高效的大模型预训练与微调。与DeepSpeed等框架相比,BMTrain训练模型成本可节省90%
GitHub
文档
分享
性能强大
对比流行框架,BMTrain表现惊人。
简易使用
贴合PyTorch使用习惯,上手门槛更低,仅需简单替换即可完成训练提速。
原始代码 替换后代码
支持模型
Encoder
bert-base-cased bert-base-uncased bert-large-cased bert-large-uncased bert-base-chinese bert-base-multilingual-cased
Decoder
CPM-1(large) GPT-2(base) GPT-2(medium) GPT-2(large) GPT-2(XL) GPT-J(6B)
Encoder-Decoder
CPM-2(large) T5-small T5-base T5-large T5(3B) T5(11B)