OpenBMB Blog
ALL
Technologies
News
Research
Activities
祝贺!OpenBMB 核心成员入选 CCF 优博激励计划
1 月 4 日,中国计算机学会(CCF)公布了2022年“CCF优秀博士学位论文激励计划”入选名单,OpenBMB 核心成员韩旭的博士论文《开放域文本的结构化知识获取》入选。 2022年“CCF优秀博士学位论文激励计划”入选名单 韩旭介绍 韩旭,OpenBMB 主要发起人之一
2023年01月19 09:02
登顶 ZeroCLUE!CPM-Bee 凭什么这样强?
2022年10月13日,我们开启了CPM-Live第二期模型CPM-Bee的训练。在CPM-Ant的基础上,CPM-Bee考虑了任务模式增强、多语言融合、复杂结构处理等新特性。CPM-Bee训练即将完成,成果到底如何?我们决定将CPM-Bee“拉出来遛遛”。 ZeroCLUE是中文零样本学习权威榜
2023年01月17 13:09
小工具撬动大模型,『模力表格』惊喜问世
" CPM-Live CPM-Live CPM-Live 模力表格惊喜问世 🔔铛铛铛! CPM-Bee 训练即将圆满收官! 「模力表格」问世啦! 模力表格 是一款 大模型驱动的表格效率工具,在保留表格工具原有全部功能基础上,通过大模型实现 文本内容的批量化语义“计算”,进一步提升了
2023年01月13 16:37
OpenBMB 年 度 大 事 记
搭建BMSystem 训练 微调 推理 一网打尽 — 我们逐步搭建大模型训练能力体系,推出大模型全流程加速工具包,包括大模型训练、微调、推理三大套件。 训练套件包括“原料”收集器 BMData、训练“发动机” BMTrain、“瘦身”工具库 BMCook;微调套件包括提示学习利器 Open
2023年01月05 11:19
CPM-Bee启程!第二封大模型直播训练邀请函,请查收~
CPM-Live 第二期训练启动 上次还是初夏,我们发送第一封直播邀请函,埋下希望的种子,而今转眼就到了深秋—— 收获的季节 。 在这短短数月,OpenBMB 与广大关注者见证了彼此的耕耘和汗水。OpenBMB 团队耗时 68 天、花费 40 余万人民币完成了百亿大模型 CPM-Ant 的训练
2022年10月14 13:21
CPM-Ant模型介绍
CPM-Ant是一个开源的中文预训练语言模型,拥有10B参数。它是CPM-Live直播训练过程中的第一个里程碑。训练过程是低成本和环境友好的。基于增量微调(delta tuning)方法,CPM-Ant在CUGE基准测试中取得了优异的结果。除了完整的模型,我们还提供各种压缩版本以适应不同的硬件配置。
2022年09月16 11:41
突破显存墙,BMInf现已支持GLM-130B
8 月 4 日,清华大学联合智谱 AI 发布了千亿双语大模型 GLM-130B,其在 LAMBADA 数据集上性能超越了 GPT3、OPT、BLOOM 等千亿大模型,在零样本场景上性能超越了 ERNIE TITAN 3.0,受到国内外广
2022年09月08 13:58
总结与投票 | 大模型CPM-Ant直播训练的这两个月
总结与展望经过了 68 天的 “自学”,CPM-Ant(CPM-Live 一期模型)终于训练完成。训练过程整体平稳,但也有一些小波折。和现有大模型 BLOOM,OPT 等相比,CPM-Live 系列大模型 倡导 全流程开源共建,除将开放全部参数外,也将授权用户 可商业化 的使用协议。在进行下一期模型
2022年08月15 16:39
OpenBMB x 清华NLP:20小时大模型公开课带你从入门到精通
近年来,人工智能领域最火热的话题,莫过于大模型。然而,大模型训练所需要的庞大算力与海量数据,却让大部分爱好者望而却步。那么,我们是否只能对大模型技术保持观望呢?近来,越来越多开源模型、技术和工具的出现让广大研究者都能够有机会了解与使用大模型,并进一步探寻大模型的内部机理。比如 OpenBMB 推出的
2022年07月22 10:44
不止于ZeRO:BMTrain技术原理浅析
前期我们发起了 CPM-Live 开源大模型直播训练,与现有的大模型训练使用百余张显卡相比,我们实现了 8 张 A100 显卡 训练百亿大模型。这优异效果的背后基于的是 大模型高效训练工具 BMTrain 和 模型仓库 ModelCenter。与现有框架相比,BMTrain 能够实现大模型的低资源、
2022年06月20 18:17