BMTrain 文档

BMTrain 是一个高效的大模型训练工具包，可以用于训练数百亿参数的大模型。BMTrain 可以在分布式训练模型的同时，能够保持代码的简洁性。

---

Getting Started

• 安装
  • 安装方法
  • 编译选项
  • 推荐配置
  • 常见问题
• 快速入门
  • Step 1: 启用 BMTrain
  • Step 2: 使用 ZeRO-3 优化
  • Step 3: 通信优化
  • Step 4: 运行分布式训练代码
  • 其它说明
• 核心技术简介
  • ZeRO-3 优化
  • 通信运算重叠
  • CPU Offload

Package Reference

• bmtrain
  • Initialization
  • Distributed Parameters and Modules
  • Methods for Parameters
  • Utilities
• bmtrain.nccl
• bmtrain.inspect
• bmtrain.lr_scheduler
  • LR Schedulers

API

• 索引

• 模块索引

• 搜索页面