核心技术简介

ZeRO-3 优化

../_images/ZeRO3.png

通信运算重叠

../_images/communication_fig.png

CPU Offload

../_images/cpu.png