FleetX
fix/index
分布式训练概述
整体介绍与内容概览
分布式训练搭建方案
公有云配置
前置基础配置
优化算法
配置分布式训练
Collective训练
1. 快速开始
2. 性能基准
3. 设计综述
4. 性能优化
5. 大模型训练优化
5.1. Forward Recomputation Backpropagation
5.2. Gradient Merge
5.3. 使用LARS / LAMB 优化分布式超大batch 训练
5.4. 飞桨大规模分类库使用介绍
5.5. 使用Sharding 训练超大模型
5.6. 流水线并行
5.7. 飞桨4D混合并行训练使用指南
5.8. GPT模型训练
5.9. MoE模型训练
6. 二次开发
7. 整体示例
ParameterServer训练
高阶内容
服务型弹性蒸馏训练
自监督训练
弹性训练
FleetX扩展工具包
分布式训练FAQ
FAQ
FleetX
»
Collective训练
»
5. 大模型训练优化
»
5.8. GPT模型训练
Edit on GitHub
5.8. GPT模型训练
¶
请参考
示例代码
获取如何使用飞桨训练GPT模型。