FleetX
feature/era
分布式训练概述
1. 整体介绍与内容概览
如何设计分布式训练的搭建方案
1. 公有云配置
2. K8S部署
3. 安装Paddle与FleetX
前置基础配置
1. 优化算法
配置分布式训练
Collective训练
ParameterServer训练
1. 快速开始
2. 性能基准
3. 设计思想综述
4. 性能优化
4.1. 设计思想综述
4.2. 计算图拆分与优化
4.3. 梯度融合策略与优化
4.4. 通信设计
4.5. 存储设计
4.6. 数据读取
4.7. Geo-SGD
5. 增量训练及流式训练
6. 分布式指标
7. 分布式预估
8. 二次开发
9. 整体示例
高阶内容
1. 大规模蒸馏
2. 自监督训练
3. 弹性训练
4. FleetX扩展工具包
分布式训练FAQ
1. 用户FAQ
FleetX
»
ParameterServer训练
»
4. 性能优化
»
4.4. 通信设计
Edit on GitHub
4.4. 通信设计
¶
TBA