机读格式显示(MARC)
- 000 00850nam0 2200145 450
- 010 __ |a 978-7-121-45814-9 |d CNY139.00
- 200 1_ |a 分布式机器学习 |A fen bu shi ji qi xue xi |b 专著 |e 系统、工程与实战 |f 柳浩著
- 210 __ |a 北京 |c 电子工业出版社 |d 2023.07
- 215 __ |a 14,575页 |c 图 |d 26cm
- 330 __ |a 本书共分为5篇，第1篇是分布式基础，首先介绍了分布式机器学习的概念、基础设施，以及机器学习并行化技术、框架和软件系统，然后对集合通信和参数服务器PS-Lite进行了介绍；第2篇是数据并行，以PyTorch和Horovod为主对数据并行进行分析；第3篇是流水线并行，还通过引入额外的流水线来提高效率，以GPipe/PyTorch/PipeDream为例进行分析；第4篇是模型并行，首先对NVIDIAMegatron进行分析，讲解如何进行层内模型并行，然后讲解PyTorch如何支持模型并行，最后介绍分布式优化器；第5篇是TensorFlow分布式。