AI前沿微软和谷歌分别开源分布式深度学习框架，各自厉害在哪？ 微软和谷歌一直在积极研究用于训练深度神经网络的新框架，并且在最近将各自的成果开源——微软的PipeDream和谷歌的GPipe。 原则上看，他们都遵循了类似的原则来训练深度学习模型。这两个项目已在各自的研究论文（PipeDream，GP... AI君 4年前 (2020-11-09) 43℃ 0喜欢
AI前沿PyTorch如何加速数据并行训练？分布式秘籍大揭秘 在芯片性能提升有限的今天，分布式训练成为了应对超大规模数据集和模型的主要方法。本文将向你介绍流行深度学习框架 PyTorch 最新版本（ v1.5）的分布式数据并行包的设计、实现和评估。 论文地址：https://arxiv.org... AI君 4年前 (2020-07-13) 54℃ 0喜欢
Erlang教程Erlang 分布式编程 Erlang分布式编程 下面我们进一步对 ping pong 示例程序进行改进。 这一次，我们要让 “ping”、“pong” 进程分别位于不同的计算机上。要想让这个程序工作，你首先的搭建一下分布式的系统环境。分布式 Erlang 系统的... AI君 5年前 (2020-03-27) 57℃ 0喜欢
Redis教程Redis分布式锁正确的实现方法 分布式锁一般有数据库乐观锁、基于Redis的分布式锁以及基于ZooKeeper的分布式锁三种实现方式，而本文将为大家带来的就是第二种基于Redis的分布式锁正确的实现方法，希望对大家会有所帮助。 可靠性 首先，想要保证分布式锁可以使用，... AI君 5年前 (2020-03-04) 63℃ 0喜欢