谷歌发布全球首个产品级移动端分布式机器学习系统，移动端算力被充分调动。今年2月谷歌宣布实现了全球首个产品级的超大规模移动端分布式机器学习系统，目前已经能够在数千万部手机上运行。谷歌基于TensorFlow构建了全球首个产品级可扩展的大规模移动端联合学习系统，目前已在数千万台手机上运行。这些手机能协同学习一个共享模型，所有的训练数据都留在设备端，确保了个人数据安全，手机端智能应用也能更快更低能耗更新。研究人员表示，该系统有望在几十亿部手机上运行。联合学习能产生更智能的模型，更低的延时和更少的功耗，同时确保用户的隐私。Google开放的联合学习算法，使得移动端分布式机器学习成为现实；AI算法分布在大规模的移动端，协同输出一个学习模型，而不必上次用户本地数据。Google的研究团队克服许多算法和研究挑战，使联邦学习成为可能。诸如随机梯度下降（SGD）之类的优化算法（通常在许多机器学习系统中使用）在大型数据集上运行。在移动端特定环境中，数据以高度异构的方式分布在数百万个移动和蜂窝设备上，这些设备具有明显更高延迟，更低吞吐量的连接，并且只能间歇性地用于训练。这一切都依赖于联合学习（FL）方法，联合学习是一种分布式机器学习方法，可以对保存在移动电话等设备上的大量分散数据进行训练，是“将代码引入数据，而不是将数据引入代码”的更加通用化的一个实现，并解决了关于隐私、所有权和数据位置等基本问题。
根据谷歌官博介绍，用户的设备会下载一个当前模型，这个模型会从手机数据中学习不断得到改善，然后将变化总结为一个小的关键更新。只有这个关键更新会以加密的方式被传到云端，之后这一更新会在云端迅速被其他用户对共享模型提交的更新平均化（averaged）。简单说，所有的训练数据都留在用户的设备上，而且上传到云端的个别更新也不会存储到云端。谷歌研究人员表示，新方法将机器学习与云端存储数据的需求脱钩，让模型更聪明、延迟更低、更节能，而且保护用户隐私不受威胁。这一方法还有一个间接好处：除了实现共享模型的更新，用户还能立刻使用改善后的模型，根据个人使用手机方式的不同，得到的体验也会不同。
联合学习（FL，Federated Learning）系统已经在非常流行的谷歌键盘Android上的Gboard中进行测试。每当Gboard显示建议的查询时，移动设备本地存储有关当前上下文的信息以及您是否使用了该建议。联合学习处理设备上的历史记录，以建议改进Gboard的查询建议模型的下一次迭代。诸多移动设备的学习模型将通过一种联合学习算法聚合成为一个更简洁的模型，最后只需要将这个模型上传至云端即可。
要将这样的系统部署到数百万运行Gboard的异构电话，需要相当先进的技术堆栈。 设备上培训使用TensorFlow的最小化版本。上传速度通常比下载速度慢得多，研究人员还开发了一种新方法，通过使用随机旋转和量化压缩更新，将上传通信成本降低到100倍。
复杂的
人工智能算法训练与计算经常涉及上亿的参数，这些参数的计算需要大量的计算能力，目前在深度学习领域，GPU计算已经成为主流。使用GPU运算的优势如下：目前，主流的GPU具有强大的计算能力和内存带宽，同时GPU的thousands of cores的并行计算能力也是一大优势。只要数据足够小，就适合在一台GPU性能优于其它架构的机器上运行，因为它不具备处理网络开销问题的功能，可以充分利用GPU的优势为数学运算。由于所有的数据集足够小，可以适应内存，网络成为了分布式实现的瓶颈，而移动端本地GPU没有这样的瓶颈，得到了两全其美。
可以预期，未来的IT基础设施将向“两端走”，一方面是超大规模IDC，用作集中式数据处理、搜索和机器学习，而移动设备和
物联网智能设备未来将越来越依赖GPU的运算能力，硬件中的GPU算力将会得到进一步提升。
版权申明：本内容来自于互联网，属第三方汇集推荐平台。本文的版权归原作者所有，文章言论不代表链门户的观点，链门户不承担任何法律责任。如有侵权请联系QQ：3341927519进行反馈。
