找回密码
 立即注册

扫一扫,登录网站

首页 区块链生态 查看内容
  • 7953
  • 0
  • 分享到

比Python快68000倍!Mojo正式发布,网友:Python生态系统最重要的升级来了

2023-9-8 13:42

来源: AI前线 作者: 编译 | 凌敏、核子可乐

Mojo为何能比 Python 快 68000 倍?


Mojo 是 Python 家族的一员,但有着远大的目标——想要与 Python 生态系统完全兼容,因此开发人员可以继续使用自己熟悉的工具。Mojo 旨在通过保留 Python 的动态特性,同时为系统编程添加新原语,逐渐成为 Python 的超集。

LLVM 和 Swift 编程语言的联合创始人、Modular 公司 CEO Chris Lattner 此前在 Hacker News 上表示:“我们的目标不是让动态 Python 神奇地快速。虽然我们在动态代码方面要快得多(因为我们有编译器而不是解释器),但这并不是依靠‘足够智能’的编译器来消除动态性”。

据介绍,Mojo 最初的目标是比 Python 快 35000 倍,近日该团队表示,Mojo 将动态与静态语言的优点结合起来,一举将性能提升达 Python 的 68000 倍。

Mojo 团队在系列博文中介绍了 Mojo 是如何比 Python 快 68000 倍的:在第一篇博文中,团队尝试将代码移植为 Mojo,从而获得了约 90 倍的性能提升;在第二篇博文中,团队对代码进行矢量化与并行化,又将性能提升了 2.6 万倍;在第三篇博文中,团队展示如何通过新的性能技术全面超越 3.5 万倍的程序加速目标。

具体来说,Mojo 团队首先用简单端口将 Python 程序提速 89 倍;之后通过针对性优化和利用现代 CPU 的算力潜能,又将速度提升 2.6 万倍。Mojo 团队提出的并行策略是,每个 CPU 核心都应负责处理同等数量的代码行。

然而,只有当跨行工作负载相同时,对负载进行拆分以保证各个线程 worker 获取其中一组代码行才具有可行性;但曼德勃罗集并不是这样。以这种方式进行拆分会引发负载不均衡问题,这是因为曼德勃罗集中的一个像素可能在单次迭代后完成,而另一像素则可能经历 MAX_ITERS 多次迭代。也就是说,各个行的迭代次数并不相等,会导致某些率先完成计算的线程处于闲置状态,不利于全面挖掘性能潜力。

为了演示这种不均衡问题,Mojo 团队绘制了每个行在曼德勃罗集中执行的迭代总数。如下图所示,某些行在转义之前只需要不到 1000 次迭代,但其他一些行则可能需要超 80 万次迭代。

各个行所执行的迭代总数(以对数坐标系显示)并非均匀分布。某些行(例如图像中央部分的行)可能需要 80 多万次迭代,而两端的行则只需要 800 次左右迭代。

如果硬性为各个线程分配一定数量的连续行,就会发生全体线程都在等待,直至中间某组代码行(被分配给某个核心)完成运行的情况。解决这个问题的办法有很多,但最简单的当然是过度拆分。也就是说,各个线程所获得的不是一组平均分配的行,而是建立起一个工作负载池,再为每个行创建相应的工作项。各线程则以循环方式不断从线程池中拾取这些工作项。

好消息是 Mojo 拥有一个性能出色的并发运行时,所以我们用不着自行创建线程池或者设计循环拾取 / 执行。Mojo 的运行时提供不少高级功能,可以充分利用这样的多核心系统。

回顾整个旅程,Mojo 团队先是对 Python 代码实现了 2.6 万倍性能提升,之后又使用超额订阅达成提速 68847 倍的最终成绩,并最终实现了 6.8 万倍的 Python 提速效果;而在应用超额订阅之后,性能在此前并行版本的基础上又提高了 1 倍。

版权申明:本内容来自于互联网,属第三方汇集推荐平台。本文的版权归原作者所有,文章言论不代表链门户的观点,链门户不承担任何法律责任。如有侵权请联系QQ:3341927519进行反馈。
相关新闻
发表评论

请先 注册/登录 后参与评论

    回顶部