Python的计算集群(Python compute cluster)

2019-08-31 07:23发布

是否有可能使一个Python集群,通过写一个telnet服务器,然后远程登录-ING的命令和输出回往复? 有没有人得到了一个Python计算集群更好的主意吗? PS。 最好的Python 3.x中,如果有谁知道怎么样。

Answer 1:

Python的维基举办的一个非常全面的列表的Python集群计算库和工具 。 你可能会特别感兴趣并行的Python 。

编辑:有一个新的库,恕我直言,在集群特别好: execnet 。 这是小而简单。 它似乎有比,说少的错误,标准multiprocessing模块。



Answer 2:

你可以看到大部分的第三方封装为Python 3中列出这里 ; 与集群计算是mpi4py -其他大多数分布式计算工具,如烟火只是仍然Python的2,但MPI是集群分布式计算的主要标准,以及寻找到(我有使用mpi4py与Python 3没有直接经验,但,但道听途说,我相信这是一个很好的实现)。

主要的选择是Python的内置多 ,如果你有在接口尊重的MPI标准,但可能不会在Python中编码现有节点没有兴趣也大大加快了相当不错。

有一个在滚动自己(如阿特伍德说,不要重新发明轮子,除非你的目的只是为了更好地了解轮子! - ) - 没有真正的增值利用的固体,经测试,广泛的解决方案,已经测试之一,调试并代表你的优化 - !)



Answer 3:

看看这些

http://www.parallelpython.com/

http://pyro.sourceforge.net/

我都用了无一不是多方位的分布式计算
有关选项的详细列表,请参阅http://wiki.python.org/moin/ParallelProcessing

如果你想自动执行远程机器上的东西,更好的选择是远程登录SSH在http://pydsh.sourceforge.net/



Answer 4:

你想要什么样的东西呢? 你可能想看看Hadoop的 。 后端,举重是用Java做,但有一个Python接口,这样你就可以编写Python脚本创建和发送的输入,以及处理结果。



Answer 5:

如果你需要编写管理脚本,看看在ClusterShell Python库得,或/和其平行的外壳clush。 当处理节点还设置( 男子节点集 )这是非常有用。



Answer 6:

我认为IPython.parallel是要走的路。 我一直在使用它广泛用于在过去一年半的时间。 它可以让你尽可能多的工作节点,只要你想进行交互式工作。 如果您在AWS上, StarCluster是一个伟大的方式来获得IPython.parallel起来,与尽可能多的EC2节点快捷地完成工作,你能负担得起。 (它可以根据需要还可以自动安装的Hadoop和其他各种有用的工具。)有一些技巧来使用它。 (例如,你不想通过IPython.parallel接口本身发送大量的数据,更好的分发一个脚本,将拉下来的数据块上的每个单独的发动机)。但总体而言,我就发现是一个非常简单的方法来做到分布式处理(WAY比Hadoop的更好!)



Answer 7:

“有没有可能使一个Python集群”

是。

我爱的是/否的问题。 其他任何你想知道吗?

(请注意,Python 3中有一些第三方的库呢,所以你可能会想留下来与Python 2的时刻。)



文章来源: Python compute cluster