我正在处理需要在多个EC2实例中拆分计算能力的问题。
我正在考虑矩阵乘法程序,例如,具有数千行和列的巨大矩阵需要GB的ram和计算能力。
我有亚马逊的EC2实例(免费合格)与大约。800 MB内存我期待着在多个EC2实例之间进行计算分发工作。
我不确定,但弹性负载均衡器是与网络流量负载平衡器,请纠正,如果我是错的。
我发现python Dispy模块用于计算、分发和并行处理。
有谁能指点一下是否有其他方法来实现它?
发布于 2018-03-11 21:27:30
首先,您需要查看计算是否可以并行化。有些事情必然依赖于先前的迭代,比如计算第n个fib数的方法3:https://www.geeksforgeeks.org/program-for-nth-fibonacci-number/。
在这种情况下,尝试使用额外的计算机是没有意义的。
如果您可以并行化该任务,请查看是否可以使用Map https://en.wikipedia.org/wiki/MapReduce。
AWS有用于作业的工具- https://aws.amazon.com/emr/。
https://stackoverflow.com/questions/49144786
复制相似问题