首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    分布式机器学习的故事

    MPICH2和Apache Hadoop分别是这两个框架的实现(implementations)。后面还会提到BSP框架,它的一个著名实现是Google Pregel。...这里,MPICH2和Hadoop都是很大的系统——除了实现框架(允许程序员方便的编程),还实现了资源管理和分配,以及资源调度的功能。...当时一位叫白宏杰的工程师将MPICH2移植到了Google的分布式操作系统上。具体的说,是重新实现MPI里的Send, Recv等函数,调用分布式操作系统里基于HTTP RPC的通信API。...这些长年累月的优化,让MPICH2这样的系统的执行效率(runtime efficiency)非常出色。...的YARN都比MPICH2做得更好,考虑更全面,效能更高。 LDA和MapReduce 因为MPI在可扩展性上的限制, 我们可以大致理解为什么Google的并行计算架构上没有实现经典的MPI。

    1.1K60

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券