Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >分布式计算?

分布式计算?

提问于 2017-11-29 02:56:34
回答 1关注 0查看 423

回答 1

心愿

发布于 2017-11-29 03:05:04

分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。

定义

分布式计算

分布式计算是一门计算机科学,主要研究分布式系统。一个分布式系统包括若干通过网络互联的计算机。这些计算机互相配合以完成一个共同的目标(我们将这个共同的目标称为“项目”)。具体的过程是:将需要进行大量计算的项目数据分割成小块,由多台计算机分别计算,再上传运算结果后统一合并得出数据结论。在分布式系统上运行的计算机程序称为分布式计算程序;分布式编程就是编写上述程序的过程。

和开发者交流更多问题细节吧,去 写回答
相关文章
分布式计算(1)
网格计算强调资源共享,使用者同时也是资源共享者,用于计算集中性服务(不便扩展 )。云计算的服务提供者少数而集中,资源专有,便于自动化扩展(其中对等计算更便于扩展,即每个节点拥有对等的服务,可以互相使用数据),使用者无需贡献资源。
gojam
2019/09/26
1.1K0
从分布式计算到分布式训练
对计算机来讲,所谓的计算,不过是将存储在各个地方的数据通过数据总线进行传输,然后经过算术逻辑单元执行一系列预设好的规则,最终再将输出写入到某个位置。 在计算能力有限、存储成本偏高的情况下,就需要利用好
ThoughtWorks
2018/04/17
1.3K0
从分布式计算到分布式训练
分布式计算平台:Dryad
微软正在研究开发的允许编程人员利用计算机集群(Cluster)或者数据中心运行数据并行处理程序的一个体系架构Dryad, Dryad是微软对应于Google的MapReduce技术。其体系结构图如下: 计算机集群的各个计算机之上是Cluster Service,用于提供集群内的计算机的最基本的管理。在Cluster Service的基础上可以构建分布式文件系统,使得数据的访问对上面的应用程序是半透明的。Dryad构建在Cluster Service和分布式文件系统之上。Dryad可以处理任务的创建和管理、资
张善友
2018/01/31
1.4K0
分布式计算Hadoop简介
Hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop框架中最核心设计就是:HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。
猿人谷
2018/01/17
1.6K0
分布式计算Hadoop简介
分布式计算框架MapReduce
MapReduce源自Google的MapReduce论文,论文发表于2004年12月。Hadoop MapReduce可以说是Google MapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理,并且MapReduce也易于开发,因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高,可以运行在廉价的机器上。MapReduce也有缺点,它最主要的缺点就是无法完成实时流式计算,只能离线处理。
端碗吹水
2020/09/23
1.8K0
分布式计算框架MapReduce
【翻译】分布式计算谬误
分布式计算的谬误是L Peter Deutsch 和太阳微系统公司的其他人提出的一组断言,描述了分布式应用程序新手总是做出的错误假设。
顾宇
2022/04/24
6090
分布式计算模式之Actor,助你彻底搞定分布式计算技术
我在前两篇文章中,带你一起学习了 MapReduce 和 Stream 计算模式,(分布式计算技术MapReduce 详细解读,分布式计算技术之流计算Stream,打通实时数据处理)相信你对批处理和流计算也有了一定的了解。虽然这两种计算模式对数据的处理方式不同,但都是以特定数据类型(分别对应静态数据和动态数据)作为计算维度。
架构师修炼
2020/07/20
2.4K0
分布式计算模式之Actor,助你彻底搞定分布式计算技术
分布式存储和分布式计算,这么好懂!
Google的文件系统GFS是一个典型的分布式文件系统,也是一个分布式存储的具体实现方式。日常的工作和生活中使用的网盘也是一个典型的分布式文件系统。
博文视点Broadview
2023/09/29
1.4K0
分布式存储和分布式计算,这么好懂!
《Python分布式计算》第1章 并行和分布式计算介绍 (Distributed Computing with Python)并行计算分布式计算共享式内存vs分布式内存阿姆达尔定律混合范式总结
本书示例代码适用于Python 3.5及以上。 ---- 当代第一台数字计算机诞生于上世纪30年代末40年代初(Konrad Zuse 1936年的Z1存在争议),也许比本书大多数读者都要早,比作者本人也要早。过去的七十年见证了计算机飞速地发展,计算机变得越来越快、越来越便宜,这在整个工业领域中是独一无二的。如今的手机,iPhone或是安卓,比20年前最快的电脑还要快。而且,计算机变得越来越小:过去的超级计算机能装下整间屋子,现在放在口袋里就行了。 这其中包括两个重要的发明。其一是主板上安装多块处理器(每个
SeanCheney
2018/04/24
1.6K0
《Python分布式计算》第1章 并行和分布式计算介绍 (Distributed Computing with Python)并行计算分布式计算共享式内存vs分布式内存阿姆达尔定律混合范式总结
python pandas 分布式计算 modin
python 分布式计算 # -*- coding:utf-8 -*- # /usr/bin/python ''' ------------------------------------------------- File Name : example Description : AIM: modin用法 Functions: 1. 2. Functions : Envs
AI拉呱
2021/01/14
7980
【MapReduce】分布式计算框架MapReduce
MapReduce起源是2004年10月Google发表了MapReduce论文,之后由Mike Cafarella在Nutch(爬虫项目)中实现了MapReduce的功能。它的设计初衷是解决搜索引擎中大规模网页数据的并行处理问题,之后成为Apache Hadoop的核心子项目。
十里桃花舞丶
2021/09/10
5920
Hadoop——MapReduce分布式计算框架
源自2014年12月的Google发表的MapReduce论文,它是一个编程模型,用于大数据量的计算,MapReduce是分布式计算框架。具有海量数据离线处理。对于大数据量的计算,通常采用的处理方式就是并行计算,MapReduce就是一种简化并行计算的编程模型,它使得并没有并行计算经验的开发人员也可以计算并行应用程序
羊羽shine
2019/08/05
7780
搭建分布式Spark计算平台
集群机器规划 三台机器的操作系统全部为CentOS7.2. 主机名称 IP地址 master 192.168.1.106 slave1 192.168.1.107 slave2 192.168.1.108 其中master为hadoop的namenode,slave1和slave2为hadoop的datananode。如果安装spark的话,master、slave1和slave2都是worker。 环境准备 设置IP地址 在我们进入安装之前,首先要把服务器的网络、安全和登录等配置设
吕海峰
2018/04/03
2.2K0
搭建分布式Spark计算平台
分布式科学计算与Docker
在科学计算领域,早些年的程序语言基本都是C/C++或者FORTRAN的天下,因为科学计算本身非常耗时,选择一门运行速度比较快的语言能大大的节约数据计算时间。但是在保证速度之后,语言的通用性和易用性又成了一大问题。 C语言虽然语法简单明了,执行速度快。但它的开发难度却是所有语言中最大的。面向对象的编程方法需要借助比如Structure这一类的特性来实现。并且也没有太多第三方库可供使用。所以在开发复杂系统的时候,需要很强的规划能力。 而C++或者其他语言,又因为学习成本高,往往只是少部分专业程序员能用到滚瓜烂熟
企鹅号小编
2018/01/16
1.4K0
分布式科学计算与Docker
python 分布式计算 远程调用
1、分布式计算:celery: https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/02_Using_Celery_to_distribute_tasks.html https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/03_How_to_create_a_task_with_Celery.html 2、分布式计算:SCOOP https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/04_Scientic_computing_with_SCOOP.html https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/05_Handling_map_functions_with_SCOOP.html 3\ 远程调用:pyro4 https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/06_Remote_Method_Invocation_with_Pyro4.html https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/07_Chaining_objects_with_Pyro4.html https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/08_Developing_a_client-server_application_with_Pyro4.html
用户5760343
2022/01/09
3110
使用Gearman做分布式计算
通常,多语言多系统之间的集成是个大问题,一般来说,人们多半会采用WebService的方式来处理此类PHP
Java架构师必看
2020/07/21
5800
亚马逊的分布式计算宣言
作者丨 Marc Brooker 译者丨明知山 策划丨 Tina 1998 年的西雅图,亚马逊公司的人已经开始重新审视他们的架构。亚马逊 1997 年的销售额为 1.47 亿美元,到了 1998 年就超过了 6 亿美元,这样的增长速度令他们感到措手不及。1998 年,亚马逊的人写了一份分布式计算宣言,描述了他们看到的问题以及他们为这些问题给出的解决方案。Werner Vogels 最近在他的文章(https://www.allthingsdistributed.com/2022/11/amazon
深度学习与Python
2023/03/29
3690
亚马逊的分布式计算宣言
MapReduce分布式计算模型在云计算中的角色
MapReduce 是一种分布式计算模型,其在云计算中有重要的作用,主要体现在以下几个方面:
云山雾罩
2023/04/05
1.5K0
玩转mongoDB(八):分布式计算--MapReduce
MongoDB提供了MapReduce的聚合工具来实现任意复杂的逻辑,它非常强大,非常灵活。MapReduce使用JavaScript作为“查询语言”,能够在多台服务器之间并行执行。它会将一个大问题拆分为多个小问题,将各个小问题发送到不同的机器上,每台机器只负责完成一部分工作。所有机器都完成时,再将这些零碎的解决方案合并为一个完整的解决方案。
壮壮熊
2022/08/18
6840
玩转mongoDB(八):分布式计算--MapReduce
0737-1.6.1-CDSW分布式计算
Cloudera Data Science Workbench为从单个交互式会话中启动多个称为workers的引擎实例提供了基本支持。任何R或Python会话均可用于生成workers。这些工作程序可以配置为在启动时运行脚本(例如Python文件)或命令中。
Fayson
2020/01/14
6120
0737-1.6.1-CDSW分布式计算

相似问题

云计算和分布式计算的区别?

1527

pg分布式?

072

分布式事务问题?

0122

什么是分布式事务?

1193

什么是分布式锁?

1173
相关问答用户
腾讯 | 技术专家擅长2个领域
高级数据分析师擅长5个领域
擅长4个领域
擅长3个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档