下面将会对机器学习算法的不同的实现范式进行讲解，既有来自文献中的，也有来自开源社区里的。首先，这里列出了目前可用的三代机器学习工具。 传统的机器学习和数据分析的工具，包括SAS，IBM的SPSS，Weka以及R语言。它们可以在小数据集上进行深度分析——工具所运行的节点的内存可以容纳得下的数据集。 第二代机器学习工具，包括Mahout，Pentaho，以及RapidMiner。它们可以对大数据进行我称之为粗浅的分析。基于Hadoop之上进行 的传统机器学习工具的规模化的尝试，包括Revolution Anal
大数据技术是一种新一代技术和构架，大数据技术不断涌现和发展，让我们处理海量数据更加容易、更加便宜和迅速，成为利用数据的好助手，大数据技术已经运用到各个领域
该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于博文http://shiyanjun.cn/archives/744.html翻译基础上进行优化、修改、补充注释和源码分析。如果翻译措辞或逻辑有误，欢迎批评指正。
大数据利器.xls 类别 名称 官网 备注 查询引擎 Phoenix https://phoenix.apache.org/ Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写 Kylin http://kylin.io eBay开源的基于Hadoop的分布式OLAP分析引擎，旨在减
本文介绍了基于Apache Spark的分布式大数据处理框架，从RDD、DataFrame、Dataset、Streaming等组件的角度讲解了Spark的基本特性、架构和实现原理。同时，本文还通过多个实际应用案例，详细介绍了Spark在大数据处理、实时计算、机器学习和深度学习等领域的应用实践。此外，本文还讨论了Spark与其他大数据处理框架（如Hadoop、Storm等）的对比和选择。
本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。
RDD，学名可伸缩的分布式数据集（Resilient Distributed Dataset）。是一种对数据集形态的抽象，基于此抽象，使用者可以在集群中执行一系列计算，而不用将中间结果落盘。而这正是之前 MR 抽象的一个重要痛点，每一个步骤都需要落盘，使得不必要的开销很高。
近日，在天津举办的第二届世界智能大会大数据产业发展高峰论坛上，中国经济信息社、京津冀大数据联盟及荣程祥泰集团联合发布了 2017 年京津冀大数据产业发展分析报告。 报告介绍了大数据技术在全球与全国范围内的发展演进，京津冀大数据综合试验区的独特优势，以及大数据在京津冀三地相关产业内的错位应用与协同发展，同时对大数据在京津冀的应用前景，对国民经济相关领域带来的拉动作用等热点问题进行了详细的论述。报告对相关方洞悉大数据产业生态规律，制订大数据发展战略，利用大数据创造更大价值，都具有较好的参考借鉴作用。 以下为报告
类别 名称 （可重点关注加粗部分） 官网 备注 查询引擎 Phoenix https://phoenix.apache.org/ Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写 Presto http://prestodb.io/ Facebook开源的分布式SQL查询引擎，适用
一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统和计算系统，使得Hadoop成为大数据处理平台的基石之一。 Hadoop能够满足大部分的离线存储和离线计算需求，且性能表现不俗；小部分离线存储和计算需求，在对性能要求不高的情况下，也可以使用Hadoop实现。因此
一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统和计算系统，使得Hadoop成为大数据处理平台的基石之一。Hadoop能够满足大部分的离线存储和离线计算需求，且性能表现不俗；小部分离线存储和计算需求，在对性能要求不高的情况下，也可以使用Hadoop实现。因此，
是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。
本文作者：秦陇纪 本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科
类别名称官网备注（可重点关注加粗部分）查询引擎Phoenixhttps://phoenix.apache.org/Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写Prestohttp://prestodb.io/Facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Sharkhttp://shark.cs.berkeley.edu/Spark上的SQL执行引擎，已演化成Spark-SQL和Hive on SparkPigh
HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
1、 Talend Open Studio 是第一家针对数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 2、DYSON 探码科技自主研发的DYSON智能分析系统，可以完整地实现大数据的采集、分析、处理。DYSON智能分析系统专门针对互联网数据抓取、处理、分析和挖掘。可
是第一家针对数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。
1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 2、DYSON 探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖
导读：你熟悉多少工具？今天我们将常用的100款工具推荐给您，若您有更多更好的工具欢迎留言！ 1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract
来源：网络 1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下
按要求转载自CSDN (ID：CSDNnews） 1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 2、DYSON 探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能
本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享，提高数据科学人员素质。
翻译：秦陇纪等人 摘自：数据简化DataSimp 本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享，提高数据科学人员素质。 数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
