零基础怎么学ｓｐａｒｋ？成都大数据开发学习

欢迎各位再次来到这里听小编解说！小编已经把最精彩的文章已经写在了下边，希望大家能耐心的把文章看完。你们的阅读就是我坚持创作的动力！麻烦你点点关注和评论！小编会永远记在心里的！！！

随着大数据时代的到来。各种技术衍生，市场工作岗位的需求越亦增长。今天科多大数据挑选大数据里高频技术词汇“ｓｐａｒｋ”跟大家分享。

ｓｐａｒｋ　如何入手？

概述

Ａｐａｃｈｅ　Ｓｐａｒｋ是一个快速和通用的集群计算系统。它提供Ｊａｖａ，ｓｃａｌａ，Ｐｙｔｈｏｎ、Ｒ语言的ＡＰＩｓ，以及支持一般执行图形的优化引擎。　它还支持一组丰富的高级工具，包括用于ＳＱＬ和结构化数据处理的Ｓｐａｒｋ　ＳＱＬ，用于机器学习的ＭＬｌｉｂ，用于图形处理的ＧｒａｐｈＸ和Ｓｐａｒｋ　Ｓｔｒｅａｍｉｎｇ。

下载

从项目网站的下载页面获取Ｓｐａｒｋ。本文档适用于Ｓｐａｒｋ　２．１．０版本。　Ｓｐａｒｋ使用Ｈａｄｏｏｐ的客户端库用于ＨＤＦＳ和ＹＡＲＮ。下载是预先打包的一些流行的Ｈａｄｏｏｐ版本。用户还可以下载“Ｈａｄｏｏｐ　ｆｒｅｅ”二进制文件，并通过扩充Ｓｐａｒｋ的类路径，使用任何Ｈａｄｏｏｐ版本运行Ｓｐａｒｋ。　Ｓｃａｌａ和Ｊａｖａ用户可以使用其ｍａｖｅｎ　ｃｏｏｒｉｄｎａｔｅｓ在他们的项目中包含Ｓｐａｒｋ，并且在将来Ｐｙｔｈｏｎ用户也可以从ＰｙＰＩ安装Ｓｐａｒｋ。

如果你想从源代码编译Ｓｐａｒｋ，请访问Ｂｕｉｌｄｉｎｇ　Ｓｐａｒｋ。

Ｓｐａｒｋ在Ｗｉｎｄｏｗｓ和类ＵＮＩＸ系统（例如Ｌｉｎｕｘ，Ｍａｃ　ＯＳ）上运行。它很容易在一台计算机上本地运行　–　所有你需要的是在系统ＰＡＴＨ上安装ｊａｖａ，或者ＪＡＶＡ＿ＨＯＭＥ环境变量指向Ｊａｖａ安装位置。

Ｓｐａｒｋ运行于Ｊａｖａ　７＋，Ｐｙｔｈｏｎ　２．６　＋　／　３．４　＋和Ｒ　３．１＋。对于Ｓｃａｌａ　ＡＰＩ，Ｓｐａｒｋ　２．１．０使用Ｓｃａｌａ　２．１１。您将需要使用兼容的Ｓｃａｌａ版本（２．１１．ｘ）。

请注意，Ｊａｖａ　７和Ｐｙｔｈｏｎ　２．６的支持在从Ｓｐａｒｋ　２．０．０已过时，并且对于Ｓｃａｌａ　２．１０和２．６之前的Ｈａｄｏｏｐ版本的支持在Ｓｐａｒｋ　２．１．０中已过时，并且可能会在Ｓｐａｒｋ　２．２．０中被删除。

运行示例和Ｓｈｅｌｌ

Ｓｐａｒｋ附带了几个示例程序。　Ｓｃａｌａ，Ｊａｖａ，Ｐｙｔｈｏｎ和Ｒ示例在ｅｘａｍｐｌｅｓ／ｓｒｃ／　ｍａｉｎ目录中。　要运行Ｊａｖａ或Ｓｃａｌａ示例程序之一，请在顶级Ｓｐａｒｋ目录中使用ｂｉｎ　／　ｒｕｎ－ｅｘａｍｐｌｅ　［ｐａｒａｍｓ］。　（在后台，这将调用更通用的ｓｐａｒｋ提交脚本来启动应用程序）。　例如，

．／ｂｉｎ／ｒｕｎ－ｅｘａｍｐｌｅ　ＳｐａｒｋＰｉ１０

您还可以通过Ｓｃａｌａ　ｓｈｅｌｌ的修改版本以交互方式运行Ｓｐａｒｋ。　这是一个学习框架的好方法。

．／ｂｉｎ／ｓｐａｒｋ－ｓｈｅｌｌ－－ｍａｓｔｅｒ　ｌｏｃａｌ［２］

－－ｍａｓｔｅｒ选项指定分布式集群的ｍａｓｔｅｒ　ＵＲＬ，或者本地使用一个线程运行在本地，或者使用ｌｏｃａｌ　［Ｎ］在本地使用Ｎ个线程运行。　您应该首先使用ｌｏｃａｌ进行测试。　有关选项的完整列表，请运行Ｓｐａｒｋ　ｓｈｅｌｌ　使用–ｈｅｌｐ选项。

Ｓｐａｒｋ还提供了一个Ｐｙｔｈｏｎ　ＡＰＩ。　要在Ｐｙｔｈｏｎ解释器中以交互方式运行Ｓｐａｒｋ，请使用ｂｉｎ　／　ｐｙｓｐａｒｋ：

．／ｂｉｎ／ｐｙｓｐａｒｋ－－ｍａｓｔｅｒｌｏｃａｌ［２］

示例应用程序也在Ｐｙｔｈｏｎ中提供。　例如，

．／ｂｉｎ／ｓｐａｒｋ－ｓｕｂｍｉｔ　ｅｘａｍｐｌｅｓ／ｓｒｃ／ｍａｉｎ／ｐｙｔｈｏｎ／ｐｉ．ｐｙ１０

Ｓｐａｒｋ自１．４以来提供了一个实验Ｒ　ＡＰＩ（仅包括ＤａｔａＦｒａｍｅｓ　ＡＰＩ）。　要在Ｒ解释器中以交互方式运行Ｓｐａｒｋ，请使用ｂｉｎ　／　ｓｐａｒｋＲ：

．／ｂｉｎ／ｓｐａｒｋＲ－－ｍａｓｔｅｒｌｏｃａｌ［２］

示例应用也在Ｒ中提供。例如，

．／ｂｉｎ／ｓｐａｒｋ－ｓｕｂｍｉｔ　ｅｘａｍｐｌｅｓ／ｓｒｃ／ｍａｉｎ／ｒ／ｄａｔａｆｒａｍｅ．Ｒ

在群集上运行

Ｓｐａｒｋ集群模式概述解释了在集群上运行的关键概念。　Ｓｐａｒｋ可以单独运行，也可以通过多个现有集群管理器运行。　它目前提供了几个部署选项：

独立部署模式：在私有集群上部署Ｓｐａｒｋ的最简单方法

Ａｐａｃｈｅ　Ｍｅｓｏｓ

Ｈａｄｏｏｐ　ＹＡＲＮ

从哪里入手

编程指南

快速入门：快速介绍Ｓｐａｒｋ　ＡＰＩ；　从这里开始！

Ｓｐａｒｋ编程指南：Ｓｐａｒｋ所有支持的语言（Ｓｃａｌａ，Ｊａｖａ，Ｐｙｔｈｏｎ，Ｒ）

基于Ｓｐａｒｋ的模块：

Ｓｐａｒｋ　Ｓｔｒｅａｍｉｎｇ：处理实时数据流

Ｓｐａｒｋ　ＳＱＬ，Ｄａｔａｓｅｔｓ和ＤａｔａＦｒａｍｅｓ：支持结构化数据和关系查询

ＭＬｌｉｂ：内置机器学习库

ＧｒａｐｈＸ：Ｓｐａｒｋ的新图形处理ＡＰＩ

ＡＰＩ　Ｄｏｃｓ

Ｓｐａｒｋ　Ｓｃａｌａ　ＡＰＩ　（Ｓｃａｌａｄｏｃ）

Ｓｐａｒｋ　Ｊａｖａ　ＡＰＩ　（Ｊａｖａｄｏｃ）

Ｓｐａｒｋ　Ｐｙｔｈｏｎ　ＡＰＩ　（Ｓｐｈｉｎｘ）

Ｓｐａｒｋ　Ｒ　ＡＰＩ　（Ｒｏｘｙｇｅｎ２）

部署指南

集群概述：在集群上运行的组件概述

提交应用程序：打包和部署应用程序

部署模式：

Ａｍａｚｏｎ　ＥＣ２：允许您在大约５分钟内在ＥＣ２上启动集群的脚本

独立部署模式：快速启动独立集群，无需第三方集群管理器

Mesos：使用Ａｐａｃｈｅ　Ｍｅｓｏｓ部署私有集群

ＹＡＲＮ：在Ｓｐａｒｋ上部署Ｈａｄｏｏｐ的下一代（ＹＡＲＮ）

其他文档

配置：－　通过其配置系统定制Ｓｐａｒｋ

监视：跟踪应用程序的行为

优化指南：优化性能和内存使用的最佳做法

作业调度：在Ｓｐａｒｋ应用程序内部和跨程序调度资源

安全：Ｓｐａｒｋ安全支持

硬件配置：针对集群硬件的建议

与其他存储系统集成：

ＯｐｅｎＳｔａｃｋ　Ｓｗｉｆｔ

编译Ｓｐａｒｋ：使用Ｍａｖｅｎ系统构建Ｓｐａｒｋ

贡献给Ｓｐａｒｋ

第三方项目：相关第三方Ｓｐａｒｋ项目

外部资源

Ｓｐａｒｋ主页

Ｓｐａｒｋ社区资源，包括当地ｍｅｅｔｕｐｓ

ＳｔａｃｋＯｖｅｒｆｌｏｗ标签ａｐａｃｈｅ－ｓｐａｒｋ

邮件列表：在这里提出关于Ｓｐａｒｋ的问题

ＡＭＰ训练营：在加州大学伯克利分校的一系列训练营，有关于Ｓｐａｒｋ，Ｓｐａｒｋ　Ｓｔｒｅａｍｉｎｇ，Ｍｅｓｏｓ等的特色演讲和练习。　更多视频，幻灯片和练习可免费在线获取。

代码示例：更多也可以在Ｓｐａｒｋ的ｅｘａｍｐｌｅｓ子文件夹中获得（Ｓｃａｌａ，Ｊａｖａ，Ｐｙｔｈｏｎ，Ｒ）

欢迎大家与我一起来探索科技！让我们走在科技的最前沿。小编已经把最精彩的内容写在下边，请您耐心的把文章阅读完可以吗？您的阅读就是我坚持创作的动力！此外，满足小编一个小小的请求好吗？帮忙点点关注，阅读完文章别忘了留下您宝贵的意见！好吧，我们现在开始一起探索吧！

非常感谢各位看官能在百忙之中阅读小编的文章，您们的阅读和评论是小编继续坚持创作的动力。你们的每一个评论，小编都会去非常认真的去阅读，你们提出的宝贵意见我也会虚心接受，争取每天都为大家带来更多的优质文章。让大家不但可以增长见识，还可以有个好的心情。希望您能喜欢小编的文章！