前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >IntelliJ IDEA配置Spark使用

IntelliJ IDEA配置Spark使用

作者头像
bear_fish
发布于 2018-09-19 07:03:03
发布于 2018-09-19 07:03:03
1.9K0
举报

第二步下载插件 首先启动intelliJ IDEA:在命令行终端中,进入$IDEA_HOME/bin目录,输入./idea.sh进行启动,进入如下界面,然后选择右下角“plugins”

然后进入以下界面,点击Plugins,由于Scala插件没有安装,需要点击”Install JetBrains plugins"进行安装,如下图所示:

然后进入以下界面,点击下载,等下载安装好后,点击close就ok了

安装插件后,在启动界面中选择创建新项目,弹出的界面中将会出现"Scala"类型项目,如下图,选择scala-》scala

点击next,就如以下界面,project name自己随便起的名字,把自己安装的scala和jdk选中,注意,在选择scala版本是一定不要选择2.11.X版本,那样后续会出大错!完成后,点击Finish

然后再File下选择project Structure,然后进入如下界面,进入后点击Libraries,在右边框后没任何信息,然后点击“+”号,进入你安装spark时候解压的spark-XXX-bin-hadoopXX下,在lib目录下,选择spark-assembly-XXX-hadoopXX.jar,结果如下图所示,然后点击Apply,最后点击ok

现在我们就可以在src下创建一个包,然后创建一个Object,如下图,然后就可以用scala来编写代码了。

二,编写代码 我编写了一个小代码,单词计数,代码如下

在textFile("")中的内容为数据路径,然后点击Run就可以看到结果了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016年10月08日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
一句指令,无限宇宙!Matrix-Game硬核上线,秒杀SOTA
继之前刷屏的单张图片生成虚拟世界Matrix Zero之后,昆仑万维又来搞事情了!
新智元
2025/05/14
890
一句指令,无限宇宙!Matrix-Game硬核上线,秒杀SOTA
通用世界模型问世:不学习就能生成新领域视频,可实时控制
随着 OpenAI 今年 2 月发布 Sora,世界模型(World Model)再次成为了 AI 领域的热门。
机器之心
2024/06/04
2050
通用世界模型问世:不学习就能生成新领域视频,可实时控制
一图一3D世界,视频还可交互,昆仑万维「空间智能」开年首秀来了
这个春节,动画电影《哪吒 2》爆火,不仅登上中国影史票房榜首,还不断地刷新全球票房榜单。3D 版本中的山河社稷图、石矶娘娘变身的石头山、最后的仙魔大战…… 这些场景让我们感受到了极度震撼的 3D 动效。
机器之心
2025/02/19
1300
一图一3D世界,视频还可交互,昆仑万维「空间智能」开年首秀来了
李飞飞空间智能首秀:AI靠单图生成3D世界,可探索,遵循基本物理几何规则
当前,基于文本的图像和视频生成模型与大语言模型(LLMs)共同展示了 AI 在视觉领域的巨大潜力。这些模型已经让人们能够以全新的方式工作和创作,但这仅仅是冰山一角。为了突破现有模型的限制,我们需要具备空间智能的 AI,能够在三维空间和时间中对物体、地点及其互动进行建模和推理。——《World Labs》官方网站
AI研思录
2025/02/20
1990
李飞飞空间智能首秀:AI靠单图生成3D世界,可探索,遵循基本物理几何规则
谷歌世界模型爆发:单张图生成可玩3D世界,还要和马斯克一起做AI游戏
Google DeepMind 震撼宣布了他们的新一代世界模型 Genie 2,其可根据一张图生成可供人类或 AI 智能体游玩的无限 3D 世界。
机器之心
2025/02/14
1010
谷歌世界模型爆发:单张图生成可玩3D世界,还要和马斯克一起做AI游戏
世界模型进入4D时代!单视角视频构建的自由视角4D世界来了
人工智能技术正以前所未有的速度改变着我们对世界的认知与构建方式。近期,李飞飞教授团队通过单张图片生成三维物理世界的研究,再次向世界展示了空间智能技术的巨大潜力。
机器之心
2025/02/14
1420
世界模型进入4D时代!单视角视频构建的自由视角4D世界来了
每周AI论文速递(250331-250404)
大语言模型 (Large Language Models, LLMs) 的出现引发了人工智能领域的变革,推动了一系列具备复杂推理能力、强健感知能力和跨领域多任务执行能力的先进智能体的发展。随着这类智能体在 AI 研究和实际应用中的作用日益凸显,其设计、评估与持续改进过程也面临着多维度、高复杂度的挑战。本综述采用模块化的类脑架构框架,融合认知科学、神经科学与计算研究的核心原理,对智能体技术进行全面梳理。研究内容分为四个相互关联的部分:首先解析智能体的模块化基础架构,通过系统化映射其认知、感知与执行模块与人脑功能的对应关系,深入阐释记忆系统、世界模型、奖励机制及类情绪系统等核心组件;其次探讨智能体的自我增强与自适应进化机制,重点分析其通过自动化优化范式(包括新兴的 AutoML 和大语言模型驱动的优化策略)实现能力自主提升、动态环境适应与持续学习的方法;第三部分研究协作型进化多智能体系统,揭示智能体通过交互协作与社会化组织产生的群体智能,及其与人类社交行为的相似性;最后针对 AI 系统的安全性、可靠性及社会效益这一关键命题,系统分析内生与外源安全威胁、伦理对齐要求、系统鲁棒性保障等核心问题,提出确保实际部署可信度的有效缓解策略。
叶子的技术碎碎念
2025/04/08
1580
每周AI论文速递(250331-250404)
大视频模型是世界模型?DeepMind/UC伯克利华人一作:预测下一帧就能改变世界
但Google DeepMind、UC伯克利和MIT的研究人员更进一步,在他们眼里,「大视频模型」也许能够像世界模型一样,真正的做到理解我们身处的这个世界。
新智元
2024/03/05
1530
大视频模型是世界模型?DeepMind/UC伯克利华人一作:预测下一帧就能改变世界
「黑神话」级3A大作AI实时游戏生成!港科大、中科大等祭出最强扩散Transformer,火爆国外
几天前,专做推理芯片初创Etched曾推出世界首个实时生成AI游戏Oasis,每一帧都是扩散Transformer预测。
新智元
2025/02/14
1400
「黑神话」级3A大作AI实时游戏生成!港科大、中科大等祭出最强扩散Transformer,火爆国外
抢跑搜索大模型,百度、昆仑万维“秋色平分”
随着ChatGPT火爆出圈,大模型的热度被持续推高,AIGC也一跃成为了科技圈与资本圈的“香饽饽”,引得百度、阿里、腾讯等互联网大厂以及字节跳动、小红书等独角兽企业纷纷争相入局。得益于此,大模型也在金融、交通、娱乐、医疗、教育、办公等诸多领域打造出了多个标杆级的应用落地场景。
刘旷
2023/10/08
2870
Sora 面世,视频生成的 GPT-3 时刻来了
2月16日凌晨,正值中国春节法定节假日期间,OpenAI 毫无预兆地发布了 AI 视频生成大模型 Sora。看过视频效果后,网友纷纷感叹「现实,不存在了。」
AI科技评论
2024/02/27
2260
Sora 面世,视频生成的 GPT-3 时刻来了
黑马入局!昆仑万维版ChatGPT「天工」通过自家程序员面试,首发就敢现场演示
梦晨 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 什么样的AI,能通过自家公司的程序员面试? 刚刚出炉的国产大模型「天工」做到了,黑马,绝对是黑马。 其开发商昆仑万维的CEO方汉在与量子位合作的首发直播中透露: 对天工模拟过校招算法工程师的第一轮面试,可以很流畅地通过。 △天工回答算法题示例 如果你开始好奇天工是什么,不如请先它来一段自我介绍: 除了在编程语言上经受住面试级别的考验之外,在自然语言上天工还特别修炼过中文。 天工团队投入大量资源攻克了中文语料库的质量瓶颈,从数十万亿的数据中清洗
量子位
2023/05/06
2990
黑马入局!昆仑万维版ChatGPT「天工」通过自家程序员面试,首发就敢现场演示
转身世界就变样?WorldMem用记忆让AI生成的世界拥有了一致性
近年来,基于视频生成模型的可交互世界生成引发了广泛关注。尽管现有方法在生成质量和交互能力上取得了显著进展,但由于上下文时间窗口受限,生成的世界在长时序下严重缺乏一致性。
机器之心
2025/05/12
460
转身世界就变样?WorldMem用记忆让AI生成的世界拥有了一致性
刚刚,谷歌发布基础世界模型:11B参数,能生成可交互虚拟世界
Sora 问世才不到两个星期,谷歌的世界模型也来了,能力看起来更强大:它生成的虚拟世界「自主可控」。https://mpvideo.qpic.cn/0bc37qac2aaa3iad2lo4b5svb7gdfx6aalia.f10004.mp4?
机器之心
2024/02/27
2050
刚刚,谷歌发布基础世界模型:11B参数,能生成可交互虚拟世界
昆仑万维财报解读:AI商业化卷王
过去一年多时间里,几乎所有和AI相关的企业都会被问到这样一个问题:AI何时才能够商业化变现?
Alter聊科技
2025/05/08
2120
昆仑万维方汉高质量访谈总结!!!
以下内容是访谈总结,包括大模型对行业的影响、AIGC对内容创作的影响、大模型的商业化路径、技术发展、特定企业的战略定位以及其他市场观点。
朱晓霞
2024/04/26
1670
昆仑万维方汉高质量访谈总结!!!
全球首款AI游戏诞生!无需游戏引擎,视频模型直出「我的世界」
今天,两家初创公司Decart和Etched宣布,他们打造了一款世界上首个实时、可玩、可交互的世界模型——Oasis。
新智元
2025/02/14
1130
全球首款AI游戏诞生!无需游戏引擎,视频模型直出「我的世界」
颜水成再返工业界,加入昆仑万维:“目前AI浪尖是Foundation Models”
在此之前,颜水成曾加入智源研究院,任访问首席科学家,他称其为“见过的最接近DeepMind和OpenAI风格的地方”。
量子位
2023/09/08
3050
颜水成再返工业界,加入昆仑万维:“目前AI浪尖是Foundation Models”
又一巨头宣布入局AIGC,一口气开源数个模型,还道出了它的变现之道
金磊 发自 凹非寺 量子位 | 公众号 QbitAI AIGC(AI生成内容),这个概念在今年可以说是火得一塌糊涂。 例如Stable Diffusion,只要对它说一句话,“唰唰唰”地就能秒生成画作。 再如最近大火的ChatGPT,对答如流堪比人类,简直让网友们玩得不亦乐乎。 △左:Stable Diffusion作画;右:ChatGPT作答 而就在这两天,AIGC赛道可谓是又双叒叕热闹了一把。 因为国内一家互联网出海巨头公司宣布——正式入局AIGC。 而且不同于其它玩家的单一路线,它在进军之际,直接
量子位
2023/02/28
4860
又一巨头宣布入局AIGC,一口气开源数个模型,还道出了它的变现之道
昆仑万维CEO方汉:AIGC以低成本达到80分水平,腰部工作者将大概率被淘汰 | 中国AIGC产业峰会
丰色 发自 凹非寺 量子位 | 公众号 QbitAI “如果人类的水平达不到80分,就会被AI淘汰。” 在中国AIGC产业峰会现场,昆仑万维CEO方汉抛出这样一个大胆预测。 在他看来,目前AIGC对存量知识的理解与表达已经达到80分的水平,行业从业者将随之形成两极分化的局面: 一部分人成为上游管理员,一部分成为底层AIGC操作员,两者的工作产量都会极大提升。 剩下的达不到80分的腰部从业者,大概率被淘汰。 方汉毕业于中国科学技术大学近代物理系,拥有29年互联网从业经验,从1994年开始参与和倡导开源运动,
量子位
2023/04/13
3650
昆仑万维CEO方汉:AIGC以低成本达到80分水平,腰部工作者将大概率被淘汰 | 中国AIGC产业峰会
推荐阅读
一句指令,无限宇宙!Matrix-Game硬核上线,秒杀SOTA
890
通用世界模型问世:不学习就能生成新领域视频,可实时控制
2050
一图一3D世界,视频还可交互,昆仑万维「空间智能」开年首秀来了
1300
李飞飞空间智能首秀:AI靠单图生成3D世界,可探索,遵循基本物理几何规则
1990
谷歌世界模型爆发:单张图生成可玩3D世界,还要和马斯克一起做AI游戏
1010
世界模型进入4D时代!单视角视频构建的自由视角4D世界来了
1420
每周AI论文速递(250331-250404)
1580
大视频模型是世界模型?DeepMind/UC伯克利华人一作:预测下一帧就能改变世界
1530
「黑神话」级3A大作AI实时游戏生成!港科大、中科大等祭出最强扩散Transformer,火爆国外
1400
抢跑搜索大模型,百度、昆仑万维“秋色平分”
2870
Sora 面世,视频生成的 GPT-3 时刻来了
2260
黑马入局!昆仑万维版ChatGPT「天工」通过自家程序员面试,首发就敢现场演示
2990
转身世界就变样?WorldMem用记忆让AI生成的世界拥有了一致性
460
刚刚,谷歌发布基础世界模型:11B参数,能生成可交互虚拟世界
2050
昆仑万维财报解读:AI商业化卷王
2120
昆仑万维方汉高质量访谈总结!!!
1670
全球首款AI游戏诞生!无需游戏引擎,视频模型直出「我的世界」
1130
颜水成再返工业界,加入昆仑万维:“目前AI浪尖是Foundation Models”
3050
又一巨头宣布入局AIGC,一口气开源数个模型,还道出了它的变现之道
4860
昆仑万维CEO方汉:AIGC以低成本达到80分水平,腰部工作者将大概率被淘汰 | 中国AIGC产业峰会
3650
相关推荐
一句指令,无限宇宙!Matrix-Game硬核上线,秒杀SOTA
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档