Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >通过Mobius在Spark上进行机器学习

问通过Mobius在Spark上进行机器学习
EN

Stack Overflow用户

提问于 2017-06-01 00:45:25

回答 1查看 153关注 0票数 1

Mobius是apache spark的c#绑定。我想知道是否也可以通过C#使用MLlib和graphx。同样，可以通过C#为apache spark创建机器学习和图形处理作业。

AIGC及大模型加速场景解决方案

为有AI内容生成、大模型需求的企业客户快速打造一站式方案

EN

回答 1

Stack Overflow用户

发布于 2017-09-06 14:41:10

如果你的spark驱动是在Linux平台上工作的，我建议你最好使用LIVY。事实上，LIVY是Apache REST API，它集合了所有Spark api (Pyspark、scala、java ..)提供的所有功能。您可以使用LIVY在使用pyspark代码片段的spark上提交作业。对于你来说，这似乎是一个很好的解决方案，至少你不需要每次都问在mobius上运行的是不是。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/44296772

复制

相关文章

让机器通过游戏进行学习

机器人强化学习

让孩子们（成人也一样）收拾、整理自己的东西不是件容易的事，但如果让智能机器来做同样的事，则更具挑战性。我们通过让智能机器掌握一系列的视觉运动（Visuo-motor）技能成功的解决了这个问题。这些基本的技能包括：靠近物体、抓住并抬起物体、打开箱子并将物体放入其中，当然这些技能要按正确的顺序应用，才能应对复杂的问题。

用户7623498

2020/08/04

3410

通过ZAT结合机器学习进行威胁检测

编程算法机器学习神经网络深度学习

在机器学习中我们针对安全数据的处理显得异常重要，针对不同的攻击类型数据我们需要选择合适的算法但是大体过程都是分为以下几个步骤：

FB客服

2020/07/28

1.2K0

Fregata: Spark上支持万亿维机器学习模型

spark 大数据

大规模机器学习工程上最大的挑战是模型的规模。在计算广告，推荐系统的场景下，运用Logistic Regression算法时常需要做特征交叉。原来两组，三组特征的数量可能并不是太大，但是通过交叉后可能会特征数会爆炸。例如，用户特征数1万，广告特征数1万，那么交叉后总特征数就是1亿，如果再与几十个广告位特征交叉，总特征数就会达到几十亿。有些情况下，特征交叉后，总数甚至能达到上千亿。特征数量的爆炸，也带来模型规模的爆炸，这给机器学习带来的挑战比庞大的训练数据量更大。通常认为，当模型的规模超过单节点的容量后，基

CSDN技术头条

2018/02/12

6120

Fregata: Spark上支持万亿维机器学习模型

在windows上通过choco安装superbenchmarker进行压测

powershell windows gateway

文章目录 1.安装choco 2.安装superbenchmarker 3.启动gateway 4.执行superbenchmarker 1.安装choco 在windows中用管理员身份运行Powershell,之后执行如下代码: Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::Se

冬天里的懒猫

2021/08/12

6240

在windows上通过choco安装superbenchmarker进行压测

在LinkedIn上搭建机器学习模型

机器学习机器翻译

大规模的构建机器学习是一条充满挑战的道路，并且没有很多有详细记录的case可以作为参考。Invector Labs的团队最近发布了一个幻灯片，它总结了我们学习大规模构建机器学习解决方案的一些经验教训，同时我们也一直在努力研究该领域的其他公司如何解决这些问题。

liuxuewen

2018/10/11

7450

在LinkedIn上搭建机器学习模型

机器学习(一)Spark机器学习基础

机器学习人工智能 spark 基础数据

大数据框架实现基础的数据存储和数据计算，如果从大量的数据中发现和挖掘出有价值的信息，需要借助机器学习算法，结合数据，构建机器学习模型实现对现实事件的预测。不同于以往的硬编码规则的方式，机器学习是通过机器学习算法发现或挖掘出数据中存在的规律或模式。

Maynor

2023/10/13

2540

机器学习(一)Spark机器学习基础

Spark 在Yarn上运行Spark应用程序

容器 yarn spark shell node.js

在 YARN 中，每个应用程序实例都有一个 ApplicationMaster 进程，该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源，应用程序将指示 NodeManagers 启动容器。ApplicationMasters 消除了对活跃客户端的依赖：启动应用程序的进程可以终止，并且从在集群上由 YARN 管理的进程继续协作运行。

smartsi

2019/08/07

1.9K0

1 Spark机器学习 spark MLlib 入门

spark scala jar 机器学习

开始学习spark ml了，都知道spark是继hadoop后的大数据利器，很多人都在使用spark的分布式并行来处理大数据。spark中也提供了机器学习的包，就是MLlib。

天涯泪小武

2019/01/17

1.2K0

全面指南：通过机器学习对Youtube视图进行预测

这个项目是由艾伦·王，Aravind Srinivasan,Kevin Yee和Ryan O ‘ farrell设计的。脚本和模型地址：https://github.com/allenwang28/YouTube-Virality-Predictor 在我们的模型中输入你自己的缩略图和标题来预测视频视图。模型地址：https://enigmatic-wave-74142.herokuapp.com/ 背景在过去的5年中，YouTube向YouTube的内容创作者支付了超过50亿美元。PewDiePie

AiTechYun

2018/03/06

1.5K0

全面指南：通过机器学习对Youtube视图进行预测

Spark学习之在集群上运行Spark（6）

spark 机器学习

Spark学习之在集群上运行Spark（6）

王小雷

2018/01/02

6430

Spark学习之在集群上运行Spark（6）

机器学习在房屋价格预测上的应用

python 机器学习神经网络深度学习

Python 在机器学习方面有天然的优势，那么我们今天也来涉足一下机器学习方面的技术，以下是在学习过程中的一些笔记，里面有大量的注释说明，用于理解为什么这样操作。

Wu_Candy

2022/07/04

6680

机器学习在组合优化中的应用（上）

编程算法学习方法强化学习机器学习监督学习

运筹学自二战诞生以来，现已被广泛应用于工业生产领域了，比如交通运输、供应链、能源、经济以及生产调度等。离散优化问题（discrete optimization problems）是运筹学中非常重要的一部分，他们通常可以建模成整数优化模型进行求解，即通过决定一系列受约束的整数或者0-1变量，得出模型最优解。

短短的路走走停停

2021/03/04

3K0

基于Spark的机器学习实践 (一) - 初识机器学习

spark 机器学习神经网络人工智能监督学习

◆学习一个模型,使用的数据是没有被标记过的,自己默默地在学习隐含的特征,寻找模型与规律

JavaEdge

2019/04/08

1.1K0

在Python 中进行机器学习和数据科学开发

python pytorch 面试

近年来，机器学习和数据科学领域取得了巨大的发展，成为解决现实世界问题的有力工具。Python作为一种高级编程语言，广泛应用于机器学习和数据科学开发中，因其简洁、易读的语法以及丰富的生态系统而备受青睐。本文将介绍如何在Python中进行机器学习和数据科学开发，并提供一些实用的代码示例。

疯狂的KK

2023/08/08

2620

在Python 中进行机器学习和数据科学开发

如何选择Spark机器学习API

大数据 spark api 机器学习

译者注：本文简要介绍了四种经典的机器学习算法。本文将简要介绍Spark机器学习库（Spark MLlib’s APIs）的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及

CSDN技术头条

2018/02/08

7090

如何选择Spark机器学习API

基于Spark的大规模机器学习在微博的应用

spark 机器学习 apache

众所周知，自2015年以来微博的业务发展迅猛。如果根据内容来划分，微博的业务有主信息（Feed）流、热门微博、微博推送（Push）、反垃圾、微博分发控制等。每个业务都有自己不同的用户构成、业务关注点和数据特征。庞大的用户基数下，由用户相互关注衍生的用户间关系，以及用户千人千面的个性化需求，要求我们用更高、更大规模的维度去刻画和描绘用户。大体量的微博内容，也呈现出多样化、多媒体化的发展趋势。一直以来，微博都尝试通过机器学习来解决业务场景中遇到的各种挑战。本文为新浪微博吴磊在CCTC 2017云计算大会Spa

CSDN技术头条

2018/02/13

1.5K0

基于Spark的大规模机器学习在微博的应用

Spark 机器学习的加速器：Spark on Angel

spark 大数据机器学习

本文介绍了如何在Spark上高效训练逻辑回归模型，并针对Spark在机器学习场景中遇到的瓶颈，提出了基于Angel的解决方案。通过对比实验，发现Spark on Angel能大幅度提高逻辑回归模型的训练效率，同时降低资源使用。

游遵文

2017/07/31

4.3K2

Spark 机器学习的加速器：Spark on Angel

图解大数据 | Spark机器学习(上)-工作流与特征工程

大数据机器学习 spark

教程地址：http://www.showmeai.tech/tutorials/84

ShowMeAI

2022/03/08

1K0

图解大数据 | Spark机器学习(上)-工作流与特征工程

Spark学习之基于MLlib的机器学习

机器学习 spark

本文介绍了Spark基于MLlib的机器学习，包括机器学习算法、数据类型、操作向量、算法、统计、分类和聚类等。同时，还介绍了主成分分析（PCA）、奇异值分解（SVD）等降维方法在Spark上的应用。

王小雷

2018/01/02

1.5K0

点击加载更多

相似问题

spark机器学习--更好的设计

11

在纱线上运行spark机器学习示例失败

113

如何通过机器学习学习“加法”操作

10

spark scala在windows机器上

32

Mobius SparkClr入门(在Linux上)

14

活动推荐

SaaS建站+私有服务器，拖拉式完成多端建站，5分钟搭建企业官网

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例