计算机器学习服务器中脚本执行的上下文

冬夜先生

发布于 2022-02-27 18:54:01

5500

发布于 2022-02-27 18:54:01

文章被收录于专栏：csico

在机器学习服务器中，计算上下文是指处理给定工作负载的计算引擎的物理位置。默认为本地。但是，如果您有多台机器，则可以从本地切换到远程，将以数据为中心的RevoScaleR (R)、revoscalepy (Python)、MicrosoftML (R)和microsoftml (Python)函数的执行推送到另一个系统上的计算引擎。例如，在 R 客户端中本地运行的脚本可以将执行转移到 Spark 集群中的远程机器学习服务器以在那里处理数据。

转移计算上下文的主要原因是消除网络上的数据传输，将计算带到数据所在的位置。这对于像 Hadoop 这样的大数据平台尤其重要，其中数据分布在多个节点上，或者对于客户端工作站来说太大的数据集。

比较“本地”和“远程”

语境	用法
当地的	默认，所有平台上的所有产品（包括 R 客户端）都支持。脚本使用本地机器资源在本地解释器上执行。
偏僻的	专门针对选定数据平台上的机器学习服务器：Hadoop 分布式文件系统 (HDFS) 和 SQL Server 上的 Spark。客户端或以客户端身份运行的服务器可以启动远程计算上下文，但目标远程计算机本身必须是机器学习服务器安装。

将“远程执行”与“远程计算上下文”进行比较

尽管名称相似，但远程执行与远程计算上下文不同。

概念	语言	用法	配置
远程计算上下文	R 和 Python	以数据为中心和功能特定。在远程计算上下文中运行的脚本或代码可以包括来自我们专有库的函数：RevoScaleR (R)、MicrosoftML (R)、revoscalepy (Python) 和 microsoftml (Python)。	不需要。如果您在相同的功能级别上安装了服务器或客户端，则可以编写转换计算上下文的脚本。
远程执行	仅 R	面向机器，交替使用两个或多个机器学习服务器实例，或将执行从 R 客户端转移到 Windows 或 Linux 上更强大的机器学习服务器。远程执行与数据和库无关：您可以从任何库调用函数，包括基本 R 和第三方供应商。	作为安装后任务启用的操作化功能。有关详细信息，请参阅远程执行。

RevoScaleR 计算上下文

远程计算可用于选定平台上的特定数据源。下表记录了支持的组合。

上下文名称	别名	用法
RxLocalSeq	当地的	所有服务器和客户端配置都支持本地计算上下文。
RxSpark	火花	远程计算上下文。Target 是 Hadoop 上的 Spark 集群。
RxInSqlServer	sqlserver	远程计算上下文。目标服务器是单个数据库节点（SQL Server 2016 R Services 或 SQL Server 2017 或更高版本的机器学习服务）。计算是并行的，但不是分布式的。
RxLocalParallel	本地标准	计算上下文通常用于启用依赖于您提供的指令的受控分布式计算，而不是 Hadoop 上的内置调度程序。您可以将计算上下文用于手动分布式计算。
RxForeachDoPar	多巴	用于手动分布式计算。