Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >腾讯云DLC的spark任务如何指定JDK版本？

问腾讯云DLC的spark任务如何指定JDK版本？

提问于 2024-04-08 09:35:15

回答 1关注 0查看 156

DLC默认JDK版本1.8，我的spark任务使用JDK17，之前在运行EMR上，在各节点安装JDK17，并通过spark submit指定单个程序的JDK 路径即可运行，配置参数如下：spark.yarn.appMasterEnv.JAVA_HOME 与 spark.executorEnv.JAVA_HOME。

而DLC上可以配置参数，但是无法分发JDK包。请问如何让这个程序运行在DLC上？

数据湖计算 DLC

回答 1

Lmx

发布于 2024-04-11 07:07:28

您好，没办法指定, 数据引擎集群是全托管的, 只支持jdk11

和开发者交流更多问题细节吧，去写回答

相关文章

Maven 指定JDK版本

maven jdk xml http apache

使用 IntelliJ 时，一运行 maven build，项目的编译 jdk 总是会变成 1.5 版本，一开始通过maven-compiler-plugin配置指定都不生效，后来在 <properties> 中指定了<maven.compiler.source>1.8</maven.compiler.source> 和 <maven.compiler.target>1.8</maven.compiler.target> 才解决，还未探得终极原因。。。

Java架构师历程

2018/09/26

4.9K0

Spark 设置指定 JDK 的正确姿势

这两天在测试环境提交 Spark Streaming 任务时，遇到了一个 JDK 版本问题导致 job 一直提交失败。

大数据技术架构

2019/08/16

2.8K0

linux安装指定版本的jdk

请注意，这个脚本假设你有sudo权限来执行某些命令，并且在安装目录/opt/jdk下安装JDK。如果你想要安装到其他目录，请修改INSTALL_DIR变量为你希望的路径。

无敌小菜鸟

2023/05/24

2.5K0

云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践

spark 文件存储 html 大数据数据结构

作者：余建涛，大数据平台产品中心高级工程师摘要 Spark UI是查看Spark作业运行情况的重要窗口，用户经常需要根据UI上的信息来判断作业失败的原因或者分析作业如何优化。DLC团队实现了云原生的Spark UI Sevice，相较于开源的Spark History Server，存储成本降低80%，大规模作业UI加载速度提升70%。目前已在公有云多个地域上线，为DLC用户提供Spark UI服务。背景 Spark History Server原理 Spark History Server(以下简称S

腾讯云大数据

2022/08/26

1.6K0

云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践

maven指定jdk版本原

<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.3</version> <configuration> <source>1.5</source> <target>1.5</target> </co

用户2603479

2018/08/15

9010

云原生数据湖为什么要选择腾讯云大数据DLC，一份性能分析报告告诉你！

sql 大数据数据湖数据库数据湖分析

摘要日前，腾讯云大数据数据湖计算 DLC 与国内两家知名云厂商的数据湖产品进行了性能对比，其中腾讯云 DLC 在三款产品中SQL平均执行查询时间短，性能表现优。腾讯云大数据 DLC 在存算分离和大数据量查询场景下，海量查询性能较 A 厂商产品提升 248%，较 B 厂商产品提升36%。在存算分离大数据量查询场景下，腾讯云大数据 DLC 较 A 厂商、B 厂商表现更优，同时在较大任务上的任务执行成功率更高，所有任务均成功执行。结合性能、性价比、使用体验等因素，腾讯云 DLC 在云原生数据湖选择上整体上

腾讯云大数据

2022/09/09

1.9K0

云原生数据湖为什么要选择腾讯云大数据DLC，一份性能分析报告告诉你！

一份数据满足所有数据场景？腾讯云数据湖解决方案及DLC内核技术介绍

spark 数据湖大数据数据库数据分析

摘要 OLAP数据库/引擎日新月异，不断推陈出新，在各种场景下有不同引擎的价值：flink擅长于实时数据集成/实时计算；spark批处理、tb级以上、hive生态、复杂join的数据分析、以及机器学习；presto联邦分析、较简单join、tb级以下hive生态udf数据分析；clickhouse 大宽表聚合操作、无数据更新、尽量无join、没有复杂udf的亚秒级分析，tensorflow深度学习等等即使相同的引擎，考虑资源隔离、成本分摊、数仓研发/使用周期（test，adhoc，prod，backfil

腾讯云大数据

2022/04/22

1K0

一份数据满足所有数据场景？腾讯云数据湖解决方案及DLC内核技术介绍

QCon大会实录：PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘

.net 大数据 spark 对象存储数据湖

导语 ‍‍‍‍文章整理了全球软件开发大会QCon《PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘》。大数据基于海量数据的分析，硬件、存储、计算资源尽量都可以用廉价的资源完成，如何在廉价资源上进行性能优化尤为重要。大数据是一种IO密集型负载，性能优化也首先着眼于IO优化。 ‍‍‍‍ 开篇：云提供了便利的按需使用方式，最佳实践非常重要主持人：过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB 至 EB 级别，在此基础上，腾讯自研业务也启动了云原生湖仓能力建设

腾讯云大数据

2022/08/26

8080

QCon大会实录：PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘

腾讯云DLC(数据湖计算)重磅支持Apache Hudi

数据湖数据处理数据湖计算 DLC sql spark

数据湖计算 DLC 通过类 SaaS 化的服务设计，为客户提供云原生企业级敏捷智能数据湖解决方案，具备以下特点：

ApacheHudi

2023/02/28

1.4K0

腾讯云DLC(数据湖计算)重磅支持Apache Hudi

maven如何指定项目的jdk版本(使用maven-compiler-plugin)

maven jdk plugin 编译插件

在pom.xml中可以通过maven标准编译插件（maven-compiler-plugin）指定项目源代码、字节码的jdk版本

青山师

2023/05/04

2.8K0

maven如何指定项目的jdk版本(使用maven-compiler-plugin)

elasticsearch 启动时指定jdk版本转

Elasticsearch Service jdk

背景我电脑环境的jdk是1.7，而需要的版本为1.8. 因此需要给elasticsearch指定jdk1.8（不需要将jdk1.8配置到环境变量）.

双面人

2019/08/31

3.6K0

PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘

数据湖大数据对象存储存储 spark

导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？腾讯云原生湖仓 DLC 从哪些方面着手解决问题？接下来由腾讯云大数据专家工程师于华丽带来相关分享。云原生湖仓的诞生背景、价值、挑战当前这个阶段，相信大家对于数据湖，数据仓，湖仓一系列的名词已经不算陌生了，我用最直白、最狭义方式去解释“湖仓”的话，就是数据湖跟数仓存储架构统一。数据湖最初的需求是，要存储和

腾讯云开发者

2023/01/04

1.3K0

PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘

开箱即用，腾讯数据湖计算为海量数据分析赋能

hive sql 私有网络容器服务 serverless

导读 / Introduction 数据湖解决了海量异构数据的入湖和存储需求。通过对海量数据的分析挖掘，提升对数据的洞察，助力数字化决策，进而促进业务发展，是每个企业构建数据湖的根本目的所在。随着业务迭代的不断加速，企业对数据时效性和数据分析敏捷性提出了更高的要求。为此，腾讯云推出了数据湖计算(Data Lake Compute，DLC)。DLC采用存储和计算分离的架构，结合腾讯云对象存储COS和弹性容器服务EKS，打造了一个开箱即用、弹性扩展、按量付费的交互式分析服务。图1 DLC架构图高性

腾讯大数据

2021/05/13

1.6K0

如何查看jdk版本号_jdk与tomcat版本

spring boot spring https 网络安全 jdk

背景：最近有一个spring boot项目要发布到很老的一台服务器上，该台服务器是XP2002 32位系统，并且spring boot微服务需要连接服务器上的access db，因此需要有对应的jdk，看了看网上的查看JDK版本很多都不靠谱(中文技术网站都是相互抄袭)，特地总结了一下：

全栈程序员站长

2022/11/09

3.3K0

如何查看jdk版本号_jdk与tomcat版本

腾讯云主机上如何升级PHP版本

云服务器云 API php

最近在使用腾讯云主机的SDK(https://cloud.tencent.com/document/sdk) 发现腾讯云的SDK只支持5.6.33以上版本，而我购买的云主机是CentOS 7.6 64位的发行版本而通过此版本安装默认版本就是php5.4.16版本，本来想着通过yum update直接升级一下就ok但实际操作并非想象这么简单。

研究僧

2020/04/22

12.1K0

听说，难于上青天的云原生数据湖能开箱即用了？

对象存储数据湖数据分析大数据 emr

导语 | 云原生数据湖架构以低成本优势推动客户上云，同时云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命。本文由腾讯大数据专家工程师于华丽在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」的《云原生数据湖新一代数据架构》演讲分享整理而成，为大家详尽介绍云原生数据湖的价值和背景，云原生数据湖架构原则和挑战，同时分析腾讯云数据湖产品，展望腾讯云数据湖解决方案。点击可观看精彩演讲视频一、云原生数据湖架构的价值今天分四个阶段来为大家

腾讯云开发者

2021/05/26

8010

上新啦！腾讯云云原生数据湖产品DLC 2.2.5版本发布，来看特性详解！

为了满足企业大数据对联邦查询、高性能交互式查询、成本优化的需求，DLC团队正式发布数据湖计算DLC2.2.5版本！该版本推出联邦查询增强、网络配置模块、日志信息、原生函数等重磅特性～全方位提升产品能力，助力企业数据资产分析与管理！重点特性重点特性一：联邦查询分析增强，支持更多数据源联邦查询新增Postgresql， SQLServer， ClickHouse三种数据源支持，支持数据源连通性测试。联邦查询分析覆盖更多用户使用场景，提高用户使用便捷性。重点特性二：新增网络配置管理模块，规范数据引擎

腾讯云大数据

2022/09/02

6980

上新啦！腾讯云云原生数据湖产品DLC 2.2.5版本发布，来看特性详解！

指定Tomcat使用的jdk版本而不依赖环境变量

jdk linux windows tomcat

进入到tomcat的bin目录下，修改setclasspath.sh文件，在文件首部添加两行代码

休辞醉倒

2019/07/25

1.2K0

如何做Spark 版本兼容

spark api scala 机器学习 apache

同理对应的Vectors object 也是。这就造成了一个比较大的困难，比如下面的代码就很难做到兼容了，切换Spark就无法通过编译：

用户2936994

2018/08/27

1.1K0

点击加载更多

相似问题

腾讯云sdk 兼容JDK6？

1432

助力降本增效，腾讯云大数据DLC推出智能洞察功能？

034

腾讯云短信可以指定信息？

1450

腾讯云助手有没有苹果手机版本？

1337

腾讯云重装系统后文件会丢失吗？

31.9K

相关问答用户

请输入您想邀请的人