我已经建立了一个多节点的德鲁伊集群，其中: 1) 1节点作为协调器运行，2)每个节点运行历史管理器和中间管理器。(r3.2xl) 3) 1节点运行代理(r3.2xl)
现在，我已经运行了一个EMR集群，我想将它用于摄取任务，问题是每当我试图通过CURL命令提交作业时，作业总是以本地hadoop作业的形式在两个中间管理器中启动，而不是提交到远程EMR集群。我的数据位于S3中，S3也被配置为深度存储。我也把所有的罐子从电子病历母版复制到hadoop-dependencies/hadoop-client/2.7.3/。
德鲁伊版本: 0.9.2电子病历版本: 5.2
请查找附加的索引作业、常见的运行
浏览 4提问于2017-01-11得票数 0
2回答
我刚接触druid并尝试通过本地文件加载数据。我已经设置了节点和zookeeper实例。我已经在Ubuntu18.04中尝试过，并且工作正常，但是我尝试在lUbuntu中使用它，我看到了下面的错误：
2018-07-30T12:25:03,390 ERROR [main] io.druid.cli.CliPeon - Error when starting up. Failing.
com.google.inject.ProvisionException: Unable to provision, see the following errors:
1) Error in custom p
浏览 19提问于2018-07-30得票数 0
回答已采纳
既然Druid已成为Google ()的可选组件，我想知道如何从Dataproc集群创建Druid配置？我尝试了以下gcloud命令：
%gcloud dataproc clusters create test1 --region=us-east1 --zone=us-east1-b --
num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID --
properties=druid:druid.storage.type=google,...
但是它返回一个错误：
属性“druid:druid.storage
浏览 6提问于2020-08-03得票数 2
我最初设置了一个包含2个历史节点的druid集群，每个节点都有30 had的内存。2个中间管理器节点，一个节点正在运行协调器和霸主，1个代理节点。
在成功运行了3-4周后，我发现即使在窗口期之后，我的任务仍然处于运行状态。然后，我碰巧又添加了一个具有相同配置的历史节点，这导致我的任务再次正常工作。这意味着所有被摄取到德鲁伊的数据都将进入内存，我将不得不继续添加历史节点。
有没有一种方法可以将一些数据从内存中刷新到深度存储中，并且每当对这组数据发起查询时，这些数据都应该加载到内存中？我的每个历史节点都有30 of的RAM。配置：
druid.processing.buffer.sizeBytes
浏览 17提问于2018-07-19得票数 1
回答已采纳
1回答
我想为Druid设置一个身份验证。我按照中的示例设置了druid
完成后，我按照下面的文档设置身份验证：
以下是common.runtime.properties文件中的以下更改
# Basic authentication
# Basic authentication: Authenticator settings
druid.auth.authenticatorChain=["MyBasicAuthenticator"]
druid.auth.authenticator.MyBasicAuthenticator.type=basic
druid.auth.authentic
浏览 0提问于2018-06-15得票数 2
druid hive处理程序的jar文件就在那里。Clients表已在包含数据的配置单元中。配置单元库文件夹hive-druid-handler-3.1.2.jar中的文件名。
当我尝试为德鲁伊在hive中创建表时，我得到了错误an
FAILED: SemanticException Cannot find class 'org.apache.hadoop.hive.druid.DruidStorageHandler'
下面是SQL语句。
CREATE TABLE ssb_druid_hive
STORED BY 'org.apache.hadoop.hive.
dru
浏览 5提问于2019-12-17得票数 3
我在德鲁伊提交了一个摄取任务。任务正在成功完成，并且在hdfs中创建了数据段。
以前使用相同的配置时，数据段缓存正在更新。
但是，新数据源的数据段不会更新druid- segment缓存。
我已经检查并发现所有的德鲁伊服务都已启动并运行。
下面是一个被记录的异常。
io.druid.query.lookup.LookupReferencesManager.start()] on object[io.druid.query.lookup.LookupReferencesManager@7336fd8f].
INFO [main] io.druid.query.lookup.LookupRefe
浏览 5提问于2018-09-26得票数 0
Druid集群和Hive/Hadoop集群分别运行正常。我们在Hive中创建了一个从Druid (用于ETL)读取数据的表，然而，在最初的测试中，我们发现我们不能从它执行简单的SELECT *，后面跟着这个错误：
hive> select * from druid_hive_table;
OK
druid_hive_table.__time druid_hive_table.op_ts druid_hive_table.op_type druid_hive_table.pos druid_hive_table.table
Failed with exception java
浏览 1提问于2020-02-10得票数 1
在MacOSX 10.12上安装了德鲁伊和动物园管理员之后，我无法让霸主进程运行。
java `cat conf-quickstart/druid/overlord/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/overlord:lib/*" io.druid.cli.Main server overlord
我得到了地址已经在使用的错误。
浏览 6提问于2017-06-21得票数 0
回答已采纳
1回答
从蜂巢到德鲁伊交互时出错
、、、
我正在尝试从Hive创建一个Druid数据源，并为此使用了表Hive。
首先，我创建了一个数据库Hive：database_hive，然后在这个数据库中创建了一个表。
CREATE TABLE database_hive.hive_table (
timemachine int,
userId String,
lang String,
location String,
name String,
network String,
posted String,
sentiment String,
text String,
);
浏览 6提问于2019-10-14得票数 0
回答已采纳
1回答
昨天，我从Hive创建了我的第一个数据源Druid。今天，我不确定这是否行得通..。 首先，我运行以下代码来创建我的数据库： SET hive.druid.broker.address.default = 10.20.173.30:8082;
SET hive.druid.metadata.username = druid;
SET hive.druid.metadata.password = druid_password;
SET hive.druid.metadata.db.type = postgresql;
SET hive.druid.metadata.uri = jdbc:pos
浏览 52提问于2019-10-15得票数 2
回答已采纳
长话短说:德鲁伊没有摄入腐朽的卡夫卡唱片。我怎么能跳过呢？
我使用schema_registry成功地将德鲁伊配置为从卡夫卡摄取数据。一切按预期工作，直到德鲁伊击中，在某些偏移，一个坏的记录，没有有效的数据，因为它已损坏。如果我查看任务日志，就会发现以下异常：
2022-03-14T13:46:03,647 ERROR [task-runner-0-priority-0] org.apache.druid.indexing.seekablestream.SeekableStreamIndexTaskRunner - Encountered exception while running tas
浏览 6提问于2022-03-14得票数 0
回答已采纳
我是超集的新手，正在尝试配置DRUID ..成功启动超集并查看示例。但是当我尝试连接druid时(它只有https连接可供我使用) ..我尝试执行以下操作时收到错误消息
[root@XXX-XXX-XXX-XXXbin]# superset refresh_druid
2018-02-21 23:08:05,618:DEBUG:urllib3.connectionpool:Starting new HTTP connection (1): my.dnsname.com
Error while processing cluster 'druid'
('Connection
浏览 2提问于2018-02-22得票数 2
目前，我的Druid集群中有一些数据源，如下所示：
http://druid_ip:port/druid/v2/datasources
[
"Daily-Trader-Transactions-Rayan",
"MarketWatch-BookOrders",
"Daily-Trade-Rollups",
"MarketWatch-01",
"Instrument-Monthly-Trades",
"MarketWatch-02",
"
浏览 5提问于2021-12-07得票数 0
我构造了德鲁伊，并在其中加载批处理数据时获得了错误，如下所示：
2016-10-19T07:06:08,656 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - Counters: 12
Job Counters
Failed map tasks=4
Launched map tasks=4
Other local map tasks=3
Data-local map tasks=1
浏览 1提问于2016-10-20得票数 0
我得到了NullPointerException on DruidDataSource.getConnectionInternal(DruidDataSource.java:1704)？
下面是完整的堆栈跟踪。你能帮我理解这个问题吗？
Caused by: org.apache.ibatis.exceptions.PersistenceException:
### Error updating database. Cause: java.lang.NullPointerException
### The error may exist in com/byai/line/dal/mapper/
浏览 7提问于2020-02-13得票数 0
2回答
我错误地从Hadoop中删除了数据。我在Druid中有这些数据，现在我想将这些数据从Druid恢复到Hadoop，以避免进一步的数据恢复问题。
浏览 1提问于2018-12-13得票数 0
首先，我对蜂巢和德鲁伊比较陌生。我已经设置了一个连接到德鲁伊数据源的hive外部表。我可以查询简单的SELECTS，就像这样。示例：
SELECT id FROM druidtable;
result:
+------------+
| id |
+------------+
| 10001 |
| 10000 |
+------------+
现在我想添加一个order by id语句。然而，这会导致某种连接错误吗？
堆栈跟踪：
INFO : Compiling command(queryId=hive_20190730090350_28947166-b
浏览 14提问于2019-07-30得票数 1
回答已采纳
1回答
我很好奇是否有一种方法可以对Caravel中Hive表的数据进行建模。
类似于caravel如何连接到Druid集群并在Druid中显示数据的UI，是否有一种方法可以使用JDBC对Caravel中的Hive中的数据进行建模？
浏览 0提问于2016-08-09得票数 0
我一直在尝试让德鲁伊定期启动一个杀死任务，以清理未使用的部分。
这些是负责它的配置变量
druid.coordinator.kill.on=true
druid.coordinator.kill.period=PT45M
druid.coordinator.kill.durationToRetain=PT45M
druid.coordinator.kill.maxSegments=10
根据上面的配置，我的心理模型是，一旦摄取的数据被标记为未使用，kill task将触发并删除超过45分钟的片段，同时保留45分钟的数据。period和durationToRetain是让我感到困惑的配置变量，我
浏览 7提问于2020-07-02得票数 1
1回答
我们有一个德鲁伊集群设置，现在我正在尝试将索引日志和数据写入S3深度存储中。
以下是详细情况
druid.storage.type=s3
druid.storage.bucket=bucket-name
druid.storage.baseKey=druid/segments
# For S3:
druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=your-bucket
druid.indexer.logs.s3Prefix=druid/indexing-logs
在运行摄食任务后，我会出现以下错误
*Caused by: com.a
浏览 12提问于2022-07-19得票数 0
回答已采纳
我正在我的企业Kube上部署Druid-operator。我正在得到OOM终止错误：
NAME READY STATUS RESTARTS AGE
druid-operator-c68cf5bc8-n6pzt 1/1 Running 0 107m
druid-tiny-cluster-brokers-0 0/1 OOMKilled 1 62s
druid-tiny-cluster-coordinators-0 0/1
浏览 9提问于2021-03-30得票数 1
首先，我将两个mysql表插入到kafka中，然后在druid.Now中加载kafka主题。我在druid中有两个数据源，其中一个数据源包含多达6000条记录，另一个数据源包含多达720000条记录。我试图使用druid join查询从两个数据源获取记录，但它显示以下错误： Resource limit exceeded / Subquery generated results beyond maximum[100000] /
org.apache.druid.query.ResourceLimitExceededException 查询： SELECT * FROM unsold_all
浏览 116提问于2020-10-06得票数 0
在过去的一周里，我一直在使用Druid，我想为一些postAggregations启用javascript。
我想我已经按照概述的步骤进行了操作，并更新了../con f/druid/_common/中的common.runtime.properties文件以包含druid.javascript.enabled=true。然后我停止了当前的进程，并重新运行了快速入门过程，但它仍然显示JavaScript被禁用：
{
"error" : "Unknown exception",
"errorMessage" : "Instantia
浏览 3提问于2017-08-16得票数 1
这是我第一次体验德鲁伊。
我在本地机器上安装了一个本地的Druid。现在我想做一些查询性能测试。我的测试数据是一个巨大的本地json文件1.2G。其想法是将其加载到druid中，并运行所需的SQL查询。文件正在被解析并成功处理(我正在使用基于web的Druid UI来提交注入任务)。
我遇到的问题是数据源的大小。1.2G的原始json数据导致35M的数据源，这是没有意义的。本地运行的Druid安装程序有什么限制吗？我认为测试数据是部分处理的。不幸的是，没有找到任何相关的配置来更改它。如果有人能够阐明这一点，我将不胜感激。
提前感谢
浏览 16提问于2019-10-31得票数 0
回答已采纳
1回答
我正在使用index_parallel原生批处理方法从s3向Druid摄取数据。我已经使用druid UI中的Tasks选项卡完成了初始摄取。我想每天安排另一个任务来进行增量摄取。 我已经看了很多文档，但我没有找到任何与在druid上调度任务相关的东西。 有人能帮我吗?我们可以通过哪些方法来安排一个本地批处理摄取任务？
浏览 13提问于2020-09-03得票数 1
我有一个Apache Druid数据库，我想用Prometheus监控Apache Druid数据库。我研究发现Druid Exporter支持Prometheus从Apache Druid收集指标，我找到了下面的文档：
我把所有东西都安装在docker里。
遵循指引，我在德鲁伊的common.runtime.properties文件中设置：
> druid_emitter_http_recipientBaseUrl=http://<druid_exporter_url>:<druid_exporter_port>/druid
> druid_emitte
浏览 31提问于2021-07-19得票数 0
3回答
我已经将数据从Hive加载到了Druid中，并且我没有使用任何HLL列。
当我在Druid中运行COUNT(DISTINCT mycol)查询时，我得不到确切的计数。数量似乎很接近，但与我在蜂巢中的数量不匹配。
为什么德鲁伊不能给出一个确切的数字，即使我没有提到任何关于HLL的东西？或者，有没有一种方法可以在Druid中获得精确的计数差异？
发现了2014年关于相同问题的旧帖子，不确定当前版本的Druid是否支持确切的计数差异。
浏览 0提问于2018-08-18得票数 1
我正在开发一个Maven EJB模块。
我的EJB都使用了如下的持久化上下文：
@PersistenceContext(unitName = "dk.mycontext")
private EntityManager em;
它真的工作得很好。问题是当我想要从测试更改到在我的应用服务器上实际部署时。
我使用JUnit来测试和运行Payara Embedded上的所有测试。Payara embedded使用这种格式进行JNDI查找(在我的persistence.xml文件中)：
<jta-data-source>java:app/jdbc/druid</jta-
浏览 12提问于2019-08-07得票数 0
回答已采纳
我使用的是德鲁伊io 0.9.0。我正在尝试添加一个帖子聚合字段作为度量规范。我的意图是显示post聚合字段的值，类似于指标(度量)的显示方式(在使用Pivot的Druid io中)。
我的Druid io模式文件是
{
"dataSources" : {
"NPS1112" : {
"spec" : {
"dataSchema" : {
"dataSource" : "NPS1112",
浏览 1提问于2016-06-06得票数 3
1回答
铁线莲
、、、
我的项目excutue非常慢，每一个3 second.There以上的sql成本在我的数据库中都是很少的数据。
我尝试过多种不同的方法，但似乎没有一种可行。有什么想法吗？
配置
springboot1.3.1mybatis3.2.8druid1.0.16.
调试信息
application.properties
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
浏览 4提问于2020-03-19得票数 0
回答已采纳
我正在尝试使用停靠-德鲁伊映像来运行德鲁伊集群。
我按照github中的说明启动了集群。
docker run --rm -i -p 3000:8082 -p 3001:8081 druidio/example-cluster
我可以在192.168.99.100:8081访问德鲁伊集群控制台，也可以在192.168.99.100:8090访问协调控制台。
但是，我无法使用tranquility向这个集群上的德鲁伊实例发送任何数据。
我正在使用向德鲁伊发送数据。在这种情况下，宁静被用作库而不是服务器。此示例程序运行良好，如果按照中的说明在VM上本地设置德鲁伊，则可以将数据发送给德鲁伊。
但是，
浏览 0提问于2018-12-03得票数 0
当我试图向德鲁伊用户界面(通过路由器)提交摄取规范时，我得到了“未能提交主管:状态代码502的请求失败”的错误。摄入规范在独立的德鲁伊服务器中工作。
我使用4台机器设置了集群--1台用于协调器和霸主(主)，1台用于历史和中间管理器(数据)，1台用于代理(查询)，1台用于路由器，其中包含一个单独的用于动物园管理员的实例。日志中没有错误。
摄入规范如下：
{
"type": "kafka",
"dataSchema": {
"dataSource": "table1",
"parser&
浏览 1提问于2019-05-20得票数 1
回答已采纳
我正在使用docker-compose部署Apache-druid镜像。我收到以下错误，错误:无法找到或加载主类io.druid.cli.Main。
我已经正确地设置了CLASSPATH。文件在CLASSPATH中。
有什么建议吗？谢谢你的帮助。
谢谢，舒巴达
浏览 1提问于2020-03-27得票数 0
1回答
我从link attached here 安装了德鲁伊来安装德鲁伊。 已将以下代码添加到common.runtime.properties文件中。 # Basic Security
druid.auth.authenticatorChain=["MyBasicAuthenticator"]
druid.auth.authenticator.MyBasicAuthenticator.type=basic
druid.auth.authenticator.MyBasicAuthenticator.initialAdminPassword=password1
druid.auth
浏览 39提问于2019-12-17得票数 1
回答已采纳
2回答
我正在使用Kafka，Druid和SuperSet测试数据流。
我在德鲁伊有一些数据(见1.pic胞)。
在此之后，我可以通过选项“刷新Druid元数据”(参见2.pic)在Superset中生成Druid数据源，问题是当我想要查询数据时，我会得到以下错误消息：
URLError: <urlopen error [Errno -2] Name or service not known>
Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/superset/viz.py
浏览 0提问于2018-04-25得票数 0
回答已采纳
您好，我是和的新手，我正在尝试他们基本的tut 。
我所做的就是运行两个命令。第一个是运行zookeeper：
[root@ingester bin]# source zkServer.sh start
JMX enabled by default
Using config: /opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... [1]+ Exit 1 nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}"
浏览 0提问于2015-06-15得票数 0
我在普雷姆机器上安装了德鲁伊的微型服务器。我想用HDFS作为德鲁伊的深层存储。我使用了以下、和作为参考。
我在/apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/common.runtime.properties中做了以下修改
druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches"]
#
浏览 9提问于2019-12-03得票数 0
回答已采纳
受影响的版本
硬质版:apache-德鲁伊-0.16.0-孵化
jdk版本:jdk1.8.0_172-cloudera
描述
我想通过指南启用我的单服务器“基本安全性”，但是当我运行启动-微快速启动时出现了错误。
日志显示:无法将id 'basic‘类型解析为简单类型的子类型，类org.apache.druid.server.security.Authorizer:已知类型id= Authorizer，allowAll at Source: N/A；line：-1，列：-1
我的common.runtime.properties如下：
# Basic Security
浏览 5提问于2019-11-08得票数 1
回答已采纳
我正在尝试从PostgreSQL到Druid摄取数据。创建索引任务并抛出NullPointerExcpetion失败。
摄食规格
{
"type": "index",
"spec": {
"dataSchema": {
"dataSource": "dataset_new10"
},
"ioConfig": {
"type": "index"
浏览 0提问于2019-07-10得票数 2
回答已采纳
目前，我找不到任何关于Node兼容ORM的信息，用于使用druid。
Druid不是由typeORM官方支持的。
Druid使用sql("Druid SQL")，所以假设我可以将原始sql查询输出到druid，对吗？
浏览 1提问于2020-09-01得票数 0
我对Druid查询有一些疑问。
根据公文，有两种查询语言，即Druid查询和本地查询。
在我的使用中，我觉得使用Druid更舒服，因为我对本机查询不太了解，并且有一个简单的代码。
但是，我不知道两种查询语言在性能上的差别。
他们之间的表现有很大的不同吗？
我看到了一个。在该文档中，在Druid0.15.0或之后重新使用Druid。(目前，Druid的最新版本是0.23.0)
使用Druid查询还是本机查询更好？？
浏览 5提问于2022-08-11得票数 0
回答已采纳
我试图运行超过500 K数据限制的groupBy查询。我得到了这个错误。
{
"error": "Resource limit exceeded",
"errorMessage": "Not enough dictionary space to execute this query. Try increasing druid.query.groupBy.maxMergingDictionarySize or enable disk spilling by setting druid.query.groupBy.maxOnD
浏览 0提问于2018-07-10得票数 3
1回答
我已经使用德鲁伊文档中提到的配置设置了一个集群德鲁伊。
我正在使用AWS S3进行深度存储。下面是我的公共配置文件的片段
druid.extensions.loadList=["druid-datasketches", "mysql-metadata-storage", "druid-s3-extensions", "druid-orc-extensions", "druid-lookups-cached-global"]
# For S3:
druid.storage.type=s3
druid.storage
浏览 5提问于2020-10-05得票数 0
我的java代码类似于：
logger.info("start");
getJdbcTemplate().execute("call " + procedureName + "()");
我有个例外：
org.springframework.dao.DataAccessResourceFailureException: StatementCallback; SQL [call PRMI_UPDATE_USER_LOGIN_INFO()]; Io ERROR: Connection reset; nested exception is java
浏览 2提问于2015-03-12得票数 0
安装程序: HDFS --集群(1-主服务器，2个从服务器) Druid -集群(1-(zk，协调器，重载)，1-(历史，中间管理器)，1-(代理)版本，用于Druid :暗示-2.3.9，HDFS : 2.7.3
common.runtime.properties用于德鲁伊:用于HDFS：
druid.storage.type=hdfs druid.storage.storageDirectory=
当我将任务发布到以创建数据源时。任务失败，下面是例外情况。
错误堆栈跟踪:1)错误注入构造函数，java.io.IOException:无方案的FileSystem : http
浏览 0提问于2018-01-17得票数 0
我正在使用druid来存储数据，用于在超集上创建仪表板。现在，我想使用相同的集群来存储其他项目的数据，这些项目并不完全不同。但我们希望分离这两个项目的数据源。 有没有办法创建数据库/键空间之类的东西来隔离druid中两个不同项目的数据源？
浏览 17提问于2021-07-15得票数 0
我的kafka服务器出了点问题。
我已经用它的端口2080运行apache druid，而用它的端口2181运行zookeeper kafka，以避免在druid和kakfa之间挤占zookeeper。
我对德鲁伊没有任何问题，因为它运行正常，卡夫卡动物园管理员也运行得很好。
但是当我尝试按照以下语法运行kafka服务器时：
./bin/kafka-server-star.sh config/server.properties
使用它的配置：
zookeeper.connect=localhost:9092
我有一个问题，错误说它不会尝试使用SSAL (未知错误)进行身份验证，就像我放在下面的
浏览 5提问于2021-11-18得票数 0
1回答
druid_d_c_t=AC6F5384019F7DBA76B7AC009393E539&p_auth=l3wEweSQ
我已经为druid_d_c_t= druid_d_c_t","(.+?)"和p_auth=p_auth=(.*?)&准备了正则表达式
在运行脚本后，我得到了如下输出：
GET https://aaaaaaaaaaaaaaaaaaaaaaa/druid-web/status?druid_d_c_t=${druid}&p_auth=me6Xr3xa
我认为p_auth工作得很好，但是druid不工作。我需要在哪部分改正它？
浏览 1提问于2015-07-16得票数 0
1回答
在Druid中，我使用的是默认的基本身份验证器。
我的配置看起来像这个
druid.auth.authenticatorChain=["MyBasicMetadataAuthenticator"]
druid.auth.authenticator.MyBasicMetadataAuthenticator.type=basic
druid.auth.authenticator.MyBasicMetadataAuthenticator.initialAdminPassword=password1
druid.auth.authenticator.MyBasicMetadataAut
浏览 3提问于2022-03-11得票数 -1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
