我想知道，当我们将PXF和datanode放在同一主机上时，Greenplum pxf是否可以利用HDFS短路读取。我们做了一个初步的测试，但是，似乎pxf没有利用短路读取。谷歌搜索后几乎什么都没有，所以我们不确定我们是否遗漏了什么。我们使用Greenplum 6.4 (社区版本)、pxf 5.11.2和CDH 6.3。 任何参考，建议或意见都是非常感谢的。
浏览 45提问于2020-04-22得票数 0
回答已采纳
在多行json表中使用pxf json插件创建外部表来访问json数据的示例"coordinates.values[0]" INTEGER,"coordinates
浏览 1提问于2020-06-12得票数 0
2回答
我创建了一个GPDB(greenplum-db-5.18.0)集群，其中包含一个主机和3个段主机。在此link之后，我配置了kerberos和hdfs core xmls，并成功启动了PXF服务。/DFSClient', 'java/lang/String', 'org/apache/hadoop/ipc/RemoteException', 'java/io/IOException'
浏览 121提问于2019-05-15得票数 0
您好，我在Oracle和SQL Server中有表格。我需要使用Spring XD将数据从oracle和sql server加载到Pivotal HAWQ中。在文档中找不到。
浏览 2提问于2014-11-18得票数 2
5回答
使用HDP 2.4和HAWQ2.0按照下面的步骤向PXF中添加新的json插件并读取数据。从下载插件“json ext-3.0.1.0-1.jar”
将插件复制到路径/usr/lib/pxf中。FRAGMENTER=org.apache.hawq.pxf.plugins.hdfs.HdfsDataFragmenter‘'&ACCESSOR=org.ap
浏览 5提问于2016-07-14得票数 1
因此，我将HDFS配置为执行短路读取，并且在使用HDFS读取API时，我检查了是否启用了短路读取，并且执行得非常好。(我可以看到功能启用成功的日志。)但是，当我在HDFS上运行HBase时，我不知道是否启用了这种短路读取。
这是我放在hdfs-site.xml中的属性，我找到了一个文档，在hbase-site.xml中，我也必须配置这个设置。这是真的吗，即使我已经
浏览 3提问于2021-01-18得票数 0
我们有一个Greenplum环境，目前我们已将gphdfs配置为支持从Greenplum在HDFS上写入数据。对于不同的用户，需要写入不同的HDFS。是否可以为不同的用户配置不同的gphdfs配置，从而根据用户的不同，将数据写入其对应的已配置HDFS上？预期结果:从用户1开始，当我创建可写的外部表时，Location属性将类似于LOCATION (‘gphdfs://hdfs_1_for_user1:8020/path&#
浏览 44提问于2019-05-02得票数 0
2回答
我有一个不稳定的客户，他想在经过一些预处理后将数据从HAWQ推送到GREENPLUM。有没有办法做到这一点？如果没有，是否可以在greenplum中创建一个外部表，以便从运行HAWQ的HDFS中读取该表？
任何帮助都将不胜感激。
浏览 2提问于2014-06-09得票数 1
因此，我正在根据我在postgres中的表，在greenplum中创建外部表。什么不支持uuid类型？因为我读过文档，据我所知，postgres和greenplum都支持uuid类型。所以我认为问题在于pxf连接本身？
浏览 27提问于2022-08-30得票数 1
回答已采纳
我在Greenplum DB中有数DB的结构化数据。我需要在我的数据上运行本质上是MapReduce作业的东西。但我认为这背后的数据存储区HDFS的效率将低于Greenplum。(请注意“我相信”。我很高兴知道我错了，但请提供一些证据。)因此，为了与Greenplum存储层保持一致，我研究了Pivotal的HAWQ，它基本上是Greenplum上的Hadoop和SQL。因此，我正处在不知道
浏览 2提问于2015-09-12得票数 3
我们有小hadoop和Greenplum星系团。输出:1.我们正在尝试使用GREENPLUM扩展数据管道。主要是将HAWQ内部表或外部可读表数据直接推入格林梅。因为我们想编辑我们的文件。此外，HAWQ不支持更新和删除。是否有其他方法来接近或推送数据。请指点。提前谢谢！
浏览 0提问于2016-09-18得票数 1
回答已采纳
我们希望将我们的数据管道转换为外部系统--> talend -->hadoop-hawq-->greenplum ->tableau。
如何从GPDB处理数据文件。因此，它也带来了更快的报告和预测分析。
浏览 2提问于2016-05-17得票数 3
回答已采纳
我试图读取卡夫卡的数据，并将其上传到格林梅利的数据库使用火花。我使用的是格林梅-火花连接器，但我正在获取数据源，io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据？我曾尝试将数据源命名为“绿梅”，并将"io.pivotal.greenplum.spark.GreenplumRelationProvider“转换为.format(”数据源“)
val EventStreamearlie
浏览 0提问于2019-04-04得票数 0
回答已采纳
我试图连接到Greenplum数据库，使用Spark读取表中的数据，并将其保存为HDFS上的文件。但我面对的障碍与司机或连接器，我正在使用。System.exit(1)
val yearDF = spark.read.format("greenplum").option("url", connectionUrl)_2.11-1.3.0.jar --conf spark.jars=/home/etluser/jars/gree
浏览 2提问于2019-01-07得票数 1
2回答
我能够连接到Greenplum，但是当我尝试使用导入外部模式命令时会出现一个错误。IMPORT FOREIGN SCHEMA remote_schema FROM SERVER "remote_server" INTO schema_test_1; ERROR: GreenplumCONTEXT: remote SQL command: START TRANSACTION ISOLATION LEVEL REPEATABLE READ我读到，格林梅利不支持可重复<e
浏览 0提问于2019-11-11得票数 0
2回答
Dask支持哪些分布式文件系统？具体来说，您可以从哪个文件系统中读取dask.dataframe？从Dask文档中，我可以看到HDFS当然是受支持的。是否支持任何其他分布式文件系统，如Ceph等？我可以在这里找到一些关于支持其他文件系统的想法的讨论：，但没有最后的结论，只是HDFS比其他选项“更糟糕”。
谢谢你的帮助!
浏览 3提问于2018-05-11得票数 3
回答已采纳
access=READ_EXECUTE, inode="/user/hive/warehouse/mydb.db/mytable":hive:hive:drwxrwx--x 首先，我认为"myuser“没有权限读取数据库因此'myuser‘似乎拥有读取数据库的权限。我是否遗漏了一些关于kerberos身份验证的内容？
浏览 44提问于2021-07-09得票数 0
回答已采纳
1回答
由于海量数据是在hdfs.Can上产生的，支持直接读取hdfs.Can文件，以前我把海量数据放在本地磁盘上，然后打开读取，但是这样做耗费时间和存储history = model.fit_generator(train_generator)
可以直接读取hdfs文件
浏览 0提问于2019-08-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
