1回答
mrs-suds-sloaders/loader-log/output/{year}/{month}/{Day}/{Hour}/{Min}/ts_date={yyyy-mm-dd}/orid={orid}/file.orcmrs-suds-sloaders/loader-log/output/2020/08/06/00/30/ts_date=2020-08-05/orid=6691
浏览 0提问于2020-08-11得票数 4
我想通过分区ORC列创建一个BigQuery分区表。GCS中的文件： mydate=2021-04-01/*.orcmydate=2021-04-30/*.orc 命令bq： bq load --source_format=ORC --time_partitioning_fieldmydate --time_partitioning_type DAY mydataset.mytable gs:/
浏览 39提问于2021-05-10得票数 0
回答已采纳
1回答
有没有使用分区将数据加载到ORC中的最佳实践？如果我将120 GB的数据加载到ORC分区表中。Partition位于2列上。如果要重新加载特定分区的数据，如何执行重新加载活动。如何删除分区，是Alter Table Drop partition(Partition值)。即使在删除分区后，我仍然在Hive/WareHou
浏览 0提问于2015-05-07得票数 0
我们有一个数据存储在gcp桶中，格式如下- gs:/gcptest/Year=2020/Month=06/day=18/test1.parquet和day=18文件夹下的这么多文件。我希望在bigquery中创建一个表，其中的列存在于文件中，并按文件路径上的年份、月份和日期进行分区。这样，当我将数据加载到表中时，我可以从gcp桶中选择路径，并加载数据，这些数据将按路径
浏览 3提问于2020-06-18得票数 1
回答已采纳
我在蜂巢里有一个分区的兽人表。在用HDFS上所有可能的分区加载表之后--多个ORC文件，即HDFS上的每个分区目录都有一个ORC文件。我需要将每个分区下的所有这些ORC文件组合成一个大的ORC文件，用于一些用例。
有人能建议我将这些多个ORC文件(属于每个分区)合并成一个大<
浏览 0提问于2017-12-29得票数 1
2回答
目前，insert overwrite table T1 select * from T2;将在我的集群中花费大约100分钟。Table T1 is ORC格式化和T2 is text格式化。我正在从T2读取60 GB的文本数据，并将其插入ORC表T1(插入后为10 GB )。如果我对两个表使用文本格式，插入大约需要50分钟。在这两种情况下，我们可以做些什么来提高写入速度(我有大量的表要输入)或其他建议？
浏览 5提问于2016-08-08得票数 3
我们可以在BigQuery表上创建一个分区，同时创建一个BigQuery表。
如何将数据截断并加载到BigQuer
浏览 8提问于2017-11-08得票数 1
2回答
请让我知道是否有更快的方式移动(*.gz)到兽人表直接。
1)另一个想法，从*.gz文件到非分区表，而不是创建外部表和将gz文件数据转储到外部表。是否有其他方法可以更快地从Gz加载到外部表。(如果ADF在Azure Blob存储数据中心的集群上执行.exe，那么就不会有网络成本，没有网络延迟和上传未压缩数据的时间就会非常少)。那么ADF有可能吗？会不会是正确的做法
浏览 8提问于2015-05-06得票数 1
回答已采纳
我已将csv文件保存在gcs上的路径中，如/data/yyyy=2020/yyyy=07/dd=03，/data/yyyy=2020/ mm =08/dd=04等。我一直在设法提取文件路径中的yyyy、mm、dd值，以便我可以使用它在BigQuery表中填充类似的列。
浏览 3提问于2020-10-11得票数 1
回答已采纳
我想要将CSV数据加载到包含不同分区BigQuery的table.My CSV文件中，我可以将整个CSV文件加载到BigQuery分区表中，以便将特定的csv分区数据分配到BigQuery中的各个分区。
浏览 5提问于2017-04-17得票数 0
回答已采纳
2回答
我有1亿条记录的表格数据，每条记录都有15列。我需要查询这些数据的3列，并筛选出用于进一步处理的记录。方法1将数据存储为中的csv或parquet。方法2使用HiveContext创建一个Hive表，并持久化该表和Hive元数据。需要时使用HiveContext查询此表。怀疑：
在方法2中，是否将查询推送到数据库级别(HDFS)，并且只读取并返回满足条件的记录？或者将整个数据读入内存(与大多数火花作业一样)，然后使用元数
浏览 0提问于2018-04-10得票数 3
任何人，都知道如何从带有分区的Hive托管表中查询ORC分区表插入。我没有这样做。即使在为HIVE表插入新分区之后，我也无法使用SELECT和WHERE…查询它。好了！以下是我的查询详细信息：>CREATE TABLE mydb.loan_orc
(<NON PARTITION COLUM
浏览 3提问于2015-06-26得票数 0
我对Hive查询很陌生，我正在寻找从Hive表中检索数据的最佳实践。我们已经启用了TeZ具有执行引擎和启用了矢量化。
我们希望从Hive表中进行报告，我从TEZ文档中看到，它可以用于实时报告。2)我们发现的另一个问题是，最初我们在HDFS中有指向Blob/File的未分区表，它的大小为60 GB，有200列，当我们将数据从非分区表转储到
浏览 2提问于2015-03-07得票数 1
回答已采纳
我有一个BigQuery 日期分区表，我想将该表转换为摄取时间分区表(在_PARTITIONTIME上进行分区)，使用当前的日期分区将其输入_PARTITIONTIME。我该怎么做？
为什么？，因为只有摄入分区表才能增量加载到使用BigQuery的预定查询功能(通过使用@rundate参数作为分区装饰器)
浏览 3提问于2018-10-17得票数 2
2回答
在spark-shell中，如何加载现有的Hive表，但只加载其中的一个分区？val df = spark.read.format("orc").load("mytable")谢谢!
浏览 19提问于2020-04-30得票数 0
回答已采纳
我是BigQuery的新手，我正在尝试创建带有日分区的表，而不是google允许的默认分区。是否有可能备份日期日期的日分区？由于我试图加载历史数据，所以今天使用这些分区是没有帮助的。我正在通过Google在BigQuery中创建表。
谢谢!
浏览 0提问于2017-10-06得票数 0
回答已采纳
根据，分区表可以有2500个分区：
$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioneduse_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips
浏览 0提问于2018-03-28得票数 3
回答已采纳
是否有任何方法直接将数据从云存储加载到表中的特定分区？我知道，Bigquery在预定的查询中有WRITE_TRUNCATE，但是如何将它与云存储结合起来呢？或者，这是将大量数据(5000万条记录)释放到Bigquery表中特定分区的其他方式吗？
浏览 3提问于2022-09-23得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
