1回答
我的pubsub请求订阅正在发送消息，并且每条消息都有一个None值。作为流水线处理的一部分，我需要找到一种方法来过滤掉none值 当然，一些帮助防止none值从请求订阅到达会更好。我已经设置了一个函数来过滤none值，这个函数似乎可以根据print to console检查来工作，但是当应用一个在none类型上崩溃的lambda函数时，我仍然收到错误。def print_row(row):
print ro
浏览 21提问于2019-05-16得票数 0
回答已采纳
1回答
对于每个blob，我还必须阅读它，在其中查找一些内容，并将其添加到从GCS调用中获得的值中。对于每个blob，我必须将步骤2和步骤3中有关blob的值写入BigQuery
我对管道的想法是这样的：使用该PCollection可以获得作为新PCollection的blobs列表。使用这些小块的元数据创
浏览 2提问于2018-05-24得票数 1
我有一个PCollection的对象，我从公共获得，让我们说：在学生属性中，有一个属性(假设为studentID)；我希望用这个学生id从BigQuery读取属性( class_code )，并将从BQ获得的class_code设置为PCollcetion中的学生对象。有谁知道如何实现这一点吗？我知道在beam中有一个BigQueryIO，但是如果我想要在BQ中执行的查询字符串条件是来自<e
浏览 0提问于2018-11-08得票数 2
1回答
我以为这可以提取一个ListString，但不是。(anmKey是OptionString) run(query[Anm].map(_.anmKey).flatMap(_))
浏览 14提问于2021-10-14得票数 1
要连接两个嵌套结构的堆栈，我们需要在执行连接之前取消PCollection的嵌套，因为遇到了挑战(请参阅我的另一个堆栈溢出案例a link)。所以想知道如何解除PCollection的嵌套。如果有人能给出连接两个嵌套表或如何解除PCollections嵌套想法，那就太好了。 我刚刚注意到，我们使用PTransform "Unnest“(link)将集合从嵌套集合中解套出来。1) PCollection empCollection = ReadCollectio
浏览 40提问于2019-04-06得票数 0
只想知道如何从PCollection中提取东西？假设我已经应用了一个Count.Globally，所以结果的PCollection中只有一个数字，但是我如何提取它作为一个长值呢？
谢谢。
浏览 3提问于2015-01-18得票数 3
我有一个PCollection，它包含许多MyResult对象。 // Psudo-Code PCollection<MyResult> myResul
浏览 2提问于2022-06-07得票数 0
对于密筛，我得到的最大值只有38%。因此，为此，我试图使用PCA从每个描述符中获取主要特性。然后我结合这些主要特征来进行识别。但我得到的结果更糟。为什么密筛会造成最坏的结果？为什么当我把所有的主成分(从猪、筛和密筛)组合在一起时，我得到了更坏的结果？？
现在，我只是在一个样本图像中做所有的事情。
浏览 1提问于2014-05-01得票数 0
我正在搜索如何从列表中筛选出无值，然后找到了这段代码。my_list = [None, 1, 1, None]它工作得很好，但是没有关于代码是如何工作的解释，我也不能弄清楚。有人能解释一下代码是如何工作的吗？
谢谢。
浏览 5提问于2019-07-13得票数 0
在转换过程中，我需要查找MongoDB/DocumentDB/Redis，其中存储了我们的参考数据。我正在通过apache beam实现这个用例。我需要使用这些数据库(MongoDB/DocumentDB/Redis)中的集合/表作为辅助输入，以便加载一次并从那里进行查找。我希望一次加载所有记录，并使其可用于侧边输入。<String, String>asMap());
在MongoToKeyValueDoFn类中，我将键和值放在HashMap中
浏览 0提问于2020-12-15得票数 1
2回答
在ParDo函数中，当映射值时，我们可以从sideinput集合中获得多个映射记录作为一个集合。在这种情况下，如何处理集合以及如何将这些值的集合返回给PCollection。PCollection<TableRow> pc1 = ...; ParDo.of(new fnConvertTableRowToRow&
浏览 0提问于2019-07-24得票数 0
我有大量的数据文件(1TB)要导入到BigQuery中。每一行都包含一个键。在导入数据和创建PCollection以导出到BigQuery时，我希望确保不会根据这个键值导入重复的记录。在我使用Dataflow的Java程序中，最有效的方法是什么？
谢谢
浏览 5提问于2015-02-10得票数 4
回答已采纳
我试图从BigQuery中的两个表中提取数据，然后通过CoGroupByKey加入它。虽然BigQuery的输出是PCollection<TableRow>，但是CoGroupByKey需要PCollection<KV<K,V>>。如何将PCollection<TableRow>转换为PCollection<KV<K,V>>
浏览 5提问于2016-12-20得票数 0
回答已采纳
我从转换SampleSource中获得一个PCollection<Row>，并将其输出传递给一个SqlTransform。String sql1 = "select c1, c2, c3 from PCOLLECTION where c1 > 1";
下面的代码运行时没有任何错误。org.apache.beam.repackaged.beam_sdks_java_extensions_sql.org.apache.calcite.sql.validate.SqlValidatorExc
浏览 7提问于2019-07-02得票数 0
我有一个PCollection of KV<String,Integer>项，我想找到值最大的对。
Max.integersPerKey给出了与输入中的每个键相关联的最高值的键值对的PCollection；我只想要一个具有全局最高值的项目。Max.integersGlobally需要整数的PCollection</em
浏览 0提问于2018-07-10得票数 0
回答已采纳
我有2个相同格式的pCollections，我还有另一个其他格式的pCollection。我试着做一个ParDo函数，对于pCollection 3中的每个项目，根据这个项目的值，搜索项目是否存在于pCollection 1或2中，以完成pCollection 1或2的信息输出。但我不知道这个ParDo函数是如何做到的。这是我的代码： pCollection1, pCollection</em
浏览 0提问于2020-09-21得票数 3
1回答
在我的数据流管道中，我将从PCollections<TableRow>表中读取两个BigQuery。我计划将这两个PCollections合并成一个带有的PCollection。因为BigQuery仅仅是附加的，所以目标是用一个新的PCollection在BigQuery中编写第二个表。
我已经阅读了文档，这是我困惑的中间步骤。所有PCollection<TableRow>s都包含相同的值:即:字符串、整数和时间戳。当涉及到键值对时，云数据流上的
浏览 9提问于2016-06-11得票数 0
回答已采纳
我希望能够在单个PCollection元素中维护一组实体，但可以并行地从Google Cloud Storage获取这些实体。我的用例是，在我的管道中的某一点上，我拥有作为输入的PCollection<String>。PCollection的每个元素都是一个GCS glob模式。我遇到的挑战是:如何将拆分的调用分组/收集回DoFn中的单个输出值？这似乎适用于我的用例，但我不知道/不知道如何</e
浏览 6提问于2021-03-30得票数 0
在下面给出的代码中，我有一个具有许多None值的None(如ref中所打印的)。我正在使用在主代码中其他地方定义的这个dictionary和self.entries创建一个ref。print(type(datadict)) print(datalist)
代码的结果(如下所示)显然包含无值的键', None, None, None, None
浏览 4提问于2016-02-14得票数 0
回答已采纳
有没有一种方法可以让我们把Apache Crunch输出写到S3存储桶中。在crunch流水线写入中有一种以Target为参数的方法。有没有办法将S3作为目标添加到crunch的编写方法中。
浏览 12提问于2021-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
