Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >在BigQuery中更新购物客户级数据的最佳方法

问在BigQuery中更新购物客户级数据的最佳方法
EN

Stack Overflow用户

提问于 2021-03-05 18:44:10

回答 1查看 96关注 0票数 1

出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。任何关于设计模式的建议都将不胜感激。非常感谢

google-bigquery

EN

回答 1

Stack Overflow用户

发布于 2021-03-06 06:33:54

要处理GCS (源)上加载的增量数据，目标是Bigquery，您有两个Google选项：

数据流:您可以创建一个数据流管道并将增量数据加载到Bigquery (中间表)中。一旦将数据加载到Bigquery中间表中，您就可以计算连接2个表(目标表和中间表)的当前状态，并获得附加到目标Bigquery表的最新数据。数据计算可以通过预定的数据流管道或预定的Bigquery来完成。

Here你可以参考，how to create Pipeline。您可以添加目标(BigQuery表)作为引用。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/66497966

复制

相关文章

Django更新数据模型

python 数据库 sql

在更新模型的时候遇到问题，网上有说删app下migrations目录的，有说要删数据库django_migrations表的, 还有的要在数据库中更改字段的。

Spaceack

2020/11/04

1.1K0

更新的同时获取被更新的记录的id

更新的同时获取被更新的记录的id 一般我的写法是 select auto_id into v_id from history where state=1 and rownum=1; update history set state=0 where auto_id=v_id 能不能把两条语句合成一条写呀可以了 UPDATE BIZ_WORKFLOW SET SEND_MARK=1 WHERE AUTO_ID=ID RETURN AUTO_ID INTO ID ;

阿新

2018/04/12

1.7K0

ios 版本更新提示-硬更新/软更新

步骤一：将检测更新写到APPDelegate的applicationDidBecomeActive中

用户1219438

2019/01/03

1.3K0

Django-South介绍

python django 数据库 sql

South是方便Django应用进行数据库迁移/变动的这么个应用。它的宗旨是提供一个简单，稳定和数据库独立迁移层，以此来摒弃那些随着时间变化model的schema发生变化所带来的麻烦。

the5fire

2019/02/28

6860

Django的ORM操作-更新数据

更新单个数据 ---- 修改单个实体的某些字段值的步骤查询：通过get()得到要修改的实体对象修改：通过对象的属性方法修改数据保存: 通过save()进行保存进入Django Shell进行操作 # 修改system字段为Ubuntu18.04 from monitor.models import Asset select = Asset.objects.get(id=1) select.system="Ubuntu18.04" select.save() # 一定要保存,如果不保存不会c

Yuou

2022/09/26

5740

Gradle版本更新

gradle 缓存 https 网络安全 android

但是上面两种方式有时会下载很慢，所以通过手动下载gradle https://services.gradle.org/distributions

IT晴天

2021/05/24

2.9K0

Git 版本更新

操作平台：windows 打开 Git bash 工具查看当前 git 版本信息 git --version 输入命令 git update //旧版 git update-git-for-windows //新版等待完成即可

攻城狮杰森

2022/06/03

1.5K0

WordPress 版本更新

wordpress 网站建设网站安全

WordPress 是一个内容管理系统 (WCM)，即它是一种以最佳方式组织创建、存储和展示 Web 内容的整个过程的工具。WordPress 作为一种改进工具开始了它的旅程，以增强日常写作的常规排版。但它被视为一种博客工具，当我们进入今年最后一个季度时，WordPress 成为最常用的 WCM 系统，而且不仅在博客社区中也是如此。

海拥

2023/01/01

2.7K0

浅谈android应用的版本更新

android sdk ide

我们都知道一个软件不可能一个版本就能做到特别完美，都需要经过不断的修改和优化才能成为一个稳定的版本。我们需要不停的对软件进行功能添加，bug修复以及性能上

再见孙悟空_

2023/02/10

6040

浅谈android应用的版本更新

php curl 版本更新,php curl 更新

项目服务器使用的是阿里云centos6.8,默认的 curl 版本为7.19.您可以通过phpinfo()来查看版本或者shell

高久峰

2023/07/02

5760

更新 Ubuntu 系统的 Python 版本

ubuntu linux python 打包

apt的全称是“Advanced Packaging Tool”，是 Linux 系统下的一款安装包管理工具。在 Ubuntu 的终端中输入如下指令，目的是更新当前系统的软件并安装一个组件 software-properties-common。

老齐

2021/04/30

15.9K0

更新 Ubuntu 系统的 Python 版本

更新pip版本的命令_升级pip版本的命令

java pip 架构架构师

大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说更新pip版本的命令_升级pip版本的命令,希望能够帮助大家进步!!!

Java架构师必看

2022/06/09

7.7K0

TensorFlow版本更新后运行代码所遇到的error（持续更新）

本博客会持续更新，如果遇到新的问题，欢迎大家提问，大家一起进步！ AttributeError: module ‘tensorflow’ has no attribute ‘mul’ 原因：Tenso

双愚

2018/05/28

9220

pycharm更新pip失败_更新pip版本失败

java https 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/172950.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/25

1.7K0

pycharm更新pip失败_更新pip版本失败

如何在Mac上的软件更新中隐藏MacOS Catalina更新提示

mac os bash bash 指令

有好多小伙伴不愿意升级到MacOS Catalina，但是电脑上有系统更新的红点，那么怎么去除呢，下面教大家如何在Mac上的软件更新中隐藏MacOS Catalina，Mac取消系统更新的红点。

MAC先森

2019/10/21

5.5K0

Anroid app版本更新

数据库 android kotlin

Android app更新是app必须拥有的功能，上线之后，可以强制用户更新也可以提示用户有新版，之所以写这篇文章，是为了介绍app版本更新的思路，内容还是比较简单的。

黄林晴

2019/01/10

8380

小版本更新kubernetes

kubernetes shell 二进制脚本 linux

此脚本基于 https://github.com/cby-chen/Kubernetes/ 仓库内的安装部署文档。

小陈运维

2023/08/10

1640

Mac 更新node版本

node.js javascript

第三步，安装 n 工具，这个工具是专门用来管理node.js版本的，别怀疑这个工具的名字，是他是他就是他，他的名字就是 "n"

程序员不务正业

2019/07/11

2.6K0

flume 1.9 版本更新

大数据数据传输服务大数据解决方案

FLUME-2071 - Flume环境变量不支持float或double的配置值.

皮皮熊

2019/04/29

2K0

游戏版本更新小记

先大概介绍一下项目，卡牌游戏，主要面向女性用户。前期是走IOS市场，后来又移值到Android平台上，在几家大一点的Android渠道上进行运营。Android接入了十几家渠道，比如：91安卓、奇虎360、小米、百度手机助手、安智、联通沃商店、移动MM、电信EGame、联想、酷派、oppo、HTC（聚乐）、魅族（37Wan）、当乐等（后面还有比如豌豆荚、应用宝），IOS也接入了几家：同步推、PP、快用、91、当乐、ITools等。项目前台使用的Cocos2d-x（V2.2.3） + 公司自己实现的一套MVC 然后绑的Lua，后台使用的是Java。当天更新采取的策略是IOS、Android一起停服更新，这样带来的好处就是前、后端不用维护多个版本，风险同样也大，这么多渠道，首先要提交至少三～四天出包，然后自己内部先测试（登录、注册、充值、重启、断线重连，这个不算游戏内的新增/修改的功能），然后提交包至各渠道进行审核（有被打回的风险）。然后就是各平台上线的时间无法统一，有的平台是手工操作，点一下立马生效，有的需要等待一段时间，有的都不确定多长时间才会生效（像苹果一样，iClound云里下载的可能还是旧的，虽然作为开发者你已经在后台操作放开了），如果每一家渠道对应一组服务器也就罢了，但实际上每一家在不打广告和推广的情况下是不大可能开一组服务器的，这样就会出现几个渠道混服的情况。就会导致有些平台已经审核并通过了，跟它分在同一组服务器的渠道有可能审核被打回了，不让上架，那么作为该平台的玩家就可能比较郁闷了，都不知道何时才能再进游戏，玩家流失的可能性大大提高了。说了现状，再重点记录一下遇到的一些问题。因为渠道很多，SDK都不一样，很多SDK不提供SDK内强制更新机制，就导致玩家不知道从哪下载最新的包。有的SDK又不允许游戏内置强制更新机制，以免游戏被导入到其它平台造成利益分成的损失。各家SDK的水平真是参差不齐，导致我们更新后，遇多很多玩家不知道如何更新游戏，一登录游戏又会提醒说版本过低，请下载最新的版本。然后很多玩家都不知道自己到底是是在哪个渠道玩，因为所有的Android玩家都在几个大群里，并没有按渠道分群。他只知道他在哪组服里，而他到底是属于哪家平台的无从得知（光看界面看不出来，因为有几家他们的SDK不提供登录系统，只需要接入他们的支付），只要要求玩家提供在游戏内的角色名，然后再查出他从哪家平台登录的，说起来真是满脸都是累... 还有就是更新的版本，如果替换了SDK则会有潜在的风险，比如最严重的就是影响到帐号系统，这样导致玩家无法玩以前的号了。更新之后我遇到的一个玩家反映无法登录，说QQ号无法登录。我说我们游戏目前没有QQ号登录这一说法啊，不太明白，然后他反映说是安智的平台，截图给我看，就是在安智的SDK登录界面，下面有新浪微博、QQ的授权登录，不曾想安智最近不知改了什么策略，导致qq授权成功后显示的页面为空白，而无法继续游戏了。之前的版本玩家说好的，一更新就出了这个总是，然后我们仔细查了一下，跟安智那边的技术反复沟通，最终安智说同意我们可以不按他们要求的SDK版本号打包。因为如果按照他们强制要求的Android SDK 15打出来的包，在Android 4.4.3下无法显示授权成功的回调页。

meteoric

2018/11/19

8230

相似问题

SwiftUI不能动画化图像转换

11

如何让核心图像过滤器(如CILinearGradient )工作？

10

如何在SwiftUI中制作图像动画，以播放帧动画

5165

如何在SwiftUI中动画化视图之间的转换？

10

核心数据图像转换swiftUI

21

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例