我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。
我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
2回答
我有大约20 in的时间序列数据存储在大查询中。
我目前的管道是：
大查询=>中的原始数据加入大查询以创建更大的查询数据集=>将它们存储在桶中
然后我在桶中下载了一个文件的子集：
使用Python/SFrame对数据进行插值/重采样，因为有些时间序列数据缺少时间，而且采样不均匀。
然而，在本地PC上需要很长时间，我猜需要几天的时间才能通过20 to的数据。
既然数据已经在桶里了，我想知道谷歌最好的插值和重采样工具是什么？
在重新采样和插值之后，我可能会使用Facebook的先知( Prophet )或自动阿里玛( ARIMA )来创建一些预测。但这将是在当地完成的。
谷歌提供的
浏览 3提问于2018-04-13得票数 1
回答已采纳
1回答
我有一个用Java 7编写的相当大的控制台应用程序，它管理着大量的订单处理。
该应用程序使用许多用于订单的web服务，与数据库进行接口，并将数据插入到ERP系统中。应用程序的需求没有指定用户交互，因此在项目规划期间不考虑Java。
尽管如此，今年的举措之一是寻找消除成本和提高效率的方法。因此，我试图确定是否可以将基于控制台的应用程序部署到云服务(如OpenShift或Heroku )中，而不会有什么变化。
因此，问题是：能否将Java应用程序部署到云服务或应用服务器上，而几乎没有变化？。
-编辑--
正如下面提到的，这是可能的，但是怎么做呢？要将jar控制台应用程序部署到应用程序服务器并使其成
浏览 5提问于2013-04-01得票数 0
我将使用PySpark运行一些东西(回归、ML等)。在相当大的结构化数值数据集(>1TB)上。目前，谷歌云存储上的数据是CSV格式的。是否将数据转换为其他格式(Parquet等)？在csv中加速阅读火花，还是阅读速度大致相同？
浏览 2提问于2017-06-27得票数 0
回答已采纳
我有REST API Java应用程序，并想将其移动到云。
但是我不知道使用哪个教程。我已经在容器注册表中有由Jib制作的docker镜像，并希望将其与一些云数据库(云SQL/Spanner)连接。
如何将此连接道具更改为云？
db.driver=com.mysql.cj.jdbc.Driver
db.url=jdbc:mysql://localhost:3306/db
db.username=usrname
db.password=pswd
db.entity.package = com.example.model
浏览 3提问于2019-12-11得票数 0
1回答
我是Java/Apache tomcat的新手
我需要使用java在蔚蓝云服务中构建一个web服务。web服务运行在apache 7、JDK1.7上，并在蔚蓝vm上运行一个mongo-db。
该服务被用作存储在mongodb中的一个稍微复杂的键值数据的“代理”，并且应该在不久的将来大量请求它。
它在开发中运行良好，当开始在生产中使用它时购买(一天~100 K请求)--过了一段时间，它开始返回500 (502和503)。重新启动云服务服务器正在修复此问题，但一两天后再次发生。
它似乎并不是与大负载相关的东西，因为CPU的统计数据很好(不超过70%，大部分是30%)。
这个问题与mongodb无关
浏览 2提问于2014-02-06得票数 0
回答已采纳
1回答
我一直在读这篇关于直接读取实时数据库与调用返回数据库数据的云函数的文章。 如果我返回一个相当大的数据块，例如一个包含来自云函数的代表50个用户评论的数据的json对象，这算不算出站数据(Egress)数据？如果是这样的话，每月每gb的费用是0.12美元吗？ 注释是这样存储的，并带有一个增量键。 comments: [0 -> {text: “Adsadsads”},
1 -> {text: “dadsacxdg”},
etc.] 此外，我已经了解到，您可以使用客户端sdks调用goOffline()和goOnline()来停止并发连接。关闭和打开数据库连接是否有任何成本，或者只是
浏览 9提问于2020-10-04得票数 1
回答已采纳
我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
3回答
有什么方法可以在云上进行计算机视觉吗？这个想法就像人们登录一个网站，然后摄像头被激活，视频数据通过互联网发送到服务器。服务器对这些数据进行处理，并将处理后的数据实时或至少每秒10帧传回给用户。
这可行吗？在网络方面，我们需要什么样的技能？我知道视频流是其中的一个组成部分。另外，我们如何设置服务器？分布式系统是否可以在有限的时间内考虑非常大的计算？
浏览 0提问于2011-03-04得票数 4
我想在谷歌云bigQuery中加载大容量的数据。
我手头的所有选项(使用UI和API)是什么，最快的方法是什么？
蒂娅！
浏览 0提问于2018-07-13得票数 1
回答已采纳
我在一个s3桶(tar文件)中备份了一个mongodb，并且我希望将它恢复/导入到mongodb云地图实例中，而不让数据通过我的本地机器，因为它是一个非常大的文件，这可能吗？
浏览 6提问于2022-11-12得票数 0
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型)。
在此过程中不能使用第三方工具。任何开源工具都是允许的。
我正在考虑从spark中提取数据(通过将DataProc用于spark作业)，并将其存储在GCP (任何一个云存储或大表或大查询)中。通过云sql -这是不可能的，因
浏览 2提问于2019-11-17得票数 0
我正在寻找一种简单的方法(当然，具有良好的性能)来向web应用程序公开我的BigQuery表中的数据。
当前正在运行的解决方案是使用一个云函数和Firestore (在本机模式下)在BigQuery中公开数据。该实现类似于-，一旦数据被写入最终的大查询表，我们就触发云函数(每次提交500条记录)来更新最后一个消防站表中的数据。-
而且，为了避免与云函数相关的超时问题，我们将整个数据集分成几个批次，每个云函数实例只处理一批记录。
但是在运行后不久，我们就遇到了写入方面的可伸缩性问题，因为我们是按顺序触发云函数实例的。
提高性能的一个简单方法可能是从云函数内部进行并行写入，但同样地，根据消防局文档
浏览 2提问于2021-03-30得票数 0
2回答
我想使用Apache来操纵Google中的大量数据。
我按照文档划分了一个包含5个节点的cluster集群。一切都完美无缺。
但是我的数据是在上，我了解到我可以使用Spark直接查询它，这是Google推荐的。
在这种情况下，是否有必要拆分整个集群？星火在谷歌云存储上的效率和HDFS一样高吗？
如果不是，那就更容易用木星和星火旋转一个大VM，并使用它来运行存储在GCS上的数据上的作业。
浏览 2提问于2018-08-13得票数 0
回答已采纳
[图片]
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11
浏览器信息
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36
浏览 465提问于2017-11-02
1回答
我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。对于这个用例，下面哪个选项更好呢？
使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。
基于下面对这个特定用途的分析，我发现下面的云存储可以通过BigQuery查询。此外，Bigtable支持CSV导入和查询。BigQuery限制还提到，根据文档，在CSV、JSON和Avro的所有输入文件中，每个加载作业的最大大小为15
浏览 0提问于2019-01-24得票数 0
回答已采纳
1回答
最近，我尝试使用Visual Studio2010中的C++将点云数据写入.txt文件。一开始我使用ostream输出数据，但我发现写入数据时速度很慢。
我的代码：
std::ofstream outfile;
outfile.open(filename.c_str());
for(int index = 0;index < pointcloud.size();index++){
outfile<<pointcloud[index].x<<pointcloud[index].y<<pointcloud[index].z
<<poin
浏览 23提问于2017-03-08得票数 0
我需要决定，对于一个小型客户端和一个小预算(每月大约500美元)，适当的云提供商需要一些计算实例来保存一个web服务器、一个数据库和一个Apache服务器。我想知道，像DigitalOcean这样的公司，与甲骨文、Azure、AWS、谷歌相比，以极低的价格提供计算实例。
当涉及到基础设施的时候，为什么公司选择这些大公司而不是更便宜的选择？这么高的价格和低的价格有什么大的区别？
浏览 0提问于2020-01-05得票数 2
回答已采纳
近日，神州高铁与腾讯云计算有限责任公司签署了《框架合作协议书》。双方一致同意建立长期合作伙伴关系，充分发挥各自优势，共同推动互联网、大数据、云计算、物联网、人工智能等在轨道交通产业领域的应用。
浏览 1438提问于2018-07-24
我切换到大查询，因为高性能。但是不知道如何将数据从上传到大型查询数据库。还有一些问题..。我可以直接访问我的数据库从谷歌云存储，同时使用大查询。我要先把它转换成某种格式吗？如何继续更新大查询数据库到我的谷歌云存储数据库。
提前谢谢。
浏览 9提问于2016-02-25得票数 1
回答已采纳
Google App Engine是一个云计算架构，支持部署基于java的web服务。
.Net web开发人员可以使用哪些云计算托管选项？
浏览 0提问于2009-07-14得票数 10
回答已采纳
我目前正在构建一个系统(用GCP)来存储关于不同主题的不同大小(1kb~100 of )的大量文本文件。一个文件集可能超过10 be。
例如：
dataset_about_some_subject/
- file1.txt
- file2.txt
...
dataset_about_another_subject/
- file1.txt
- file2.txt
...
这些文件用于NLP，在预处理后，由于预处理后的数据是单独保存的，因此不会经常访问.因此，在MongoDB中保存所有文件似乎是不必要的。
我在考虑
将所有文件保存到云存储中，
将MongoDB的名称和路径等文件信息保存
浏览 7提问于2020-07-01得票数 0
回答已采纳
我正在评估Apache，看看它是否适合于以下需求
云计算环境。
商品五金。
分布式DB (例如HBase)，可能有几兆字节的数据。
大量同时进行的小计算，需要快速完成(在几秒钟内)。小的意思是1到100 MBs的数据.
一些不需要快速完成的大型计算(小时很好)。大是指10-1000 GB的数据.
很少，非常大的计算不需要快速完成(天很好)。非常大意味着10-100 TBs的数据.
所有计算都是相互独立的。
一些计算中输入的实时数据流。
参与机器学习。
在阅读了一些关于星火的文章之后，我看到了下面的advantages
运作良好的商品硬件和HBas
浏览 2提问于2014-07-12得票数 12
回答已采纳
1回答
云存储构建文件块
、、
寻找关于如何在云存储中动态构建文件的示例。下面是我的用例：
Java应用程序将查询大型数据查询
在大查询中使用分页方式，数据将通过页面窗口来提取。
在获得来自BQ的数据后，将把每个数据块保存在云存储中。
上传完所有块后，完成文件上传。
这里的挑战是云存储文件是不可变的，因此一旦您在GCS中创建了对象，您就不能再重新打开它，除非您覆盖相同的文件。尝试探索使用流和特性，根据我的理解，它需要文件在上传之前做好准备。
如果这是不可能的，我现在唯一的选择就是将每个块作为不同的文件上传，并使用云存储组合功能将这些块合并到一个文件中。这是非常昂贵的，因为您需要为GCS创建多个请求来完
浏览 0提问于2021-03-22得票数 0
1回答
基于大型机到云文件的处理
、、、、
我们正在使用Java/Java Batch将大容量主机批处理应用程序迁移到分布式/云。当前的应用程序处理大量的文件(VSAM和平面-来自不同来源的100+文件)和IO模块。我们正在考虑将这些数据加载到Oracle数据库中，然后进行检索和处理。因此，将会有数百万的事务冲击Oracle DB。
我们担心Oracle上的性能，因为在批处理窗口期间，有数百万个事务访问数据库。
我们正在考虑的另一种方法是使用文件本身。
对于NAS存储，即使在读/写文件时，它也是通过网络进行的。
在云环境中，基于文件的处理会有什么缺点吗？
我们如何根据大小/负载来扩展应用程序？
在现代世界中，这些类型的应用程序是如何在基
浏览 2提问于2018-11-06得票数 0
据我所知，同态加密可以用来保密数据，同时仍然允许对数据进行计算。从另一个问题中，我发现还可以通过重新计算结果来验证计算的完整性(我的意思是可以验证返回值确实是所请求的计算的结果)。
我对一个不可能重新计算的场景感兴趣。例如，原始数据可能不再可用，或者原始数据非常大，重新计算成本太高。是否有其他方法来验证结果是否与所需的计算相对应？
也就是说，假设我想在云中使用同态加密来执行r = a + b + c操作。一旦云返回结果r，如何验证r是a + b + c的结果，而不是a + b或其他计算的结果？
浏览 0提问于2018-08-06得票数 3
回答已采纳
1回答
给定托管在云平台上的服务器，什么可以阻止云平台所有者窃取服务器的数据和/或代码？
据我所知，一个有动机的云所有者可以在其服务器中检索数据，同时保持可信的否认性。
某些大公司似乎也有动机这样做，因为他们将受益于额外的数据。
浏览 0提问于2020-11-18得票数 0
我想将数据从我们的云环境(pivotal cloud foundry)加载到SQL Server中。数据从API获取并保存在内存中，我们使用tds将数据插入到SQL Server中，但在文档中我看到的使用批量加载的唯一方法是加载文件。我不能使用pyodbc，因为我们在云环境中没有odbc连接。
如何从字典中直接进行大容量插入？
pytds不直接提供大容量加载，仅从文件提供大容量加载
浏览 0提问于2019-12-06得票数 0
2回答
哪个谷歌云存储最适合我的数据
、、、、
我正计划将我的整个系统迁移到google云平台。目前，我正在运行mysql、apache、nodejs和角js的组合。随着数据呈指数增长，Mysql的速度越来越慢。系统处理大数据分析。我需要具有最短查询时间的IO密集型数据库。目前，我已经构建了mysql数据库，并且根据应用程序的要求，我需要非常频繁地查询数据以获取分析数据和原始数据。Google建议我使用Cloud，但是没有任何服务方面的经验，我对此并不确定。
请为我的应用程序推荐最合适的google，包括云扳手、云sql、云数据存储、大查询和云大表。
如有任何建议，将不胜感激。
PS:我正在考虑使用google计算引擎。
浏览 4提问于2017-08-11得票数 1
回答已采纳
我的java应用程序正在执行两个任务。在pub-sub上监听新消息并创建云任务。此外，它使用默认的计算服务帐户，该帐户分配了所有角色。现在，我们使用具有以下作用域的默认服务帐户运行计算实例。
serviceAccounts:
- email: ***********-compute@developer.gserviceaccount.com
scopes:
- https://www.googleapis.com/auth/devstorage.read_only
- https://www.googleapis.com/auth/logging.write
- https:/
浏览 0提问于2021-03-08得票数 1
2回答
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?utm_source=portal&utm_medium=banner&utm_campaign=bargin&utm_term=1204
浏览器信息
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
浏览 1324提问于2017-12-29
4回答
私有云这个术语与不同网站中的所有定义相当混淆。不同的人对什么是私有云有不同的看法。
1)顺便提一下，越来越多的it公司也开始使用“私有云”一词来指在公司自己的数据中心内建立云计算基础设施--即“内部云”。这样的开发根本不是真正的云计算，可能被视为维持现状的最后一次尝试。根据任何合理的定义，“私有云”必须是一种云计算安排，其中有关硬件由供应商的共享数据中心拥有和存放“”。
2)“云”只是“在别人的电脑上”的一个时髦术语。(顺便说一句，这也是一种非常方便的方法，可以用来决定是否将一些东西转移到云中。)如果您在拥有专门用于提供此服务的数据中心的其他人所拥有的计算机上运行进程，那就是云。虚拟化并不是
浏览 8提问于2014-10-08得票数 1
回答已采纳
我知道有些工作是在肝硬化隐私的情况下完成的，在同态加密方面，在输出密文中，它不允许某人区分计算什么函数。
我想知道为什么需要这种功能。如果我们使用云服务器将一些任务委托给加密的数据，那么云可以知道评估的是哪种函数(可能是二进制代码或cpu行为)。
而且，如果某个特定的公司将任务委托给云服务器。然后服务器可以推断出正在发生的事情和正在处理的数据类型。
在这种情况下，电路隐私对我来说是没有意义的。
浏览 0提问于2018-06-20得票数 5
回答已采纳
我已经使用Java Mail API编写了一个Java代码，可以从指定的邮箱下载附件。我想将这些附件存储到谷歌云Storage.How中的某个存储桶中，我可以使用谷歌云数据流做到这一点吗？
浏览 2提问于2015-08-07得票数 1
2回答
奇怪的三维过程生成输出
、、、
所以在过去的几天里，我一直在做一个用java编写的过程生成程序，但是每当我做输出的时候，它就会产生一种洗过的，类似纸张的纹理。我不明白它为什么要这么做，虽然它很酷，但我想知道是否有人能向我解释一下我的程序是如何得到这个结果的。
来源：
我原以为这个逻辑会创建一个更像高度图的云，但是它却给了我这样的结果：
大图像：
浏览 5提问于2013-09-27得票数 0
1回答
我试图用Python编写一个Dataflow管道，它需要一个大的numpy矩阵作为侧输入。矩阵保存在云存储中。理想情况下，每个Dataflow工作人员将直接从云存储加载矩阵。
我的理解是如果我说matrix = np.load(LOCAL_PATH_TO_MATRIX)，然后
p | "computation" >> beam.Map(computation, matrix)
矩阵从我的笔记本电脑发送给每个数据流工作者。
我如何才能指示每个工作人员直接从云存储加载矩阵呢？是否有用于“二元水滴”的光束源？
浏览 3提问于2017-05-13得票数 1
回答已采纳
我想编写一个运行生物信息学工具的google云运行函数。该工具将一个大的3Gb参考数据文件作为只读输入() +一个小的第二个文件，根据用户输入的不同而变化。
我应该尝试将引用数据文件构建到我的坞映像中，还是有更好的方法？
浏览 4提问于2020-06-21得票数 0
回答已采纳
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?fromSource=gwzcw.647106.647106.647106
浏览器信息
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3538.400 QQBrowser/9.6.12501.400
浏览 898提问于2017-12-13
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11?utm_source=portal?utm_medium=recommend&utm_campaign=1111&utm_term=1024
浏览器信息
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/603.2.4 (KHTML, like Gecko) Version/10.1.1 Safari/603.2.4
浏览 1227提问于2017-11-04
我希望使用执行情感分析。
我找到了一个文档，可以直接对云存储( Cloud， )中的一个文件执行情感分析。
但是，我正在处理的数据是，而不是位于BigQuery中。我想知道如何直接从大查询表中调用数据来进行情感分析？
大查询表模式的一个示例：
我希望在表的tweet列上做NLP。
我试图在上面搜索文档，但似乎什么也找不到。
如有任何帮助或推荐信，我将不胜感激。谢谢。
浏览 6提问于2022-07-22得票数 0
2回答
我很难尝试将我的Java项目部署到Google云引擎。我读过大部分谷歌云文档，但我还是搞不懂。
我想要的只是tcp通讯。我不需要HTML本身来做一些事情。很多指南都谈到servlet和http和post，但我只需要tcp。也许我缺乏信息，这就是我无法管理的原因。
所以，首先，我需要某种http服务器来运行tcp请求吗？如果不是，我如何部署我的项目？
现在，我的项目只有Java。如果重要的话，我使用了IntelliJ。差不多是这样的。
import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;
浏览 6提问于2016-07-14得票数 1
回答已采纳
1回答
我是openstack的新用户。我已经使用devstack成功地安装了它，并且Horizon Dashboard可用。我想要创建巨大的实例，这是我的学士论文开始时真正需要的。不幸的是，当我想创建一个大的实例时，我有一个错误，我找到了原因。我的“真实”资源如下所示(在输入终端"nova hypervisor-stats“之后)：
+----------------------+-------+
| Property | Value |
+----------------------+-------+
| count | 1 |
浏览 7提问于2019-11-01得票数 0
我正在研究一些关于云存储中数据拥有的证据的论文，比如这或这，您可以通过向服务器提供某种挑战来请求存储在云存储中的数据的证据，而服务器将通过计算存储在云服务器中的对象来回复挑战的结果。但据我所知，一些像AWS S3这样的公共云存储不允许使用下载、上传或列出文件(CMIIW)以外的公式来计算对象的其他对象操作。现在的问题是，在云存储中数据占有的证据仍然可以做到这一点吗？如果是这样的话，是怎么做的？
浏览 0提问于2017-05-03得票数 0
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11
浏览器信息
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
浏览 260提问于2017-11-02
在将表导出到云存储时，从2017-07-08获取以下错误。
访问被拒绝: BigQuery BigQuery:在写入数据时拒绝权限
在那个日期之前工作得很好，没有改变项目中的任何东西，大查询或云存储。
alert-basis-89415:bquijob_6adfd86e_15d2de5ce1b :JobId
浏览 8提问于2017-07-10得票数 13
回答已采纳
2回答
当创建帐户并选择Azure选项时，是否意味着所有服务云服务、查询处理和数据库存储都将来自Azure？或者S3用于存储和云服务，查询处理从Azure？
有人知道吗？
浏览 1提问于2020-02-16得票数 1
回答已采纳
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?fromSource=gwzcw.634679.634679.634679#cvm_hot
浏览器信息
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36
浏览 204提问于2017-12-11
2回答
服务器操作系统可以换吗？
、、、
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11?utm_source=portal?utm_medium=recommend&utm_campaign=1111&utm_term=1024
浏览器信息
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36
浏览 1223提问于2017-11-14
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
