2回答
我使用BigQuery SQL创建了一个数据管道。首先从云存储中导入CSV文件，然后进行不同的分析，包括利用BigQueryML地理函数进行预测建模和利用解析函数进行KPI计算。我能够成功地手动运行不同的查询，现在我想要自动化数据管道。
我的第一个选择是DataFlow SQL，但事实证明Dataflow SQL查询语法不支持地理函数。DataFlow python不是一种选择，因为完整的分析是用SQL完成的，我希望
浏览 3提问于2020-04-21得票数 2
回答已采纳
3回答
我正在尝试使用sklearn库在Python语言中将信号分解成大型稀疏矩阵中的组件(矩阵分解)。
我利用scipy的scipy.sparse.csc_matrix来构建我的数据矩阵。然而，我不能进行任何分析，比如因子分析或独立成分分析。我唯一能做的就是使用truncatedSVD或scipy的scipy.sparse.linalg.svds来执行主成分分析。有没有人知道在python中对稀疏矩阵进行ICA或FA的解决
浏览 1提问于2015-04-29得票数 2
1回答
利用Azure数据湖进行分析
、、、、
目前，作为我们需求的一部分，我们正在使用下面的Azure组件
最近，我们遇到了一个新的Azure产品。在微软网站上做一些研究，我们可以很容易地将数据从Azure表存储(借助Azure data )迁移到Azure Lake。
当我们浏览上面的链接时，我们需要创建Azure
浏览 1提问于2016-01-18得票数 2
2回答
统计分析语言SAS在这里有一个很大的优势，因为它可以对来自硬盘的数据进行操作，而不是严格地在内存中进行处理。最近，我开始使用，并认为这是我所找到的最佳选择，可以允许Python像hdf5那样操作和操作来自磁盘的数据(通过hdf5文件)，同时仍然能够利用numpy/scipy/matplotlib等等。编辑:购买更多的硬件/内存当然会有帮助，但从IT的角度来看，当Python (或R，或MATLAB等)需要在内存中保存<em
浏览 3提问于2011-02-02得票数 46
回答已采纳
我们开发了一个web应用程序，使用AngularJS作为前端，使用Cloud /AppEngine作为后端服务(Python)。我们使用数据存储进行OLTP，每天将数据推送到BigQuery进行分析/报告。在data中使用大型查询数据来创建仪表板/报表是很简单的，但是我们还不清楚如何将这些报告嵌入到web应用程序中。我们希望利用DS创建使用BigQuery数据的参数化报表/仪表板，并在使用Ang
浏览 3提问于2017-02-05得票数 1
回答已采纳
对于此应用程序，数据由第三方拥有的IoT设备捕获，并通过应用程序接口调用从他们的服务器传输到我们。我们将此数据存储在我们的AWS Documentdb集群中。我们将用户App连接到此群集，满足实时数据馈送要求。注:数据为时间序列数据。问题是，对于长期数据存储和创建与利益相关者共享的分析仪表板，我们的数据治理人员要求我们每天将数据从AWS Documentdb群集复制/复制到他们的谷歌云平台-> Big Query。然后
浏览 16提问于2021-07-29得票数 0
回答已采纳
1回答
我们的组织运行着Azure上的数据库，数据科学家和分析人员主要用于笔记本，以便进行特别的分析和探索。
我们还为不需要火花的ETL工作流运行Kubernetes集群。我们希望使用达美湖作为我们的存储层，其中数据库和库伯奈特都可以读写作为头等舱公民。目前，我们的Kubernetes作业直接将parquets写到blob存储，另外还有一个作业可以将databricks集群中的数据加载到Databrick的表格式中。这既慢又贵。我想要做的是直接从Kubernetes p
浏览 3提问于2021-08-12得票数 2
回答已采纳
1回答
我正在尝试监视和分析集群中的MongoDB实例的结果。mongo提供了一个很好的监控工具。但是，我需要自己分析和绘制CPU/磁盘IO、碎片加载图。问题是:是否有可能从CVS中的MMS (即时间戳、opcoutns、CPU利用率)获取数据，或者可以在R/Python中加载数据？
浏览 2提问于2013-10-31得票数 1
回答已采纳
2回答
利用hadoop进行数据分析
、、、、
我们要做的是分析这些文件，并响应HTTP请求返回统计数据。示例请求：。基本上，这个请求要求计数在一个日期范围内播放的所有视频。这个方法正确吗？蜂巢在这方面有用吗？请对此提供一些指导。
浏览 1提问于2015-08-05得票数 1
嗨，我正在通过Python进行数据分析，我想分析他在书中通过的数据。在第9章中，他使用了下面的数据。然而，一旦我将ipython笔记本下载到mac上的github应用程序中，我就很难理解如何利用其中的数据。我点击“打开”，在我的github应用程序上下载了一个大文件。如何在我的ipython笔记本中打开此数据？
**查看其他堆栈溢出问题，我知道我可以只下载zip文件，我也在这样做
浏览 0提问于2014-05-05得票数 14
回答已采纳
要开发像和这样的交互式仪表板，在整个数据集上使用交叉过滤器进行客户端呈现是分析平台的最佳选择吗？对分析平台的一些见解-一个平台，它可以连接到世界上任何地方的任何数据库表，只要提供数据库连接细节，并获取特定表的列进行分析(求和、平均、最小、最大) ans，然后用图表库在客户端进行可视化。我知道服务器端(NodeJS)呈现有一种可能的方法，可以利用交叉过滤器库，但作为后端，计划是使用Python。
主要
浏览 3提问于2016-05-19得票数 0
当我尝试用牛津Ⅲ宠物数据集对模型进行再培训时，培训过程非常缓慢。
我正试图用tensorflow分析器来分析它，但我现在有点着急，任何想法或建议都会有帮助。
浏览 0提问于2017-11-06得票数 1
回答已采纳
1回答
我目前正在用虚拟大脑()做一个项目，并模拟了一些脑电数据。为了进一步分析这一点，我想在python中打开这个模拟的时间序列，以便我可以使用MNE软件包来分析它。然而，我只能用h5格式存储来自虚拟大脑的脑电数据，我想不出如何在python中打开这个文件，因为我可以用它来使用MNE来分析它。我可以在Python中阅读h5文件，并看到它的描述：
文件键<KeysViewHDF5 5 ' data '，' time
浏览 3提问于2021-03-30得票数 1
1回答
我试图使用Reddit API访问数据分析项目中提到的几个关键字的历史数据。利用python出色的、易于使用的PRAW包来获取数据。有没有人知道Reddit api是否有允许历史访问来自subreddit的数据的功能？
浏览 0提问于2017-11-30得票数 2
我们的团队在blob上删除了parquet文件，其中一个主要用途是允许分析师(其舒适区域是SQL语法)将其作为表进行查询。他们将在Azure数据库中这样做。目前，它们以下列方式加载并“准备”SQL查询：%pythondbutils.widgets.text("JobId
浏览 2提问于2020-11-25得票数 0
回答已采纳
我目前正在研究csv格式的大型数据集。在某些情况下，使用excel函数来完成工作更快。但是，我希望编写python脚本来读取/编写csv，并执行所需的功能。在什么情况下，python脚本会比使用excel函数执行数据操作任务更好？长期的好处是什么？
浏览 6提问于2016-01-14得票数 1
回答已采纳
1回答
值的长度与索引的长度不匹配
、、、、
我正在利用Python的Pandas库进行一些加密货币分析。我生成了以下数据帧：0 BNBBTC 0.000949 0.000994我收到一个错误，指出：据我所知，dataframe的每一列都有相同数量的数据
浏览 3提问于2018-02-22得票数 1
回答已采纳
2回答
利用Libsvm对语义分析问题进行数据训练和分类预测。但由于语义分析涉及n维问题，因此在大规模数据方面存在性能问题.
去年，利伯线性发布了，它可以解决性能瓶颈。但它耗费了太多的记忆。MapReduce是解决大数据语义分析问题的唯一途径吗？或者还有其他方法可以改善Liblinear上的内存瓶颈？
浏览 0提问于2014-05-14得票数 17
回答已采纳
我从未使用过Python，但是，我没有学习它的任何限制。有一个网页界面来呈现交互式的分析图表和视图。利用机器学习、人工智能和自然语言处理算法对采集的数据进行后端处理。在探索可用的选项时，我发现Python和Java都有广泛的支持，框架/库/模块可以用来利用机器学习实现。然而，与
浏览 0提问于2017-10-03得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
