数据仓库云开源方案
数据仓库云开源方案是一种基于云计算环境的大数据处理和分析解决方案。它通过使用开源技术栈，帮助企业和组织构建高性能、可扩展、低成本的数据仓库，以满足大数据分析、数据挖掘和数据可视化等需求。数据仓库云开源方案的主要优势包括成本节省、灵活性、可扩展性和高性能。
在数据仓库云开源方案中，常见的开源技术栈包括Apache Hadoop、Apache Spark、Apache Hive、Apache Flink、Apache Kafka等。这些开源技术栈可以帮助企业和组织实现大数据的存储、处理、分析和可视化。
数据仓库云开源方案的应用场景非常广泛，包括互联网搜索、社交媒体分析、金融风险控制、电商推荐、智能制造、医疗健康等领域。
腾讯云提供了一系列的产品和服务，可以支持数据仓库云开源方案的构建和部署。例如，腾讯云提供了云上的Hadoop和Spark服务，可以帮助企业和组织快速构建大数据处理和分析能力。此外，腾讯云还提供了云上的数据仓库服务，可以支持企业和组织实现数据仓库的快速构建和部署。
推荐的腾讯云相关产品和产品介绍链接地址：
以上是关于数据仓库云开源方案的答案，希望能够帮助您了解这个领域的相关知识和技术。
相关·内容
2回答
有没有与Amazon Redshift和Google Big query相当的Oracle云数据仓库？我遇到了Oracle12c，Exadata，即将推出的自治数据仓库。不确定oracle产品在云数据仓库中的应用
浏览 0提问于2017-11-21得票数 1
考虑构建一个小型数据仓库，因此不需要太多的扩展-只需要灵活性和构建ETL管道的简单性和最少的维护。
目前我们正在考虑一个相对简单的架构，由Google App Engine将ETL处理成BigQuery，但我想知道RedShift + EC2是否更容易学习？我们还没有作为一个团队使用过这两个云。
浏览 1提问于2018-12-14得票数 0
我在谷歌云中有一个数据仓库，我的数据在谷歌驱动器上是excel格式的，我想自动将数据从谷歌驱动器导入到谷歌云sql数据仓库中。我该怎么做呢?请帮帮我。
浏览 3提问于2016-08-11得票数 0
2回答
这与其说是一个技术问题，不如说是一个架构问题。
我目前正在构建一个商业网站/社交网络，它需要存储大量数据，并使用这些数据来进行分析(消费者行为)。
我使用的是Django和一个PostgreSQL数据库。
现在我的问题是:我想扩展这个体系结构以包括一个数据仓库。理想的情况是:操作DB应该是当前的Django PostgreSQL数据库，而数据仓库应该是额外的东西，最好是多维模型。
我们还处于非常早期的阶段，我们将对50个用户进行测试，所以一些原始的东西就足够了，比如用于启动器的单列表。
我想知道是否有人在这种情况下有经验，可以向我推荐一个框架来创建数据仓库，同时使用Django模型管理操作数据
浏览 0提问于2012-04-10得票数 5
回答已采纳
2回答
我们知道Snowflake是基于云的分析数据仓库，在这些云环境(AWS、Azure、GCP)上提供Saas。我们可以选择像亚马逊网络服务这样的云环境，数据将存储在雪花管理的S3存储桶中。是否可以使用我们的AWS云环境而不是针对存储进行管理的snowflake？有什么选择吗？
浏览 5提问于2021-10-22得票数 2
8回答
腾讯智能云为开发者带来哪些便利？
、、、、
腾讯云在云+未来峰会上推出了智能云。使得普通开发者能够快速上手进行开发。能够有效节省自身开发成本，我想知道究竟带来了哪些便利？有哪些服务极大提升了开发效率和用户体验？
浏览 923提问于2018-05-24
我们有一个基本的BI解决方案使用SQL Server分析服务(SSAS)之上的Server数据库更新的标准‘业务线’系统。
桌面Excel用于连接数据立方体和数据透视表功能，用于创建报表、运行临时查询等。
问:是否有办法将此部分或全部移至Azure？什么是最好的建筑？例如：
应用程序可以像使用本地数据库一样使用基于天蓝色的Server数据库吗？
这些数据能不能使用SSIS在云中的所有SSAS中进行ETL？
用户可以通过桌面Excel访问这些基于云的数据立方体，也可以通过Excel 365或其他类似的方式访问这些数据立方体(MS似乎有一些名为Power的产品，可能涉及到这些产品)。
浏览 2提问于2014-11-05得票数 2
我正在使用Google Data Flow来实现一个ETL数据仓库解决方案。
看看谷歌的云服务，DataProc似乎也可以做同样的事情。
而且看起来DataProc比DataFlow便宜一点。
有没有人知道相对于DataProc，DataFlow的优缺点
为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
12回答
什么是数据仓库？
、、
一位客户问我“数据仓库”这个术语的真正含义是什么。
我想过ETL，数据模型的细节，与NoSQL，云，‘普通’数据库管理系统，主数据管理等的区别，但无法用几句话向他描述这个术语……(事实上，我做了一些谈话，没有照亮他。)
如何用1-3个(或更多)句子来描述“数据仓库”？
浏览 0提问于2010-06-23得票数 26
回答已采纳
2回答
Spark能否取代ETL工具
、、、、
现有的流程原始结构数据被复制到Redshift的登台层。然后使用Informatica、Telend等ETL工具对数据仓库/数据仓库的事实表和维度表进行增量加载。所有的连接都发生在数据库层( ETL将查询推到数据库中)- Spark可以取代ETL工具并进行相同的处理并将数据加载到Redshift中吗？-这种架构的优点和缺点是什么？
浏览 1提问于2016-11-26得票数 10
我正试图在Microsoft数据仓库之上构建一个实时报告服务。目前，我有一个拥有大约5TB数据的SQL服务器。我想将数据流到数据仓库，并使用Azure DW的计算能力生成基于数据的实时报告。是否已经准备好使用/最佳实践来做到这一点？
我正在考虑的一种方法是将数据加载到Kafka中，然后通过Spark流将其流到Azure DW中。然而，这种方法比实时方法更接近实时.是否有任何方法利用Server更改数据捕获来将数据流到数据仓库中？
浏览 6提问于2017-10-23得票数 2
回答已采纳
6回答
设置云需要做些什么。我在中东有一些朋友想要建立类似于谷歌和亚马逊的云，他们想知道是否有什么开放的技术可以用来建立云托管服务。有什么想法吗？
浏览 0提问于2009-06-01得票数 18
回答已采纳
我使用的是一个交互性很强的应用程序，现在需要一个真正的分析解决方案。我们每月产生大约250-300万个事件(还在增长)，并希望建立报告来分析用户群，漏斗等。这些报告足够标准，似乎可以使用现有的服务。
然而，考虑到数据量，我担心使用像MixPanel这样的托管分析解决方案的成本很快就会变得非常昂贵。我还研究过使用离线后台进程构建传统的星型模式数据仓库(我对数据仓库知之甚少)。
这是一个带有PostgreSQL后端的Ruby应用程序。
我有什么选择，包括构建和购买，来回答这样的问题？
浏览 0提问于2010-11-13得票数 3
是否有从Azure SQL Server数据库(云)查询Azure SQL数据仓库(云)的选项？我们有一个托管在云中的中央仓库，其中包含应用程序所需的所有域。如果我们可以使用中描述的方法将这些表用作外部表，那就太好了。
浏览 8提问于2017-01-09得票数 0
3回答
我正在构建一个私有云，我们一直在考虑Eucalyptus和OpenNebula。有没有其他好的开源平台可以用来构建私有云/混合云？在Eucalyptus和OpenNebula之间，你推荐哪一个？
浏览 3提问于2010-09-16得票数 2
4回答
我运行着一个大型数据仓库工厂，在那里我们有许多夜间作业在运行，然而，许多作业在开始之前都依赖于提取或数据加载过程。目前，我们使用“昂贵的调度系统”来调度这些任务。
有没有办法使用开源或免费的unix/linux工具(如cron )来设置作业依赖关系？
转移到一个开源的解决方案将是伟大的，并为我们节省了很多！
问候马特
浏览 4提问于2009-11-10得票数 1
回答已采纳
1回答
我一直在使用IBM作为Microsoft中的数据源，但最近我们将数据仓库转移到了云(Azure)上。表保持不变(只是前缀不同)。当我们使用时，我已经在Power中做了几个报告，我如何使用相同的报告，但却将它们与Azure连接起来呢？
浏览 13提问于2022-11-20得票数 0
回答已采纳
我研究过和，但我认为它们只用于调度某些作业。
数据仓库通常需要大量的作业来调度，有没有一个好的框架？
浏览 0提问于2015-04-23得票数 0
我正在尝试将一个数据仓库迁移到德尔塔湖。我正在努力弄清楚的一件事是如何在spark会议之外连接到Delta Lake (银牌和金牌)表。我希望能够使用像Tableau这样的BI工具连接到这些表。我没有使用databricks，我想知道将这些表存储在hive metastore中是否会有所帮助。如果不是这样，那么是否有人可以帮助我与其他方法或如果这是可行的或不可行的。
浏览 61提问于2021-04-04得票数 2
我正在尝试用开源框架来做ETL，我听说过两件事，Apache Beam和Apache Airflow，这两件事最适合整个ETL或ELT，比如Talend、Azure Data Factory等，事实上，我正在尝试用云数据仓库(redshift、azure数据仓库、雪花等)来做所有的事情。哪一个对这些类型的工作更好，如果我能在这两个框架之间进行一些比较，那就太好了。提前谢谢。
浏览 35提问于2019-07-09得票数 0
我目前在金融部门工作，我们正在考虑将我们的数据仓库解决方案转移到AWS Redshift。安全规则要求我们在将任何机密/PII数据带到AWS云之前对其进行掩蔽/标记。
有没有想过设计这样一个解决方案(包括一个标记化系统)的可行性？如何处理引用完整性？
我们希望在AWS中进行一些分析和数据聚合，以构建可用于分析的数据。
浏览 1提问于2018-04-27得票数 0
我的任务是设计一个Kimball风格的数据仓库。它将位于Server中的prem上。组织物理实现的最佳做法是什么？也就是说，数据仓库是否应该是一个单一的数据库，使用模式来分隔每个数据集市(并且将所有维度都放在自己的模式中，以帮助“驱动”跨市场的重用)？或者，每个数据集市是否应该是自己的数据库(强制所有维度都存在于一个单独的数据库中)？
如果我使用云平台进行数据仓库，比如Azure SQL DB (例如，使用托管实例来允许跨数据库查询)，这个决策是否重要？
浏览 2提问于2022-01-07得票数 1
1回答
OAC = Oracle云自治数据仓库。我们的OAC管理员为我们提供了用于连接的.zip钱包文件，但是DbVisualizer本机不支持这一点。我该怎么连接？
浏览 5提问于2021-03-18得票数 0
2回答
我想使用谷歌云数据仓库。但是，我没有使用GAE。
我还能使用对象化库吗？如果是的话，怎么做？文档中没有提到如何配置它来对Datastore进行验证。
浏览 2提问于2015-05-25得票数 3
回答已采纳
SQL Server的新图形功能对于我拥有的一个数据仓库项目来说非常方便。当你的图形数据库是neo的时候，我真的很喜欢Neo4j浏览器:有没有类似的东西可以用来和我的SQL Server图形数据对话？
浏览 13提问于2018-01-31得票数 2
6回答
是否有任何企业级数据库引擎(Oracle、MS SQL...etc)可以处理大型SQL...etc数据集(3.2亿)和SPARQL查询？我想我的问题也是: SPARQL/RDF/OWL准备好为企业的大型现实世界数据仓库服务了吗？如果没有，是否有针对典型数据仓库星型模式调整SPARQL/RDF的有效机制。
谢谢!
浏览 2提问于2009-11-05得票数 3
回答已采纳
3回答
我要研究商业情报，我搜索了以下内容：
Oracle BI
Microsoft Power BI
Server报告服务
我的问题是：
Oracle BI可下载的文件太大了。
Power BI只在网上提供(您必须注册Office 365)
所以我最后一个也是最简单的方法就是SSRS。这足以让我理解BI吗？我读过一些关于BI的文章，它说我需要一个数据仓库和其他组成BI的组件。
要求：
免费(或至少试用版)
下载不到1GB
脱机可用(不是webapp应用程序)
对于那些还不是BI专家的人来说用户友好。
特征可发现性:您可以通过使用该软件学习。
至少涵盖ETL、分析、报告
浏览 0提问于2014-03-17得票数 5
回答已采纳
3回答
是python的新手，还不能解决这个问题：
我正在将数据从云数据仓库导入到Python中。这是生成的数据结构：
[('A,B',),
('A',),
('A,B,C',)]
如何将数据转换为以下格式：
[['A','B'],
['A'],
['A','B','C']]
浏览 24提问于2018-08-16得票数 3
我在我的应用程序中使用Wit.ai公有云，但我想检查是否有任何方法可以将其部署在私有云中或本地。
因为我也在使用它进行一些安全的数据交互。安全性是一个主要问题。
欢迎任何答案和想法。
浏览 5提问于2016-11-12得票数 0
目前，我们正在从基于IBM数据存储的遗留内部数据仓库解决方案迁移到基于云的解决方案。我们有来自不同来源的增量信息的文件，我们需要将这些文件加载到我们的目标表中，同时维护每个事务的历史记录，因为我们需要根据PIT值进行报告。我们计划使用AWS GLUE和AWS PostGre来实现上述方法。
这是正确的方法吗，因为我需要在Glue Jobs中进行大量的自定义转换？此外，为了检查/测试glue作业，是否有办法创建开发环境而不产生额外成本根据AWS标准文档创建开发端点是收费的
浏览 1提问于2021-05-24得票数 0
2回答
向量与OLAP
、、、、
与OLAP数据集相比，使用基于向量的系统进行有效的数据分析会更好吗？我认为矢量单指令，多数据(SIMD)可以是好的，但没有多少好的材料和资源来设计系统。
如何在PostgreSQL中创建一个数据仓库，然后利用矢量技术来增强取、钻、切、切操作。
我试着研究红移，zoho和他们正在利用/依赖的服务。将成本效益高的矢量技术结合在一起的好方法是什么？
浏览 3提问于2014-04-08得票数 0
回答已采纳
1回答
亲爱的，
我是新的AWS云平台，并试图探索。我了解了AWS EC2和AWS红移。它们之间有什么关系吗？不需要在我的AWS帐户上创建EC2实例，就可以使用Redshift数据仓库吗？
浏览 3提问于2018-12-31得票数 0
我有一个4节点的服务器，我想虚拟化它或使用它开始构建云基础架构。我想在上面使用CentOS 5或6。对我来说，最好的虚拟化或基于云的解决方案是什么？
这是我的服务器的规格，
八个英特尔四核2.5 CPUs
64 RAM DDR2全缓冲内存
8个500 7.2K SATA硬盘
四个1 Gbit网卡
两个550W电源
提前谢谢。
浏览 0提问于2013-02-20得票数 0
回答已采纳
我们公司有一个独特的报告需求。我们正在收集大量的数据，这些数据每隔X分钟就会出现在一个文件中。这些文件的大小可以在1到5MB之间，最多可包含一百万行。数据类似于从未更新的日志数据，并且非常结构化。尽管我们需要灵活性来支持数据模型中的更改。我们需要交付一些固定的(静态)报告，还有一些报告作为交互式仪表板的一部分。
对于固定报告，每天只需刷新一次数据。因此，我将使用Hive来完成此任务。到最后，文件大小将达到几Gbs，届时它将被推送到hadoop中，这样我们就不会遇到Hadoop的小文件问题。由于报告是静态的，所以即使Hive需要几秒钟/分钟来返回数据，也不会有太大影响。
但Hive将无法满足我们
浏览 1提问于2012-08-21得票数 0
我正在为我们的网站建立一些报告材料(一个相当大的网站，每天有几百万的页面浏览量)，我想知道有没有什么好的免费/开源数据仓库系统。
具体地说，我只想找一些东西来存储数据--我计划为它构建一个自定义的前端/UI，这样它就可以显示我们关心的信息。然而，我不想为此构建一个定制的数据库，虽然我非常确定SQL数据库在这里不能工作，但我不确定到底要使用什么。任何有帮助的文章的指针也将不胜感激。
编辑:我应该提一下--我曾经简要介绍过的一个数据库是MongoDB。它看起来可能行得通，但他们的“用例”特别提到数据仓库“不太适合”：。而且，它似乎并不是专门针对数据仓库的。
浏览 5提问于2009-10-24得票数 4
回答已采纳
1回答
我的要求:以csv文件格式将SQL查询输出(接收数据)保存到本地驱动器。
我的操作系统: Windows 10 64位与代码1.67.1:我安装了以下扩展来连接雪花数据仓库：
用于SQL Tools的ToolsSnowflake 驱动程序
我已经成功地连接了雪花(云)数据仓库，并在VS代码中接收到了数据。
我想要的是将(导出)输出(接收到的数据)保存到本地文件(例如D:\result\result.csv)。
我怎样才能做到这一点？
图片附呈供您参考。
谢谢大家。pmk
浏览 2提问于2022-05-29得票数 0
大多数依赖客户端跟踪(即Javascript标记)的第三方分析服务都是围绕这样的假设构建的:您希望将数据推送到第三方服务器，然后使用它们的报告前端。
对于拥有大型数据仓库的公司来说，通常需要将web (或移动)事件数据连接到持久唯一用户id上的脱机数据。从那时起，公司将让数据科学家/devs/分析师构建自定义报告和前端仪表板。
我正在寻找处理所有客户端跟踪的解决方案，但假设您希望将数据推送到本地数据仓库。该解决方案必须允许持久唯一的用户id与每个事件相关联(与Google不同)。我不关心报道的前端。
编辑:真正的限制似乎是每天从API调用导出每个事件、每个用户粒度的数据。Mixpanel允许这
浏览 1提问于2014-03-27得票数 1
3回答
我阅读了用于数据分析和集群结构的文档，但是我不明白用例有什么不同。
Amazon 是一个流行的开源搜索和分析引擎，用于日志分析、实时应用程序监视和点击流分析等。。
Amazon 是一种完全管理的、千兆级的云数据仓库服务。您可以从几百千兆字节的数据开始，并将其扩展到一个千兆字节或更多。
浏览 5提问于2016-05-22得票数 12
回答已采纳
2回答
我需要在我的Django应用程序中内置一个分析(报告，图表和绘图)系统。在理想情况下，我可以只查询Postgres数据库并获得我想要的数据，但当数据库中的数据量达到顶峰时，我会遇到性能瓶颈和其他问题，比如索引地狱。
我想知道您是否可以为我指出一个正确的方向来实现这一点：
这是使用NoSQL DB (CouchDB，MongoDB，Redis)并查询其中数据的好方案吗？由于Postgres和Django不支持联机分析处理/MDX，我是否应该在不同的数据库中使用星型架构来查询？
我希望避免两件事：
我不想在我的实际数据库中查询分析，因为这可能会对性能造成巨大的影响。我想让我的分析尽可能保持最新，例
浏览 37提问于2011-11-30得票数 20
3回答
NoSql和数据仓库技术/理论之间有什么关系？
他们有什么共同的概念？
他们之间的基本区别是什么？
你认为两者都能从对方身上获益/致富吗？
我认为你的想法应该对这两种技术的未来有所帮助。
更新
一些有用的链接：
第二次更新：
浏览 8提问于2010-04-21得票数 43
回答已采纳
1回答
我对kafka活页夹做了一些测试，看起来春云流生产者不参与春季管理的交易。
给定的代码，如
@RequestMapping(method = RequestMethod.POST)
@Transactional
public Customer insertCustomer(@RequestBody Customer customer) {
customerDao.insertCustomer(customer);
source.output().send(MessageBuilder.withPayload(CustomerEventHelper
浏览 2提问于2016-06-10得票数 3
回答已采纳
1回答
我的任务是使用Azure SQL数据仓库实例中的数据。
数据必须由only机器使用，它不能直接访问internet，只能通过HTTP代理访问internet资源，而HTTP代理只允许HTTP/HTTPS流量。
据我所知，Azure SQL DWH不公开HTTP，只为DB管理目的(启动/停止服务等)。
是否有任何软件/服务可用于通过HTTP代理从on计算机查询Azure表？
非常感谢
PS:到目前为止，我已经找到了两个候选解决方案：
，一个开源软件： (用于对符合JDBC的数据库进行调用的原始REST Api包装器)，一个云服务： (Restify Azure SQL数据仓库数据)
浏览 2提问于2019-10-25得票数 0
是否存在用于查询OLAP多维数据集/数据仓库的ORM模拟？我对.NET世界特别感兴趣，但通常对任何事物都感兴趣;-)
浏览 0提问于2009-03-10得票数 5
回答已采纳
1回答
我已经开始学习AWS红移&我遇到了许多我认为不支持数据仓库、星型/雪花模式的东西。
基于使用响应，所有建议只有Redshift插入方法才能获得最佳性能，因为它是为read设计的。但是它不是增加了储存的成本吗？我目前正在研究MSBI，我的事实和维度有着复杂的结构。例句:一个事实表是跨各种业务共享的(数据集市)，很少有维度是类型2(我必须跟踪历史)&很少有不需要雪花设计的复杂场景。
考虑到云存储和计算的成本，我希望在云上保留最小的数据(就像我在我的前提系统中所做的那样，这有助于4TB的存储)。
现在，如果我做的方法与我在前提下所做的相同，那么我将不得不运行我的ETL，将关键列与暂存
浏览 6提问于2020-08-17得票数 0
回答已采纳
1回答
开放资源选择服务总线与机器学习
、、、、
我正在寻找以下服务的开源替代方案，
Azure服务总线
Azure机器学习
天青通知枢纽
Office 365移动服务云服务的Power BI
是否有任何解决方案来互操作所有这些类似的服务作为一个整体解决方案？
浏览 2提问于2015-04-29得票数 0
回答已采纳
1回答
我有来自4个不同国家的4台专用服务器，我也有WHM/cPanel托管在Cloudlinux VPS上。
我可以在这些服务器和云主题上制作4个VPS用于cPanel托管吗？我该怎么做呢？
浏览 1提问于2014-04-03得票数 0
回答已采纳
1回答
我对Google平台非常陌生，我正在做一个POC，用于将一个蜂窝应用程序(表和作业)移动到Google。这些数据已经转移到了谷歌云存储系统。
是否有一种内置的方法来批量创建数据仓库中的所有表，而不是使用蜂箱提示符逐个创建表？
浏览 2提问于2021-01-12得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
