大数据和数据仓库的区别
大数据和数据仓库是云计算领域中两个重要的概念，它们在数据处理和存储方面有着不同的特点和应用场景。
- 大数据： 大数据是指规模庞大、类型多样、处理速度快的数据集合。它通常具有以下特点：
- 规模庞大：大数据的数据量通常以TB、PB甚至EB级别计量，远远超过传统数据处理工具的处理能力。
- 类型多样：大数据可以包含结构化数据（如关系型数据库中的表格数据）、半结构化数据（如XML、JSON格式的数据）和非结构化数据（如文本、图像、音频、视频等）。
- 处理速度快：大数据的处理需要在短时间内完成，以满足实时分析和决策的需求。
大数据的应用场景非常广泛，包括但不限于以下几个方面：
- 企业决策支持：通过对大数据的分析，可以帮助企业进行市场调研、用户行为分析、产品优化等决策支持工作。
- 金融风控：大数据可以用于风险评估、欺诈检测、信用评分等金融领域的风控工作。
- 医疗健康：通过对大数据的分析，可以实现个性化医疗、疾病预测、药物研发等医疗健康领域的应用。
- 物联网：大数据可以用于处理物联网设备产生的海量数据，实现智能家居、智慧城市等应用。
腾讯云提供了一系列与大数据相关的产品和服务，包括腾讯云数据仓库（TencentDB for TDSQL）、腾讯云数据湖（TencentDB for TDSQL）、腾讯云数据分析（TencentDB for TDSQL）等。您可以通过以下链接了解更多信息：
- 腾讯云数据仓库：https://cloud.tencent.com/product/tdsql
- 腾讯云数据湖：https://cloud.tencent.com/product/datalake
- 腾讯云数据分析：https://cloud.tencent.com/product/dla
- 数据仓库： 数据仓库是指将企业中各个业务系统产生的数据进行集中存储、整合和管理的系统。它通常具有以下特点：
- 面向主题：数据仓库以特定的主题为中心，将相关的数据进行整合，方便用户进行分析和决策。
- 集成性：数据仓库可以集成来自不同业务系统的数据，消除数据冗余和不一致性。
- 非易失性：数据仓库中的数据一般不会被修改或删除，以保证数据的完整性和可追溯性。
- 高性能：数据仓库需要支持复杂的查询和分析操作，因此需要具备高性能的数据存储和处理能力。
数据仓库的应用场景主要包括以下几个方面：
- 企业报表和分析：数据仓库可以用于生成企业的报表和分析数据，帮助企业进行决策和业务分析。
- 客户关系管理：数据仓库可以用于存储和分析客户的行为数据，帮助企业进行客户关系管理和精准营销。
- 供应链管理：数据仓库可以用于存储和分析供应链中的各个环节数据，帮助企业进行供应链管理和优化。
腾讯云提供了一系列与数据仓库相关的产品和服务，包括腾讯云数据仓库（TencentDB for TDSQL）、腾讯云数据湖（TencentDB for TDSQL）、腾讯云数据分析（TencentDB for TDSQL）等。您可以通过以下链接了解更多信息：
- 腾讯云数据仓库：https://cloud.tencent.com/product/tdsql
- 腾讯云数据湖：https://cloud.tencent.com/product/datalake
- 腾讯云数据分析：https://cloud.tencent.com/product/dla
总结：大数据和数据仓库是云计算领域中的两个重要概念。大数据主要指规模庞大、类型多样、处理速度快的数据集合，应用场景广泛；数据仓库主要指将企业中各个业务系统产生的数据进行集中存储、整合和管理的系统，主要应用于企业报表和分析、客户关系管理、供应链管理等方面。腾讯云提供了一系列与大数据和数据仓库相关的产品和服务，可以满足用户的需求。
相关·内容
我试图比较创建数据仓库的解决方案，这是大约20 TB使用微软产品在现场和Azure。我已经检查了SQLServer2019大数据集群，但是有一些问题。我们能用这个产品作为现场数据仓库吗？我们这种产品的缺点和优点是什么？
浏览 0提问于2021-02-04得票数 -1
1回答
我在中有一个数据库，它从ERP工具中提取数据，我想创建一个数据仓库，以便将它连接到PowerBI。
这是我第一次从一开始就做这个过程，所以我没有那么有经验。
那么，您建议在哪里创建数据仓库(我在考虑SSMS)，以及如何将其与PowerBI连接？
我的数据仓库将由表的某些视图和一些连接组成，以获取我想要的结构中的一些数据，因为不可能在DB中更改任何内容。
提前谢谢。
浏览 6提问于2022-11-01得票数 0
1回答
数据建模和维度建模有什么区别？
、、、、
我一直在学习数据仓库的概念，我发现这两个主题有点令人困惑。我读过多篇博客文章，我明白数据建模包括三个步骤
概念数据模型逻辑数据模型物理数据模型
在数据仓库中，我们需要执行某些步骤：
步骤1:确定维度
步骤2:确定措施
步骤3:标识维度的属性或属性
步骤4:确定度量的粒度
这些建模技术相互关联吗？如果是的话，这有什么关系。如果有人问，如何设计一个数据仓库，什么应该是正确的答案。在设计数据仓库时，这些建模技术从何而来。
如果有人能为我提供任何关于数据建模和维度建模场景的链接/资源，这将是非常有帮助的。
浏览 0提问于2020-11-19得票数 0
我爱我的朋友。然而，最近我一直在做一些研究来了解主键标识的实际利弊，我发现了，它很好地总结了它。
作者在文章中指出：
对数据仓库非常有用；
是使用身份而不是GUID的优点之一。
我的理解是，对于特别大的数据库，如数据仓库，大小确实很重要--不过，文章似乎没有解释其他原因。所以我问：
为什么GUID对于数据仓库来说是个坏主意？
浏览 3提问于2012-06-14得票数 3
回答已采纳
1回答
什么是主数据？
、、
这是商业智能、ETL数据集成和数据仓库上下文中的一个术语问题。
我一直都知道数据仓库有事务性的“事实表”，它引用“维度表”。然而，其他一些人正在使用“主数据”一词。这在ETL和数据仓库的上下文中是否有不同的含义，它是否等同于“维度表”？
浏览 0提问于2015-11-10得票数 2
6回答
我知道什么是数据仓库，什么是大数据。但是我把数据仓库和大数据搞混了。两者都是相同的，但名字不同，或者两者都是不同的(从概念上和物理上)。
浏览 1提问于2013-09-27得票数 13
2回答
我有一个非常大的SQL Server表(2.2亿条记录)，大小为233 of。我需要将此表导出为平面文件，并通过Putty将其发送到另一个服务器，该服务器将直接将此表插入到数据仓库中。
这个数据仓库有一个特定的模式，数据应该如何加载(每个列的特定数据类型和长度)。
首先，我需要通过更改SQL Server中列的数据类型和数据长度来执行一些验证。我使用alter table更改了数据类型和数据长度，但最终得到了错误。因此，我尝试将该表插入到一个新的表中，同时对那些应该坚持数据仓库模式的列使用SUBSTRING和CAST函数。
由于事务日志文件驱动器和TempDB驱动器中的空间限制，这是不可能的。
浏览 24提问于2018-08-04得票数 1
我正在使用AdaptiveServerEnterprise15.7设计一个大容量的数据仓库。该公司已经在使用SSAS 2008 R2进行大部分数据分析，并希望在上述数据仓库的基础上继续使用它。
我想知道社会上是否有人曾经做过这样的事情，并且可以分享一些建议。关于这个数据仓库的一些估计如下：
尺寸正在缓慢变化(每3天左右)
每天将有1500万新记录(12项措施)
我最关心的是处理的性能，而不是查询。
干杯,
RA
浏览 1提问于2012-09-28得票数 1
2回答
我正在连接到一个小型C# 2010应用程序中的一个非常大的C#数据仓库。我过去只使用MS。
对于数据库调用和IBM.Data.DB2，使用ODBC有什么区别吗？
浏览 3提问于2015-06-30得票数 0
回答已采纳
4回答
有人能告诉我简单数据库和数据仓库在实现方面的区别吗？
我知道数据仓库是用来分析的，而不是用来记录的，但我不明白它们在结构上有什么不同
在简单的数据库中，我们在数据仓库中有表等。我们如何从一个简单的数据库中创建数据仓库
在这两种情况下，我们都有查询，那么它们之间有什么不同呢？
浏览 0提问于2011-10-15得票数 6
回答已采纳
2回答
我有一个客户，他有一个现有的1.5Tb数据仓库，目前正在计划在一个新的环境中完全刷新数据仓库。他们的基础设施管理器组织了两个服务器，每个服务器都有SQL 2017标准，现在要求我为新的DW数据库/实例规划一个HA/DR计划。
我立即想到使用AlwaysOn可用性组，尽管我以前从未使用过它们，而且我所读的文章中都没有提到典型的数据仓库工作负载--这都是OLTP应用程序。随着一个大的每日ETL进程和一个较小的日内ETL进程运行在他们当前的DW上，这会对我们如何处理这个问题产生影响吗？
谢谢-任何帮助我在正确的方向在这里将是有益的！
浏览 0提问于2019-08-22得票数 7
我想知道Azure数据仓库和微软并行数据仓库(PDW)之间的关键区别。
我在这里读了一篇关于的文章。另外，还有一篇关于的文章。
从特性和功能来看，它们看起来很相似。然而，我想知道他们之间的主要区别，以及在什么情况下，一个比另一个更好。
浏览 15提问于2017-07-31得票数 2
回答已采纳
1回答
我刚接触Business Inteligence和powerBI，我了解仓库和维度建模的需求
我的问题是，一旦创建了数据仓库(在我的示例中使用oracle)，我就可以将其连接到powerBI，并开始使用从我的仓库导入的数据集创建报告
在这种情况下，导入到powerBI中的数据与OLAP多维数据集之间的区别是什么，是一样的吗？(例如，在能够创建报告之前，powerBI是否会隐式创建多维数据集)
例如，我可以用普通的sql和sgbd oracle (没有多维数据库、MDX或任何其他概念/技术)创建我的数据仓库，所以我需要理解OLAP在这种情况下的作用。
如果使用OLAP和/或MDX是有用的，我们应
浏览 7提问于2021-04-29得票数 0
1回答
我正在尝试在一台新服务器上重建SSIS环境。现有环境使用本地驱动器进行某些数据输入，使用SSIS从csv文件批量加载数据。
我希望新环境使用相对较新的NAS来完成此任务。nas映射到Windows Server上的驱动器号，同时使用我的域名和用于安装软件的通用数据仓库域名。
当我使用Visual Studio手动执行新包时，大容量加载进程看不到该文件。如果我将文件从NAS复制到本地驱动器，Visual Studio可以看到它。
我确信这是一个将正确的权限给正确的用户的问题，但是我不知道应该是什么用户。
FWIW，我们使用的是SQL Server 2012数据仓库版和Visual Studio
浏览 0提问于2017-09-06得票数 1
在Server 2000和2005年的日子里，查询中的最大表数为256.。
MySQL有类似的限制吗？
我知道这样大的查询意味着数据库设计有问题，或者应该使用某种数据仓库解决方案，但是让我们暂时忘记这一点，关注MySQL的理论能力。
浏览 0提问于2011-01-04得票数 7
回答已采纳
1回答
复制SQL数据仓库的架构？
、、、、
我想将数据仓库的表、procs、用户等复制到一个新的暂存DW中，但是我不需要任何数据。
我尝试用Redgate SQL Compare创建快照，并得到一个错误，说明不支持DW快照。我也尝试过编写DW脚本，但是我遇到了一个错误：“在版本13.0.0的DwTableDistribution Server的SqlDatabase版本数据库中不支持‘SqlAzureDatabase’属性”。
我剩下的唯一想法就是恢复prod的完整副本并删除数据，但这似乎是一项相当大的任务，而我所需要的只是DW的骨架。有什么想法吗？
浏览 8提问于2020-02-13得票数 2
回答已采纳
2回答
我是一个数据库新手，第一次探索数据仓库。我已经完成了将大量数据从我们的生产系统(MySQL 2012)复制到数据仓库(MySQL)的过程。
我遇到的问题是，用于ETL进程的软件/硬件资源不够健壮，无法使用单个查询复制较大表中的所有数据(程序将耗尽内存和崩溃)。为了解决这个问题，我使用表id上的模运算符添加了一个where子句，将这些表分解成12个块，因为这样写起来既快又容易：
SELECT * FROM table WHERE table.tableID % 12 = 0;
SELECT * FROM table WHERE table.tableID % 12 = 1;
SELECT * F
浏览 0提问于2018-07-05得票数 3
回答已采纳
1回答
最近，我一直在比较火花和Flink的一个全新的项目。在这个项目中，流功能不是那么重要。对~(90) is数据进行批量分析是最重要的。稍后，我将在数据分析中应用ML和数据挖掘。
在搜索时，我发现很多文章，演示和视频声称Flink是下一代的分析解决方案。没有多少文章能为火花辩护。另一方面，星火是(或曾经？)非常流行，并广泛部署在非常大的生产系统。
我的问题是：对于我的用例来说，流并不重要，我是拥抱Flink还是从Spark2开始？
顺便说一下，我读过。这不能给我一个好的答案。
更新，2018年4月，：我们最终选择了火花。显然，除了表现之外，还有更多的问题要解决。Cloudera、Hortonwor
浏览 5提问于2017-05-19得票数 3
回答已采纳
目前，我的雇主有一个团队来创建桌面仪表板，另一个非常大的团队为外部客户创建临时和定期报告。这两个团队都从许多数据库和其他来源提取数据。对于每个报表，它们要么创建驻留在机器上的脚本，要么创建驻留在源数据库中的存储proc，有时在jenkins实例上创建计划作业，或者手动复制和粘贴查询结果。这是一堆记录不清的烂摊子。
我的解决方案(对它们的工作方式和实现成本影响最小)是创建一个数据库，所有提取的数据都将在数据库上运行，因此报表和仪表板只能访问这个单一的源。一个运行常规提取作业的任务调度程序和一个相当简单的自定义软件应用程序，它跟踪源数据库的更改并通知项目所有者(作业)，但数据库所有者也可以使用它来
浏览 0提问于2020-04-27得票数 0
1回答
我试图建立一个大的数据平台，在Hadoop中接收和存储大量的异构数据，如文档、视频、图像、传感器数据等，然后实现分类过程。那么，由于我目前使用的是VMware VSphere EXSi Hadoop，什么样的体系结构可以帮助我
Habse XAMPP所有这些都很好，但是我不知道如何接收大量数据和如何存储数据，因为我发现Hbase是一个面向列的数据库，而不是数据仓库。
浏览 1提问于2015-10-05得票数 0
回答已采纳
1回答
我把我的第一步放在商业智能部门，我正在寻找测试BI系统的好方法。我将尝试解释我的系统由什么组成，这样不熟悉BI系统的人也可以提出一些建议。
对于那些对BI系统相当陌生的人来说，下面是BI系统在MS堆栈上的一般样子：
数据在MS DBs、文本文件、XML文件等中。
使用SQL Server Integration (SSIS)包(S)将数据放入单个MS (数据仓库)中。(ETL，提取-转换-负载)
使用Sql Server Analysis (SSAS)在数据仓库上处理包含度量值、KPI等的“立方体”
报表可以使用excel、Reporting等构建在多维数据集上。
有多种可以/应该测试的东西：
浏览 0提问于2011-07-05得票数 0
想要了解Netezza还是Hadoop是适合以下目的的选择：
feeds.Generate 从几个相当大的在线源中提取提要文件，有时超过GB.--清理、过滤、转换和计算来自不同维度的度量的更多信息，类似于数据仓库立方体是如何实现的，以及援助any应用程序，以便使用或任何其他标准机制更快地访问最终数据/度量。
浏览 8提问于2010-12-29得票数 6
回答已采纳
我正在为我们的网站建立一些报告材料(一个相当大的网站，每天有几百万的页面浏览量)，我想知道有没有什么好的免费/开源数据仓库系统。
具体地说，我只想找一些东西来存储数据--我计划为它构建一个自定义的前端/UI，这样它就可以显示我们关心的信息。然而，我不想为此构建一个定制的数据库，虽然我非常确定SQL数据库在这里不能工作，但我不确定到底要使用什么。任何有帮助的文章的指针也将不胜感激。
编辑:我应该提一下--我曾经简要介绍过的一个数据库是MongoDB。它看起来可能行得通，但他们的“用例”特别提到数据仓库“不太适合”：。而且，它似乎并不是专门针对数据仓库的。
浏览 5提问于2009-10-24得票数 4
回答已采纳
我是数据仓库环境中的数据库设计人员。我习惯于处理最多有100万行的表，现在面对的是5亿行以上的表。与“效率工具箱”中的工具有什么显著差异吗？我能相信我以前对索引、分区之类的知识吗，或者这些特定工具中的一些更多地是阻碍而不是帮助处理这么大的数据呢？还有其他处理这些桌子的窍门吗？
(已经在将7亿行更新为相同值上找到了一篇很棒的文章)
浏览 0提问于2013-02-12得票数 8
回答已采纳
我希望能够在业务的所有领域共享数据，从而降低基础设施的总体复杂性。
问题
我们的问题是，我们目前有4个主要应用程序都连接到我们的CRM应用程序(MicrosoftDynamicy2011)：
我们公司的决策者目前希望将我们的客户关系管理升级到最新的版本，然后，随着新的升级发布(每2-3年一次)，保持最新的状态。几乎我们所有的应用程序都是与Microsoft Dynamic严格集成的，因此每一次升级都是非常昂贵和危险的。我想设计另一种方法，以减少这种费用和风险。
Research
2006年，罗杰·塞申斯撰写了一篇题为“通往企业架构的更好途径”()的文章，其中概述了改善业务IT系统的方
浏览 7提问于2015-08-03得票数 2
回答已采纳
1回答
如果在MOLAP模式下的SSAS存储数据，那么SSIS的应用是什么?为什么我们需要一个数据仓库和SSIS的ETL过程？
我有一个Server数据库。我使用SSIS将我的SQL Server数据从OLTP数据库传输到包含事实表和维度表的数据仓库数据库。
之后，我想使用SSAS表单数据仓库数据创建多维数据集。
我知道MOLAP存储数据。我需要任何有事实和维度表的数据仓库吗？
避免直接从OLTP数据库创建数据仓库和创建多维数据集不是更好吗？
浏览 5提问于2014-07-07得票数 2
回答已采纳
1回答
我们正在将数据从暂存数据库转移到Kimball数据仓库DB中。对于何时禁用和重建索引，我听到了不同的想法。每个新的负载每天都会截断舞台表。假设我们有一个客户事务表，2000万行，5GB。初始负载为20mil，增量为每天10万行(不足5%)。
我正在阅读它最好的禁用索引的新批处理新负载。
(a)如果舞台表每天被截断，对于阶段:我是否应该每天禁用索引和重新启用？
Alter index all on dbo.[StageTable] disable
Insert Into StageTable values (CustomerId, SalesDate, SaleAmount)...
Alte
浏览 0提问于2019-02-02得票数 1
回答已采纳
我在一家拥有两个遗留数据仓库的公司工作，这些数据仓库一直演变为不可维护的单体。因此，他们迫切需要重新塑造。
我正在研究如何将当前的数据体系结构改造成更符合数据网格原则的体系结构，就像扎马克·德哈尼在这篇有影响力的文章中所提倡的那样(可能是这里的数据专业人士所熟知的材料)。
第一个数据仓库，如DWH，主要由直接来自核心公司应用程序的运行数据库的数据组成。它通过运行数据库的FTP转储每周更新一次，每次更新都包含大约2GB的数据。在5年的时间里，DWH已经增长到了相当大的+-300 to。
第二个数据仓库，如DWH，由来自各种API和其他数据源的各种数据组成。它通过API调用不断更新，其大小为+-
浏览 0提问于2021-12-30得票数 0
回答已采纳
1回答
数据仓库和MOLAP服务器之间有什么区别？数据存储在数据仓库和MOLAP服务器上吗？
当您提出一个查询时，您是将其发送到数据仓库还是MOLAP服务器？
对于ROLAP，ROLAP服务器向数据仓库(存储事实表和维度表)提出SQL查询，然后进行分析是有意义的。但是，我在某个地方读到ROLAP直接从操作数据库(OLTP)收集数据，但是，数据仓库在哪里/什么时候使用呢？
浏览 2提问于2017-12-06得票数 1
回答已采纳
2回答
在数据库级别设置隔离级别
、、、
我们有一个数据仓库每天晚上都会被丢弃和复制。我们有很多使用仓库的SSRS报告。有时，SSRS报告会出错，永远不会执行，从而防止我们的仓库被填满。
我可以很容易地对它进行脏读(反正数据没有变化)，所以我想我们可以直接进入READ UNCOMMITTED事务级别。现在我遇到了一个我简直不敢相信的问题：
是否真的不可能更改数据库的默认隔离级别？原因是什么？
这根本没道理。我希望我的默认隔离级别是READ UNCOMMITTED。我真的不想访问每个SSRS报告，并单独设置它的事务隔离级别。我们有大量的SSRS报告。
我可以启用RCSI，但它只会不必要地减缓数据库的速度。以这种方式处理这些报告几乎是不可
浏览 0提问于2018-08-30得票数 1
1回答
我试着看看与我的问题相似的现有问题，但没有找到一个清晰的答案。
我在一家大型合作公司工作，那里有一个大的数据仓库(数十亿行)，但这非常慢，不太适合于特别分析--我们正在研究一些新的东西，但时间是几年后的事；我(和我的部门)真的等不及了。因此，我获得了一个新的空白SQL Server 2014数据库，在该数据库中，我将存储我们将要经常使用的数据仓库中的信息。
我们将主要通过第三方分析工具来访问这些数据，这些工具不缓存数据，但每次单击或添加新图表等时都直接访问这些数据。因此，我们需要尽可能快的性能，因为每次向图表添加新维度时等待太久都会令人沮丧。
我从我们的数据仓库获取数据，那里的结构/设计通常都
浏览 1提问于2017-05-18得票数 0
回答已采纳
1回答
带有多个仓库的仪表板
、、、
我在寻找关于可能的方法的反馈。我正试着把至少十几个不同的仪表板放在一起，这些仪表板看的是各种不同的主题，有着重叠的维度。我遇到的问题是所请求的数据存储在至少4个非常大的数据仓库中，所有这些数据都具有不同的规范化和数据标准化级别。几乎每个仓库中的所有数据都使用来自同一个操作数据存储的相同数据，只是以不同的方式存储、标准化或聚合。
我的问题是，是否有必要建立一个新的数据仓库，将来自这些仓库的必要数据组合起来，并将其专门存储在我需要创建的十几个仪表板中？还是更好的方法是依赖仪表板应用程序混合工具，并让每个仪表板连接到每个已经建立的数据仓库？
谢谢你的反馈！
浏览 4提问于2021-01-22得票数 0
回答已采纳
我是一名SQL Server (2005 & 2008)数据仓库开发人员(SSIS、SSAS、SSRS、SQL)，我想知道是否值得花时间和精力学习Powershell脚本。从开发的角度来看，是否有适用的用途？据我所知，从DBA的角度来看，Powershell在管理方面有相当大的威力--这些能转化成对开发人员有用的命令吗？
谢谢!
浏览 3提问于2010-05-06得票数 4
在哪里可以下载可用于创建数据仓库的示例数据库？它不应该是来自微软的示例(Northwind等)。
编辑:很抱歉没有澄清我的问题。在我的大学里，我们有一门课，我们必须创建一些数据仓库，因为Northwind在网络上很受欢迎，所以教授告诉我们不要使用这个数据库。我们将使用SQL Server 2008，但禁止使用Northwind。
浏览 2提问于2008-10-25得票数 10
回答已采纳
1回答
我有一个数据仓库，我们每晚都要重新装载，需要两个小时。现在，我们截断这些表，并从我们的MicrosoftDynamics2000Server中重新加载它，该服务器将公司的表分开。
例如，我们有ABC、DEF和GHI公司，我们有表Customers。我们的生产服务器中有三个单独的表，名为ABC_$Customers、DEF_$Customers和GHI_$Customers。
在数据仓库表中，我只想要一个Customers表，它是ABC_$Customers、DEF_$Customers和GHI_$Customers的结合。
目前，我们使用游标循环遍历公司名称，并插入公司的表，然后为所有表提取下
浏览 2提问于2014-06-30得票数 1
回答已采纳
2回答
我理解联机分析处理的数据仓库的概念。
我的问题特别与查询数据仓库有关。用于数据仓库的SQL和用于数据仓库的SQL有什么不同？我正在尝试理解是否有专门用于数据仓库类型系统的SQL变体，或者“多维数据挖掘”工具在其实现级别上是否仅仅是SQL工具。
例如，面向对象的SQL和对象关系SQL被记录为SQL语言的超集。其中之一在超立方体(多维)数据模型中更常用吗？
浏览 12提问于2012-04-28得票数 0
回答已采纳
我有一个预览版的Azure Sql数据仓库正在运行，在我通过BCP导入一个大表(大约80 GB)之前，这个预览版一直工作得很好。现在，所有的表，包括小的表，都不响应一个简单的查询
select * from <MyTable>
对系统表的查询仍在运行。
select * from sys.objects
BCP流程已在周末结束，因此任何统计数据更新现在都应该已经完成。有没有办法弄清楚是什么让这一切发生的？或者至少当前正在运行的是什么，以查看是否有阻塞？
我正在使用SQL Server Management Studio 2014连接到数据仓库并执行查询。
浏览 5提问于2015-09-01得票数 1
我有一个包含1000万条记录的大表，用于我们现有的应用程序之一。我们正在开发一个新的应用程序，它只需要7000条记录的大表的过滤结果集。 我的问题是，与使用过滤条件查询大表(它将连接到模式中完全独立于现有应用程序的少数其他表)相比，使用7000条记录的较小表是否会有性能提升？或者我应该避免冗余，在一个表中维护所有数据？这是数据仓库中的设计。请给我建议！ 谢谢!
浏览 16提问于2019-06-18得票数 0
回答已采纳
当执行数据仓库大容量数据加载到不需要日志记录的表中时，通常我的过程是：
截断表
跌落指数
插入/*+附录*/
重新创建索引而不进行日志记录
这很好，但是删除和重新创建索引会导致问题，所以我想知道人们是否认为这个步骤是必要的。我知道，从10g开始，这样的索引创建就会被选择，这样索引就会在数据加载本身之后被重新构建。
有人有这方面的经验吗？
浏览 0提问于2009-06-03得票数 1
回答已采纳
1回答
我有一个Python生成器，它从数据仓库中提取了一个相当大的表。在提取数据后，我正在以分布式的方式使用芹菜处理数据。经过测试，我意识到发电机是瓶颈。它不能为芹菜工人生产足够的工作任务。这时，我决定优化我的python生成器。
关于生成器的更多细节
生成器使用块查询访问数据仓库，这些查询结果基本上是相互独立和无状态的。因此，我认为这是一个很好的选择，使其并行使用multiprocessing模块。我环顾四周，看看如何并行化发电机，没有太多的方向。
因此，如果我的Python生成器生成无状态的数据块，这应该是多处理的一个很好的候选，对吗？有什么方法来并行python生成器吗？另外，在Python生
浏览 0提问于2014-11-12得票数 2
回答已采纳
1回答
我们知道Snowflake是一个压缩的柱状存储数据库，并调整为使用MPP和自动伸缩来运行查询。我们还知道，对于创建数据集市和数据仓库，Kimball和维度建模(Star Schema)已经在市场和实践中存在了几十年。这是一个成功，这要归功于我们过去在DWs中使用的大量Row store DB。 所以这里的问题是在Snowflake中创建数据集市和数据仓库，我们必须遵循Kimball吗？它是否为性能增加了任何价值，事实上，我读到它增加了已经调优为处理列压缩数据的引擎的开销？我们是否仍然需要对列使用代理键，并强制创建Fact和Dimensions以及星型模式，在这些模式中，我们可以简单地连接扁平
浏览 16提问于2021-02-09得票数 0
1回答
：我如何处理输出？
、、、、
(我肯定还有一个类似的问题，但我还没有找到我想要的答案。)
我正在使用、Hadoop、和Hive (对于熟悉SQL的开发人员来说)，每晚对数兆字节的数据进行批处理。通过输入几百个大量的CSV文件，我输出了四五个相当大的CSV文件。显然，Hive将这些存储在HDFS中。最初，这些输入文件是从一个巨大的SQL数据仓库中提取的。
Hadoop对于它所做的工作是非常有价值的。但是处理输出的行业标准是什么呢？现在使用一个shell脚本将这些脚本复制回本地文件夹并将它们上传到另一个数据仓库。
这个问题：( )将重新导入Hadoop出口的做法称为非标准做法。如何使用BI工具探索数据，或者如何将结果集成到A
浏览 4提问于2011-05-17得票数 2
我找不到参考信息来解释Hive外部表的某些细节。当位于默认数据仓库之外的文件被加载到外部表(使用位置)时，数据是否像内部表那样在数据节点之间被摄取和分布--而用作源的文件在文件系统中保持完整，这基本上是重复数据的？
浏览 3提问于2013-12-30得票数 1
回答已采纳
我正在尝试理解Essbase和传统数据仓库之间的关系。我认为它只是一种基于特定数据类型的数据仓库的替代方案。这是真的吗？它只是另一个可以用来补充或替换传统数据仓库的源吗?使用Essbase而不是数据仓库的示例是什么？需要两个源的示例是什么？谢谢大家。 -LM
浏览 70提问于2019-02-01得票数 0
回答已采纳
这主要是一个数据仓库哲学问题。
我的项目涉及一个Oracle forms应用程序和一个用于报告和即席目的的Teradata数据仓库。除了应用程序用户创建的主要数据外，我们还需要来自各种其他来源的数据。目前，这些第三方数据通过FTPd平面文件直接进入我们的数据仓库。要访问数据，我们的用户必须使用一系列自定义BusinessObjects报告。
我的问题是，将这些数据发送到我们的源Oracle系统是否更有意义？数据仓库作为用户访问原始数据的起点是否合适？
简而言之，运营数据库只包含项目创建的数据，还是数据仓库仅专用于报告和分析，哪个更重要？
浏览 3提问于2010-04-09得票数 0
回答已采纳
我是第一次学习SSAS和MDXquery。我正在使用Sql server 2014，并试图添加数据仓库和分析服务的Adventure。我去了，但是2014年数据仓库没有可用的AdeventureWorks，而Analysis也没有可用的。
是否为数据仓库和分析服务发布了修正版的Adventure 2014？
浏览 3提问于2016-11-03得票数 1
回答已采纳
1回答
我开始学习数据仓库，并且遇到了一个我无法理解的场景。我试图勾勒出一个数据仓库，以跟踪不同商店的每月销售情况。如果存储区的源OLTP数据库在存储的属性和存储之间有多到多的关系，我将如何在数据仓库中表示存储维度？
维度的源OLTP数据库：
数据仓库ERD -如何表示多到多属性关系：
浏览 11提问于2022-06-22得票数 0
我有一张有一百万到五百万张唱片的桌子。其中一小部分记录的位列设置为“TRUE”。需要快速找到那些记录。我认为索引可以加快本专栏的搜索速度，但我担心插入。这就是我的问题。
数据库就像某种数据仓库一样工作，所以有许多选择和小(每天高达10-20 )但是相当大的插入(一次增加20万条记录)。我担心导入到数据库的时间会更长。
浏览 0提问于2014-02-14得票数 11
1回答
我正试图将我们的生产数据转移到一个数据仓库中，以供报告之用。我尝试遵循中的“导入到联邦”部分，但是我需要将数据从我的联邦转移到数据仓库。我还在找到了一个很好的资源，但我似乎仍然无法在数据流向导中找到联邦表。我也不能在ODBC ( source所需的连接类型)源向导中的SQL命令中添加Use FedDB语句。
浏览 4提问于2013-12-11得票数 2
回答已采纳
1回答
我是Azure数据工厂的新用户。我尝试在作为源的Azure数据库和作为目标的Azure数据仓库之间执行复制活动。在这种情况下，我不能使用数据工厂对目标执行更新。其中源为Azure SQL服务器，目标为Azure数据仓库。以及当数据仓库是接收器时，如何使用ADF更新Azure中数据仓库表中的字段
浏览 11提问于2019-09-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
