我们有一个ETL进程，每5分钟从不同的源系统(as400，orcale，sap等)获取一次数据到我们的sqlserver数据库，从那里我们每5分钟获取一次数据到弹性索引中，这样两者是同步的。我使用控制日志表来确保elastic ingestion和SSIS ETL没有同时运行，这样我们可能会不同步。这是一个非常糟糕的解决方案，无法实现近乎实时的数据捕获 我正在寻找更好的解决方案，以同步sqlserver数据库和弹性索引在近实时，而不是手动做。注意:我目前正在使用pyth
浏览 5提问于2019-01-25得票数 1
我需要一个关于Talend ETL的好教程，来展示这个过程是如何完成的，以及我们如何自动提取文件，例如。(文件监视器) 谢谢
浏览 15提问于2019-01-26得票数 0
我对SQL很在行，但对SAS来说还是新手。我正在做ETL从第三方应用数据库到自己的数据库。这个ETL将每天执行。因此，我需要插入新的记录，并更新现有的记录到我的数据库。所以，我试着用SQL来完成任务.这里的问题是我必须为每一列做子查询所需的更新，我觉得更新将是缓慢的，因为需要太多的子查询。因此，我想问一问，有什么方法可以使更新运行得很快吗？
浏览 20提问于2022-06-02得票数 0
当构建ETL/ELT进程将数据加载到Snowflake数据仓库(在Azure上运行)时，我正在寻找关于在哪里最好地存储ETL元数据的建议。ETL元数据指的是编排复杂ETL工作流所需的表格数据--例如，进程之间的依赖关系，每个进程的当前状态信息，我们可以在ETL中用来迭代要加载的各个数据源的“控制表”，等等。在构建于SQL Server之上的遗留EDW中，我们不仅可以使用<
浏览 4提问于2021-01-08得票数 2
我们是政府组织，从不同的利益相关者接收数据，通常数据不是单一的格式，如CSV，Excel，数据库视图也不总是相同的源数据。有些数据是FTP文件夹中CSV格式的连续数据流。
浏览 0提问于2018-10-02得票数 0
1回答
在sql中的两个查询中使用格式
、、、、
query_2="""select * where date(etl_date) = current_dateexcept select * where date(etl_date)=current_date
浏览 2提问于2020-04-10得票数 0
回答已采纳
开始在vb.net中的一个项目中工作，在这个项目中，我从Oracle数据库中读取了所有的主数据(在这个数据库中，我只有oracle数据的读取权限)
情况是，我将Oracle中的数据绑定到telerik数据网格但是我不能在Oracle数据库中添加/删除数据，我只能从其中读取数据。因此，我正在考虑在sql服务器中添加两个表，添加用户和删除用户，并以某种方式检查用户是否在删除的表中，在将其绑定到数据</e
浏览 2提问于2012-07-23得票数 0
1回答
我有一个有大约60个表的事务性数据库( Server 2014)，并且需要为报告目的创建一个单独的报告数据库。
这只需要每24小时运行一次，但是我需要将数据移动到不同的、更易于查询的模式中！正因为如此，我希望能在Transactional上创建一些视图，然后在Reporting中创建一个基于该视图的表，并跨数据进行复制。我最初想编写一个计划好的Windows Service，它以某种方式从表中提取数据并插入到新的表中，但后来我想，如果模式改变了，它必须在两个地方进行更新，而且我还认为企业SQL</
浏览 2提问于2017-03-14得票数 0
回答已采纳
我有多租户数据库(每个客户一个DB )。目前，我们已经将SQL内存设置为60 %的RAM，并一次在一个站点上运行ETL。
是否可以同时跨多个站点/数据库运行ETL？注:在ETL执行过程中，由于ETL使用最大RAM，其他操作将很慢，因此想知道两个ETL能否在不同的数据库中在相同的位置运行。
浏览 8提问于2022-03-17得票数 0
我正在使用2005版本中的Microsoft SSIS工具来生成ETL。我想执行一个ETL，它负责将数据从SQL Server中的数据库传递到MySQL，并管理将数据从MySQL迁移到SQL Server。
浏览 17提问于2017-08-01得票数 0
回答已采纳
3回答
这相当不寻常，但由于办公室政治等原因，我们可以(只读)访问数据仓库，但不能访问实时数据。但是，我们需要最新的数据来填充我们的关系(OLTP)数据库(MS SQL server。仓库中的数据(也是MS)采用星型架构格式(即维度和事实)。我对仓库数据库不是很熟悉。如何将数据从仓库放入关系数据库？我的google-fu太弱了，我无法得到任何答案(相反，很多人)。
谢谢查沃克斯
浏览 0提问于2010-08-25得票数 0
3回答
ETL工艺设计与性能
、、、
我正在为一个使用C#的数据仓库开发一个ETL过程，它既支持Server也支持Oracle。在开发期间，我一直在编写将数据从一个数据库同步到另一个数据库的存储过程。存储过程代码很难看，因为它涉及动态SQL。它需要构建SQL字符串，因为我们有动态数据库名。以下是正反两面：
浏览 1提问于2010-12-02得票数 6
回答已采纳
有人能告诉我，在从数据仓库创建报告时，为什么我们需要使用tell？它能用SQL来完成吗？就that所能做的事情而言，SQL不能这样做。提前感谢~
浏览 5提问于2014-10-31得票数 0
回答已采纳
在过程中，我需要从一个Postgres数据库提取一个JSON列并将其加载到另一个数据库。我们使用Pandas来实现这一点，因为它有很多方法可以从不同的源/目标读取和写入数据，并且所有的转换都可以使用Python和Pandas编写。坦率地说，我们对这种方法非常满意。但我们遇到了一个问题。通常，读写数据非常容易。您只需使用从源读取数据，并使用将数据写入目标。但是，由于其中一个源表有一个JSON类型的列(来自Postgres)，因此to_sql函数崩溃，并显示以下错
浏览 256提问于2017-01-05得票数 22
3回答
我是一名ETL开发人员，使用不同的工具完成ETL任务。在我们的所有项目中都出现了同样的问题:在构建数据仓库之前和为数据移动构建ETL之前，数据概要分析的重要性。通常我会做数据分析(比如发现坏数据、数据异常、计数、不同的值等)。使用纯SQL是因为ETL工具没有为这些提供一个很好的替代方案(我们的工具中有一些数据质量组件，但它们并不是那么复杂)。但是，如果有数百万行的数据</e
浏览 1提问于2012-10-11得票数 2
回答已采纳
我将sql server 2000 .bak文件还原为sql server 2008--FROM DISK = 'D:\DBHarshal\full backupEPICSms_Data' TO 'C:\EPICSms_Data.mdf',
它要求使用主数据库，当我使用它时，我能够加载备份，但现在的问题是，
浏览 0提问于2010-08-07得票数 0
每个客户端将以不同的方式存储数据的版本(ERP、SQL、Excel、CSV等)。
我的问题是如何&在哪里构建这个模型，以及如何填充它。应该在PowerBI桌面中构建模型，然后使用PowerQuery附加查询加载数据吗？或者，是否应该在Server中构建模型，而更传统的ETL脚本应该先填充它，然后导入到PowerBI中呢？
浏览 3提问于2017-05-16得票数 2
我们有一个将数据写入SQL Server的ETL包。数据显示在ASP.Net网页上。有时，ETL可能会识别出报警条件(它也会写入数据库)。在这种情况下，必须立即通知UI。将ETL或SQL Server中的内容推送到ASP.Net UI的合适技术是什么？StreamInsight似乎是一种过度杀伤力。缓存依赖似乎不包括将事件推送到客户端的方法。你的建议是什么？
浏览 1提问于2012-06-13得票数 1
回答已采纳
然后，我希望存储过程将字符串转换为变体数据类型，并将值插入到变量数据类型的表中的字段中。CREATE OR REPLACE PROCEDURE LOGGING_TEST_PR (ETL_NAME VARCHAR(16777216),ETL_RUN_GUID VARCHAR(16777216;
var SQL_STATEMENT_COUNT,SQL_COUNT,RECORD_COUNT;
浏览 1提问于2020-05-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
