首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >编程获取ADF流水线消耗报告

编程获取ADF流水线消耗报告
EN

Stack Overflow用户
提问于 2021-06-17 10:19:43
回答 1查看 907关注 0票数 1

我对查询从Data监视器获得的管道消耗报告很感兴趣。是否有日志分析或PowerShell cmdlet上的表将返回此信息?我检查了ADFv2 PowerShell模块,但是找不到。我的目标是汇总本报告中提供的信息,以确定哪些是最昂贵的管道。

参考资料:https://techcommunity.microsoft.com/t5/azure-data-factory/new-adf-pipeline-consumption-report/ba-p/1394671

谢谢

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-06-21 09:35:29

在进行更多的研究时,有人向我指出了一个GitHub页面,在那里,产品团队发布了一个PowerShell脚本,以查找我正在寻找的{1}部分内容。因此,我对脚本进行了一些修改,以获得所需的输出。通过下面的输出,我可以从MS计算器中提取值,以获得每个管道运行的估计成本。{2}

代码语言:javascript
复制
$startTime = "21/6/2021 7:00:00"
$endTime = "21/6/2021 10:00:00"
$adf = '<data factory name>'
$rg = '<resrouce group name>'
    

$outputObj = @()
$pipelineRuns = Get-AzDataFactoryV2PipelineRun -ResourceGroupName $rg -DataFactoryName $adf -LastUpdatedAfter $startTime -LastUpdatedBefore $endTime

# loop through all pipelines and child activities to return billable information
foreach ($pipelineRun in $pipelineRuns) {
    $activtiyRuns = Get-AzDataFactoryV2ActivityRun -ResourceGroupName $rg -DataFactoryName $adf -pipelineRunId $pipelineRun.RunId -RunStartedAfter $startTime -RunStartedBefore $endTime

    foreach ($activtiyRun in $activtiyRuns) {
        if ($null -ne $activtiyRun.Output -and $null -ne $activtiyRun.Output.SelectToken("billingReference.billableDuration")) {            
            
            $obj = @()
            $obj = $activtiyRun.Output.SelectToken("billingReference.billableDuration").ToString() | ConvertFrom-Json
            $obj | Add-Member -MemberType NoteProperty -Name activityType -value $activtiyRun.Output.SelectToken("billingReference.activityType").ToString()
            $obj | Add-Member -MemberType NoteProperty -Name pipelineName -value $pipelineRun.PipelineName
            $obj | Add-Member -MemberType NoteProperty -Name activtiyRuns -value $activtiyRuns.Count             

            $outputObj += $obj
        }
        else {}
    }
}

# output aggregated result set as table
$groupedObj = $outputObj | Group-Object -Property pipelineName, activityType, meterType
$groupedObj | ForEach-Object {
    $value = $_.name -split ', '
    New-Object psobject -Property @{ 
                               
        activityType              = $value[1];
        meterType                 = $value[2];
        pipelineName              = $value[0];
        executionHours            = [math]::Round(($_.Group | Measure-object -Property duration -sum).Sum, 4)
        orchestrationActivityRuns = $groupedObj.group.activtiyRuns[0]
    } 
} | Sort-Object -Property meterType | Format-Table

输出示例:

来自Data监视器的消费报告

参考资料:

  1. https://github.com/Azure/Azure-DataFactory/tree/main/SamplesV2/PastRunDetails#simple-script-that-prints--activity-level-run-details-in-45-day-range {1}
  2. https://azure.microsoft.com/en-us/pricing/calculator/?service=data-factory%2F {2}
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68017384

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档