首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

CDN访问日志质量性能监控与运营统计分析最佳实践

CDN是非常重要的互联网基础设施,用户可以通过CDN,快速的访问网络中各种图片,视频等资源。...在访问过程中,CDN会产生大量的日志数据,通过对CDN访问日志的分析,可以挖掘出大量有用的信息用于CDN质量和性能的分析,错误诊断,客户端分布, 用户行为分析。...CDN质量和性能分析 CDN提供日志中,包含了丰富的内容,我们可以从多个维度对CDN的整体质量和性能进行全方位的统计和分析: 健康度 缓存命中率 平均下载速度 运营商的下载次数、下载流量、速度 请求延时响应...健康度 统计http_code小于500的请求占所有请求的百分比。...CDN错误诊断 需求 访问错误一直是影响服务体验的重要一环,当出现错误的时候,需要快速定位当前错误QPS和比例是多少,哪些域名和URI影响最大,是否和地域、运营商有关,是不是发布的新版本导致。

1.1K30

CDN日志实时分析

异常来源是否有地域特性 是否和运营商有关 错误访问和终端应用版本是否有关联 流量上涨 是正常访问还是攻击 哪些是热点资源 是否有异常客户 是否由于客户端缓存策略导致 用户行为分析 当前在线人数、访问次数...热门资源 访问来源、agent、分布等 传统分析流程 现在各家CDN厂商,通常会提供基础的监控指标,比如请求次数、带宽等信息,然后,在进行定制化分析场景下,默认指标往往不能解决所有问题,需要对原始日志进行更深入的挖掘...质量和性能分析 CDN提供日志中,包含了丰富的内容,我们可以从多个维度对CDN的整体质量和性能进行全方位的统计和分析 健康度 统计return_code小于500的请求占所有请求的百分比...4xx、5xx错误百分比和分布 根据return_code的值,将错误分为4xx和5xx两类,从下面的错误百分比和分布图来看,主要的错误都是发生了403错误,说明被服务器拒绝请求,这个时候就需要检查是不是资源使用超过限制...基于CDN的访问日志,我们也可以对用户的访问行为进行分析, 如: 大部分用户是从哪里过来,是内部还是外部 哪些资源用户是热门资源 是否有用户在疯狂下载资源,行为是否符合预期 针对这些问题,我们举例来说明

2.1K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    用边缘计算扩展云计算的边界

    边缘计算支持建立大规模分布式体系结构,该体系结构允许在边缘计算上处理某个范围内的特定百分比的数据。只有少量必要的数据和访问流量需要路由到云计算中心。 边缘计算能提供哪些功能? 首先是更低的网络延迟。...它具有低延迟和低成本的特点,并且减少了云计算中心的压力。边缘节点服务(ENS)的边缘节点覆盖了中国的主要区域和运营商。...在产品体验方面,边缘节点服务(ENS)提供了一个完整且易于使用的Web管理控制台和OpenAPI,以支持远程在线管理和计算资源的分布管理,各种操作指标的实时可视化监控以及各种使用情况的统计分析数据。...例如,在ET City Brain场景中,视频监控在云平台上实施。在新的零售场景中,一些商店在云平台上执行视频人工智能、自动识别监控、销售和其他活动。本地行业中的一些IT设施迁移到云平台。...一些云计算供应商正计划支持GPU和其他功能,以帮助构建边缘场景的分布式数据分析平台。此外,还将进一步提高网络吞吐量和性能,以支持在边缘情况下占很大比例的大流量业务的处理。 (来源:企业网D1Net)

    2K10

    自建及商用CDN之间的多维度比较

    而同频道内不同用户分布在不同地域,不同运营商下。此时我们的主要任务是基于运营商网络开发一层封装并在其上叠加一个自己的分发网络而非基于IP多播。...当然,现有的YY网络中纯音频分发用户仍然占很大比例,基于团队语音的团战场景较为普遍。即使我们正在实现音视频分发网络的逐渐融合,但音频优先级仍然是需要我们保证的。...YY对卡顿率的定义和一般CDN厂商的定义有些许不同,我们以5分钟作为统计周期,如果在此周期内产生卡顿则定义此用户为坏用户;将一个周期内的坏用户数与此周期内所有种子用户数的比值定义为卡顿率,我们一直借助这样一个十分苛刻的指标衡量整个...这种实时交互的场景在我们的核心业务中占比很大,提升此类场景用户体验的关键是确保控制流和媒体流之间的配合与同步,如在AI地图场景中主播走到的位置与地图呈现给观众的位置必须同步且统一,而向左或向右走的指示也需准确无误...我们尽可能以较为合适的密度在全国各地布置机房节点,并在机房落地前进行包括丢包、延时在内的严苛质量测试,以及上线之后对机房节点进行持续监控并统计质量数据的变化。

    78620

    域名业务出现异常盗刷、攻击怎么办?

    3、数据盗用风险 在视频、图床等数据资源丰富的场景中,如果缺乏有效的安全防护手段,极易遭受恶意爬取数据或盗链使用的问题。...盗链者通过非法手段获取资源链接,直接盗用他人的服务器带宽和数据,不仅侵犯了内容创作者和服务提供商的合法权益,还可能导致被攻击方的服务器负载过高,影响正常用户的访问和使用体验。...而一些 PCDN 从业者为了躲避运营商的封堵,会采取伪造数据并频繁发起请求和下载的手段,这种行为在一定程度上干扰了正常的网络运营秩序,也可能引发一系列的盗刷和攻击问题,对网络安全和稳定造成潜在威胁。...业务监控曲线是否规律,例如每天晚高峰请求会有周期性上涨,每周相同时间变化波动不大; 历史数据,通过各产品的监控分析,提前确定最近一周,一个月或者3个月,历史信息,合理设置基线阈值; 业务是否敏感,决定设置上升比例阈值...5、防盗链配置: 对业务资源的访问来源进行控制,通过对用户 HTTP Request Header 中 referer 字段的值设置访问控制策略,从而限制访问来源,避免恶意用户盗刷,防止盗链请求。

    12320

    双十一马上到,你的网站准备好了吗?

    据有关数据显示,在影响移动App用户体验中,首当其冲的技术障碍就是崩溃(包括ANR、闪退),这类问题会造成糟糕的用户体验落差并伴随极高的卸载和流失率。...可观测技术是目前IT行业中的一大热门话题,它是一项面向分布式应用和容器的综合性监控技术,涵盖从前端到后端、从基础设施层到应用层的多种监控场景。...使用云拨测,以终端用户视角对自身应用和竞品应用进行对比,从地域、运营商、时间趋势、问题占比等多个维度组合分析,可以时刻掌握竞品性能与体验差异,大大提升用户的留存率。...可实现对多个场景的周期性监控,支持多维度分析性能指标,利用可视化性能数据和告警通知帮助企业及时对业务质量作出反应,保证业务稳定正常运行。...1、监测周期短,反应敏捷 腾讯云拥有全球200+城市的1000+拨测点资源,包括不同运营商、不同终端、不同网络条件、不同IP类型等类型的拨测资源。

    2.3K20

    技术解码 | 海外直播系统,推进直播全球加速

    本文介绍了腾讯视频云海外直播系统在基础设施建设、分布式架构设计以及音视频传输优化等方面多年沉淀的音视频处理和分发技术。该系统为全球用户提供了高品质、高可用以及高性价比的直播流处理和分发服务。...1、IDC专线建设 面对全球数千家运营商、7W多AS自治域的复杂场景,我们选择的在用户较集中的区域采购主流运营商的接入带宽,构建区域核心机房。...2 、 “最后1公里”网络建设 对于机房到用户最后一公里的建设,我们遵循主干运营商直连、区域运营商peer、长尾运营商走本地IX互连的思路,快速构建边缘节点的服务能力和服务质量。    ...、归一化处理,结合丢包率、rtt等影响因子计算技术质量得分,生成细化到地区、运营商粒度的调度路由表; ASN维度网络质量监控 (2)通过实时的探测质量数据结合静态配置策略,保持最大30s粒度跟新调度路由表...错误丢包,传输网络设备异常引起的错误丢包,通常占比较小。 拥塞丢包,运营商链路拥塞,通常分为深队列、潜队列、尾部丢包的表现形态。

    2.2K31

    直播技术干货分享:千万级直播系统后端架构设计的方方面面

    通常在一次大型直播中,多家CDN厂商提供的容量(区域带宽、最高带宽)、质量会各不相同。我们则是通过动态调整调度比例,在确保不超过最大带宽的前提下,精确化按比例分配流量,以及尽可能地确保体验。...当GSLB智能调度服务整体不可用,在客户端SDK预埋了融合CDN的local DNS灾备逻辑与比例配置,将云端的全局智能调度fail-over到客户端的本地兜底调度,并保持大数据统计层面的各CDN厂商的流量分配均衡...在此基础上:此次活动采用了端到端的视频流数据加密。 直播场景的加密有几点基本要求:压缩比不变、实时性和低计算复杂度。 除此之外:在融合多cdn的方案背景下,视频流的加密必须考虑到CDN厂商的兼容性。...6、监控与报警 6.1 概述 一场大型直播将会有大量的计算节点参与,除了媒体数据处理与分发的各个服务器节点,还有分布在国内外的海量客户端。...为什么会选择用户卡顿率这个指标,而不是使用整体的卡顿采样点/总采样数呢? 是因为:我们更想看到有多少用户没有出现过卡顿现象,这更能直观体现优质网络的整体占比。

    4.7K30

    海量存储第二弹 - 立体化监控

    、区域及运营商分布广泛(国内海外都有)、使用了多家外部CDN厂商等这些特点上面。...我们对业务监控的需求,从业务视角来看,表现为能够实时掌握到每个业务在各个区域、运营商、各个软件模块等的运行状态数据,且当有任何一个点出现异常时,都能够及时有效的告警出来,从系统设计视角来说,表现为要能够把复杂的业务调用场景进行抽象化...,要有足够的性能以便能够实时处理海量的监控数据,且要让人工在这整个过程中并不需要做太多参与,提升系统可持续运行能力。...、延时等多个指标的数据,人需要查看的常常是朋友圈图片上传总请求数是多少、失败率是多少,监控系统要做的就是实时对这些原始数据做汇聚合并成用户需要的样式。...,要监控的内容为“下载模块,图片类型为webp的下载每分钟请求数是多少,失败数是多少,总延时是多少”等,业务上报数据的格式也就是这种结构化的描述方式,也即“soft_id=xx|维度1=xx|维度2=xx

    1.8K30

    从0到1:美团端侧CDN容灾解决方案

    每一次的 CDN 故障,业务方往往束手无策,只能寄希望于 CDN 团队。而 CDN 的监控与问题排查,对 SRE 也是巨大的难题和挑战。一方面,由于 CDN 节点的分布广泛,边缘节点的监控就异常困难。...最终,经过计算,A 的流量占比是 95%,B 是 3.5%,C 是 1.5%。最后,经过排序和随机计算后将最终结果输出。...因为 A 的占比最大,所以 A 优先被选择;通过随机,B 和 C 也会有一定的流量;基于转移基准,可以实现流量的平稳切换。...图 15 4.3.3 容灾监控 在监控层面,SRE 团队往往只关注域名、大区域、运营商等复合维度的监控指标,监控流量巨大,对于小流量业务或者小范围区域的 CDN 波动,可能就无法被监控分析识别,进而也就无法感知...监控整体流程如下: 图 17 监控效果 CDN 监控不仅从项目维度更加细粒度的监测 CDN 可用性,还为 CDN 异常排查提供了区域、运营商、网络状况、返回码等更丰富的信息。

    1K20

    CNCERT 2018年1月我国DDoS攻击资源分析报告

    在本报告中,一次DDoS攻击事件是指在经验攻击周期内,不同的攻击资源针对固定目标的单个DDoS攻击,攻击周期时长不超过24小时。...图6 近两月持续活跃的肉鸡数量按省份和运营商分布 (三)反射攻击资源分析 1.反射服务器资源 根据CNCERT抽样监测数据,2018年1月,利用反射服务器发起的反射攻击的DDoS攻击事件占事件总量的21.7%...跨域伪造流量涉及路由器按省份分布统计,浙江省占的比例最大,占13.5%,其次是吉林省和上海市;按路由器所属运营商统计,移动占的比例最大,占53.8%,联通占比25.0%,电信占比21.2%,如图12所示...本月本地伪造流量涉及路由器按省份分布,江苏省占的比例最大,占26.3%,其次是福建省、江西省、及贵州省;按路由器所属运营商统计,电信占的比例最大,占52.2%,移动占比35.5%,联通占比12.4%,如图...图16 近两月活跃的本地伪造流量来源路由器数量按省份和运营商分布 本月攻击资源治理效果分析 (一)攻击资源维度 1.控制端资源 根据CNCERT抽样监测数据,与2017年12月相比,本月利用肉鸡发起DDoS

    1.2K70

    COS存储跨园区同步方案

    对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。...腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。...) CVM或客户端性能资源和带宽能力 回源拉取 触发后实时 被动同步(回源拉取) 同园区回源任务队列负载 SCF事件触发 触发后实时 主动同步(事件触发) SCF并发处理能力 数据同步方案1:跨区域复制同步能力...如果希望仅热数据同步,并结合腾讯云CDN产品,且源站带宽资源可靠,对用户提供无缝访问服务。推荐使用“回源同步”。...多园区中心同步,通过中心节点互备,可避免局部性的运营商线路问题。 结合CDN产品,可提供多源访问,进一步避免局部运营商问题。

    1.5K40

    1+1>2|加快应用访问速度的两大利器

    如何检测 CDN 资源的真实加速情况 通过 CDN 进行应用资源加速后,可以在腾讯云 CDN 控制台—全网状态监控模块查看不同地域以及运营商的可用性数据。...CDN 全网状态监控模块 这些数据均是用户在请求资源时,对到达边缘节点的请求响应后进行时延统计得出。进而,绘制出全国的 CDN 质量地图。...不过这种方式无法获取应用的真实访问速度,主要有以下两个原因: 客户端到 CDN 边缘节点的网络链路不通,导致边缘节点无法接受请求,从而无法统计到响应的时延数据; 统计出的时延数据为机房探测节点访问资源的理论值...上面两个因素可能会导致统计数据看起来很美好,但是用户真实体验却并不理想。 正确的姿势,是在用户触达网站或小程序时就将资源的加载速度记录下来,通过静态资源加载速度,全链路衡量 CDN 加速效果。...基于腾讯内部多年实践,每天支持 4000 亿数据上报量 应用接入腾讯云前端性能监控(RUM)后,可以在腾讯云控制台查看以下数据,帮助解决用户真实体验和 CDN 边缘节点统计数据不一致的问题: 网站和小程序的首屏耗时

    1.3K40

    网络质量监控 - 守好入口第一关

    据统计,页面响应每慢1秒,用户转化率下降7%,访问量将下降11%,用户满意度下降16%。而如果页面响应时间超过3秒,一半以上的用户,会放弃浏览。...缺少权威数据 - 定责难 部分企业,由于运维团队和资源地域分布广泛,能够借助内部资源构建高覆盖度的网络质量探测网,对服务、域名进行规律性的检测,及时发现网络质量问题。...然而,源于网络中各种资源供应商(CDN、DNS、网关供应商、网络运营商)的问题反馈、定责时,往往由于探测手段、数据处理方式等问题,受到数据权威性的质疑。...腾讯云拨测如何帮你监控网络质量? 1. 广泛分布探测点 - 全面覆盖多种网络环境。 腾讯云拨测丰富的网络资源,可以覆盖99%的用户接入方式和网络环境,真正做到无死角监控 。 [点击查看大图] 2. ...云拨测覆盖全球主要城市和运营商,拥有 IDC、LastMile 真实网民、手机端三种类型的拨测点,拨测数据来自于真实网络环境中的真实设备,可以完整还原真实网民的使用场景。

    1.1K20

    主动发现问题,预先感知故障及用户体验

    作者:黄小龙,腾讯云云监控高级工程师 前言  近期,某券商 APP 出现异常,大部分用户出现无法登录,数据显示异常等问题。...在业务发展过程中,通常会过度的关注如何设计高可用、高可靠的架构,往往忽略会了真实的用户体验。业务真正上线后,将面临接踵而来的体验问题。 为什么会有大量用户反馈体验不佳?访问缓慢?...数量庞大的拨测点资源:三大拨测点类型:骨干 IDC、终端网民 LastMile、手机拨测点,国内覆盖 200+,国外覆盖 65+城市,覆盖主要的运营商。 3....[点击查看大图] 通过步骤用时占比面板,可以获取用户访问网站每个步骤的性能,针对性实行优化。...云拨测相关文章: CDN 服务质量监控最佳实践

    2K30

    云监控 x CDN : 一键开启主动式全地域 CDN 性能监控

    CDN 应运而生,CDN(Content Delivery Network,即内容分发网络),通过将资源缓存到离用户比较近的节点上,有效地避开互联网上有可能影响传输速度和稳定性的因素,使得我们用户请求的内容传输更加快速和稳定...使用 CDN 后,如何持续监控全地域 CDN,先于用户发现可用性、性能和下载速度问题并及时优化?...云拨测 x CDN 无侵入全周期测速插件  腾讯云内容分发网络(CDN)联合腾讯云云拨测(CAT),基于分布全球的真实探测节点,3-7层网络全覆盖探测能力,为 CDN 用户特殊场景,定制了可服务 CDN...从选型验证、日常监控到故障排查的全生命周期,无侵入 CDN 测速解决方案。...[点击查看大图] 步骤三:多维性能分析 创建任务10-20分钟后,探测数据会从遍布全球各地的探测点回传,您即可在性能大盘中,看到对应资源的各项核心指标。

    3K20

    性能测试基础知识体系

    比如需求分析、场景建模、测试方案、性能分层、指标监控、结果评估和优化本身上面。...&数据预埋的影响; 业务模型:只读、读写、批处理、定时Job; 业务配比:被测场景占总体场景的业务量占比(公式:被测场景/总业务量*100%) 选取业务峰值的数据,单独统计; 如果各业务占比类似,则按照比例转化...; 如果比例差距大,则按照区间单独统计分析; 环境配置 PRE&PERF、app&Redis&MQ&DB&网络&网段&&带宽&防火墙,是否独享资源隔离等; 性能指标 业务指标:DAU、GMV、注册用户数...转化的技术指标是多少?冗余范围有多大? 准备工作:其中包含环境、数据、脚本、监控等准备事项; 组织结构:整个项目中涉及哪些事项?不同事项的负责人是谁?交付时间是什么时候?...结果评估 在性能测试实施过程中,准确定义和描述性能测试结果,及针对不同结果进行模型分析,是很重要的一项能力。

    1.1K31

    COS存储跨园区同步方案

    对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。...腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。...此方法优点:可配置的轮询时间周期,同步内容与日志直观可见。 此方法缺点:依赖于CVM/客户端资源,受限于中转主机带宽资源。配置较复杂。...如果希望仅热数据同步,并结合腾讯云CDN产品,且源站带宽资源可靠,对用户提供无缝访问服务。推荐使用“回源同步”。...多园区中心同步,通过中心节点互备,可避免局部性的运营商线路问题。 结合CDN产品,可提供多源访问,进一步避免局部运营商问题。

    2.4K1413

    有哪些行业需要用到CDN?

    因此,很多网络运营商选择使用CDN加速服务保证自己下载业务的稳定、高效与安全。...4、移动应用的用户体验急需提升 据2016年CNNIC发布的第38次《中国互联网络发展状况统计报告》显示我过手机网民规模已达6.56亿,占整体网民的92.5,手机上网已经成为主导地位。...例如京东2015年移动订单占比(履约)从第一季度到第四季度分别为42%、47%、52%、61.2%,和传统Web端可以做到平分秋色甚至更多。良好的移动应用体验,会为企业带来更好的用户满意度。...CDN网络节点分布的特性是天然的抗D平台,其具有按需防护、简化源服务器基础架构、减少IT规划等优势将会是未来安全发展的趋势。...基于CDN平台的源站隐藏、攻击监控、访问控制、智能拦截等技术手段为客户网站提供事前监控、事中防护、事后管理的全过程安全防护。此外,还可利用CDN网络为网站提供优质的加速服务。

    1.7K40

    大数据在电信行业的应用

    ;(3)客户关系管理,包括客服中心优化和客户生命周期管理;(4)企业运营管理,包括业务运营监控和经营分析;(5)数据商业化指数据对外商业化,单独盈利。...运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布,对2G、3G的高流量区域设计4G基站和WLAN热点;同时,运营商还可以对建立评估模型对已有基站的效率和成本进行评估,发现基站建设的资源浪费问题...运营商可以将小区的数据进行多维度数据综合分析,通过对小区VIP用户分布,收入分布,及相关的分布模型得到不同小区的价值,再和网络质量分析结合起来,两者叠加一起,就有可能发现某个小区价值高,但是网络覆盖需要进一步提升...德国电信建立预测城市里面的各区域无线资源占用模型,根据预测结果,灵活的提前配置无线资源,如在白天给CBD地区多分配无线资源,在晚上,则给酒吧地区多分配无线资源,使得无线网络的运行效率和利用率更高。...可以分为业务运营监控和经营分析。 (1)业务运营监控分可以基于大数据分析从网络、业务、用户和业务量、业务质量、终端等多个维度为运营商监控管道和客户运营情况。

    2.8K80
    领券