题图：by watercolor.illustrations from Instagram
尽管已经可以行侠仗义，但是初入江湖的少侠依然少了很多江湖经验，完全不顾及别人的饭碗，疯狂的数据采集造成的压力引起了服务器地主们的注意，发现系统资源严重消耗，于是对服务器处理的用户请求进行了分析，发现了原来是有一个客户端在短时间无限制的发起了太多请求，于是对该客户端直接进行了屏蔽
我之前在爬虫架构｜如何设计一款类“即刻”信息订阅推送的爬虫架构（一）中简单描述了我要做这个爬虫架构的思路，今天我们真正确定了这个架构的实现思路。分享如下： 一、最开始的爬虫架构任务创建方式（常规方式） 我们之前设计的爬虫任务创建方式为：用户A创建了一个主题X并选择了对应的内容源和装饰条件之后我们就会创建对应的爬虫任务，如果这个主题X选择了多个内容源1、2、3时，就会创建3个任务X1、X2、X3。另外如果用户B创建了另一个主题Y，选择的内容源为1、2后，那么就会创建Y1、Y2爬虫任务。 基于以上的爬虫任务设定
随着高清，4K视频的推广，视频GPU硬件编码，解码，转码已经开始成为主流。同时人工智能的兴起，深度学习也离不开硬件GPU的模型训练和计算。GPU硬件参数越来得到开发人员的关注，对GPU 温度，占用率，显存等参数也纳入监控平台的重要监控指标。本文以温度为例介绍如何监控显卡GPU相关参数。
作者简介 王小波，携程技术中心框架研发部高级工程师，主要负责用户行为数据采集系统及相关数据产品研发设计工作。之前主要从事互联网广告、RTB相关系统研发和设计工作。 一、携程实时用户数据采集系统设计实践 随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LB
一、携程实时用户数据采集系统设计实践 随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。 我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访
一、携程实时用户数据采集系统设计实践 随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。 我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问
上篇文章（第01期：详解 Prometheus 专栏开篇）介绍了 Prometheus 的架构，本文开始将介绍 Prometheus 数据采集。本文首先会介绍采集数据的格式和分类，然后会给出一些使用上的建议。
<metric name>{<label name>=<label value>, ...},
我们在上一篇文章《Elastic 进阶教程：在Elasticsearch中部署中文NER模型》中介绍了如何部署NER模型，在文末，我们提到
BeeAPM是一个分布式跟踪和应用性能监控系统。该系统应用JavaAgent技术，使用bytebuddy（基于ASM的框架）进行字节码植入，从而对java应用程序进行相关数据采集和性能监控， 对应用无侵入。
最近在实施一个项目，将客户从原有的数人云 mesos+marathon 迁移至 Openshift，迁移的主要原因有两个，一是现有mesos+marathon平台出现故障时能够解决问题的人不多（数人云已被收购），能够查找的相关资料也少，运维成本很高，用openshift，是企业级产品，并且社区也活跃，有问题解决问题的成功率也大大提升了，如果再买红帽的订阅服务或人天服务，还能够有红帽原厂或红帽合作伙伴的大力支持；二是现在很多开源的软件部署方式都大力支持K8S和openshift，当客户想要快速搭建环境时，mesos+marathon平台就捉襟见肘了。
有时候我们需要对主机存活，端口存活及网站状态进行检测下，看下我们的网站访问耗时是不是很长，你的监控系统是用的prometheus，那么我们可以部署blackbox_exporter来采集数据到prometheus，blackbox_exporter允许通过HTTP，HTTPS，DNS，TCP和ICMP对端点进行黑盒探测，由于我们的服务都是在腾讯云上，prometheus也是用的云上托管，叫做云原生监控，但是云原生监控并没有提供网站站点的监控，这里需要我们自己部署blackbox_exporter来进行采集。下面我们说说如何部署blackbox_exporter来监测我们的站点。
线上数据一般主要是落地（存储到磁盘）或者通过 socket 传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向 kafka里写数据，这时候你可能就需要 flume 这样的系统帮你去做传输。
DataBand（数据帮），快速采集清洗，数据分析，预测分析，人工智能赋能服务，是一站式的大数据平台。我们致力于通过提供智能应用程序、数据分析和咨询服务来提供最优解决方案
在 Kubernetes 中，监控和日志属于生态的一部分，它并不是核心组件，因此大部分的能力依赖上层的云厂商的适配。Kubernetes 定义了介入的接口标准和规范，任何符合接口标准的组件都可以快速集成。
VictoriaMetrics，是一个快速高效、经济并且可扩展的监控解决方案和时序数据库。
APM是一种应用性能监控工具，可以帮助理解系统行为, 用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题, 通过汇聚业务系统各处理环节的实时数据，分析业务系统各事务处理的交易路径和处理时间，实现对应用的全链路性能监测。
数据分析与挖掘是对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，整个分析过程会有以下几个步骤： 1. 确定目标 首先，要明确目标是什么？比如一个消费品公司有千万级别的会员，那如何对会员的有一个清晰的认识。哪些是活跃的会员？哪些已经流失？会员的消费周期是什么样子？不同的会员偏好的产品特征是什么？流失的会员有没有什么办法唤醒回头再次？ 通过问问题，确定分析目标，明确大目标，拆解成各个小目标。 以上面的例子，其实是想做关于做会员画像，实现精准营销，这个是大目标。活跃会
我们经常讲：研发人员有两只眼睛，一只是监控平台，另一只是日志平台。在对性能和高可用讲究的场景里，监控平台的重要性再怎么强调也不过分。
金山文档里的智能表格，不错的产品，现在已经有了air script脚本驱动+定时任务功能，可以打造云端永不停机的定时采集数据方案。
作为一款全球下载量超千万的大规模分布式物联网 MQTT 服务器，最新发布的 EMQX 5.0 不仅全球首个达成单集群 1 亿 MQTT 连接支持，也是首个将 QUIC 引入 MQTT 的开创性产品。如今，EMQX 在各个行业为高可靠、高性能的物联网实时数据移动、处理和集成提供着动力，助力企业构建关键业务的 IoT 应用。
随着车联网与 5G 技术的融合以及车辆智能化的发展，车联网的数据采集需求呈现爆发式增长。传统的车辆数据采集主要用于车辆的远程监测和故障诊断。随着车辆应用的丰富和智能化水平的提高，车辆数据采集逐渐应用到更多的场景，如研发用数据采集、数据统计和分析、规则引擎与报警系统、车辆实时控制等。
补充，队列使用可以查看上一篇文章 my.oschina.net/owenzhang24…
这两天一直在分析 Windows 下 WebRtc 的代码，所以有些日子没有写东西了。今天来聊聊Windows 下的视频采集。
目前内测阶段免费使用，无需审核，开通服务即用。诚邀您点击 申请页面 参与内测体验！
从2020年年初以来，疫情已经变成了生活中常见的名词，疫情常态化之下，人们对于网络的依赖性越来越大，互联网产业飞速发展。
这个公众号会路线图式的遍历分享音视频技术：音视频基础 → 音视频工具 → 音视频工程示例 → 音视频工业实战。关注一下成本不高，错过干货损失不小 ↓↓↓
数据平台数据采集系统日志采集网络数据采集设备数据采集数据同步数据存储数据计算实时计算离线计算数据挖掘数据服务数据模型数据建模方法论数据模型管理体系表设计数据管理元数据收集和搜索数据血缘数据质量计算任务管理平台成本管理数据应用互联网工业政务
性能问题是导致 App 用户流失的罪魁祸首之一，如果用户在使用我们 App 的时候遇到诸如页面卡顿、响应速度慢、发热严重、流量电量消耗大等问题的时候，很可能就会卸载掉我们的 App。而往往获取用户的成本是高昂的，因此因为性能问题导致用户流失的情况是我们要极力避免的，做不好这一点是我们开发人员的失职。
随着全球产业链线上化和数字化的加速，移动端实时屏幕共享在各行各业场景下都有了广泛的应用，比如在线教育、视频会议、远程业务咨询、手游直播。而屏幕采集则是实现实时屏幕共享流程中的第一步，本篇技术分享就来跟大家讲讲拍乐云在 Andorid 端屏幕采集的经验实践。
前几天，使用maccms建站的时候，错误的添加了一个采集的地址，结果采集出来的数据让我很是不满意，
在实际生产中，我们经常会遇到类似kafka这种流式数据，并且原始数据并不是我们想要的，需要经过一定的逻辑处理转换为我们需要的数据。鉴于这种需求，本文采用NiFi+Spark Streaming的技术方案设计了一种针对各种外部数据源的通用实时采集处理方法。
上一篇介绍了，前端为什么要有监控系统？前端监控系统的意义何在？有小伙伴看完后留言想听些详细的实现。那么本篇我们就开始介绍前端监控如何实现。
DAQNavi的API充分利用了组件思想，以DeviceCtrlBase为基类，派生出模拟输入(AI)、模拟输出(AO)、数字输入或数字输出和计数器的其他功能组件。
借着人工智能的东风，Python在这两年逐渐火了起来，Python在编程语言排行中的不断攀升，不得不说有着人工智能的很大功劳。凭借Python简洁易于上手的语法和丰富的扩展，Python在人工领域的应用越来越广泛。
今天给大家推荐一款PHP开发的采集系统，我试用了一下确实很牛，不仅仅支持常规的文章采集，还支持ajax类型的文章采集，不得不说这个采集器写的很好，若是你熟悉PHP又想学采集的，那么这个系统完全可以做一个参考，看看作者的思路，开阔开阔自己的视野。
岩土工程的安全监测是非常重要的，它可以帮助工程师及时发现可能存在的问题，并及时解决，保障施工进度以及施工质量，保障工程的安全运行。其中，振弦采集仪是岩土工程安全监测中比较常用的一种仪器，其灵敏的动态响应，通过分析数据来判断地层的稳定性与安全性。使用振弦采集仪需要注意以下要点：
在iPhone上构建自定义数据采集工具可以帮助我们更好地满足特定需求，提高数据采集的灵活性和准确性。本文将为您提供一份完整的指南和示例代码，教您如何在iPhone上构建自定义数据采集工具。
Zabbix团队很高兴在此宣布4.2正式发布！Zabbix集众多现代化监控系统的优秀功能于一身：数据采集和处理、分布式监控、实时问题和异常检查、告警升级、可视化等等...
Zabbix4.2增加了一个Item预处理功能:Throttling（节流）功能。通过此功能可以实现以下几个效果： 1.减少Item重复数据的存储。 2.对高频率采集数据进行压缩存储。 总结起来就是可以减少Item采集的重复数据存储，具体使用方法及用途通过以下几个实验说明
在本文中，我们将给大家介绍如何在腾讯云上创建Fleet与Fleet Server。
Zabbix是一个企业级的高度集成开源监控软件，提供分布式监控解决方案。可以用来监控设备、服务等可用性和性能。
了不起学弟：前台，后台，中台。。。数据中台，业务中台。。。学长怎么这么多概念啊，一下子把我搞蒙了都。
1. 内部系统：企业内部各类系统和应用程序产生的数据，如企业资源计划（ERP）系统、客户关系管理（CRM）系统、人力资源管理系统（HRM）等。
Zabbix 是一个高度集成的网络监控解决方案，可以提供企业级的开源分布式监控解决方案，由一个国外的团队持续维护更新，软件可以自由下载使用，运作团队靠提供收费的技术支持赢利。
上篇文章我们主要是讲解了使用prometheus-operator来进行部署，其中大部分需要监控的指标我们都可以收集到，但是也是有不完善的地方，例如我们自定义的exporter。本篇文章将会讲解如何自定义监控。
爱可生上海研发中心成员，研发工程师，主要负责 DMP 平台监控告警功能的相关工作。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
