离线数据分析平台实战——210项目综述与需求分析 项目综述 项目分别分为bf_track， bf_transforer和 bf_dataapi。 本次项目主要以分析七个模块的数据， 分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析、订单信息分析以及事件分析。 那么针对不同的分析模块，我们又不同的用户数据需求，所以我们在bf_track项目中提供不同的客户端来收集不同的数据。 在bf_transformer中分别采用hive+mr两种方式进行数据分析。在bf_da
原文地址：http://blog.codinglabs.org/articles/how-web-analytics-data-collection-system-work.html 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具，比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理，并一步一步实际搭建一个实际的数据收集系统。
前言：做基础技术的时候，会经常碰到一个问题就是如何让自己提供的代码对用户少侵入，无感。比如我提供了一个 SDK 收集 Node.js 进程的 HTTP 请求耗时，最简单的方式就是给用户提供一个 request 方法，然后让用户统一调用，这样我就可以在 request 里拿到这些数据。但是这种方式很多时候并不方便，这时候我们就需要去 hack Node.js 的 HTTP 模块或者给 Node.js 提 PR。在操作系统层面，有提供很多技术解决这种问题，比如 ebpf、uprobe、kprobe。但是应用层无法使用这种技术解决我们的问题，因为操作系统的这些技术针对的是底层的函数，比如我想知道一个 JS 函数的耗时，只能在 V8 层面或者 JS 层面去解决，V8 这方面似乎也没有提供很好能力，所以目前我们更多是考虑纯 JS 或者 Node.js 内核层面。本文介绍一些一种在 JS 层面 hack 用户代码的方式。
近期，研究人员发现了一种恶意JavaScript文件。这种恶意JS文件能够在用户毫不知情的情况下在网站或App中悄悄进行加载，当用户使用智能手机访问网站或App时，它就能够在后台通过各种手机传感器来访问并收集用户手机中的数据，攻击者将能够利用这些收集到的数据来破解用户的密码或PIN码。 这种新型攻击技术是由英国纽卡斯尔大学的一个安全研究团队发现的，研究人员表示，这种恶意脚本能够利用25种不同的传感器来收集数据，在对这些收集到的数据进行整合之后，攻击者将能够推断出目标用户在手机上所输入的内容。 并非所有的
巧用搜索引擎首推谷歌查看了解SRC旗下涉及到的业务，收集其对应的业务下的域名，再进一步进行挖掘，如：
自己运营了一个公众号，在发文章的时候，需要在网上找一些图，而有些网站的图片可能隐藏在属性或者背景图中，要下载的时候经常审查元素，查看源码，不太方便，最近在看一些谷歌插件的api，便顺手做了一个插件Im
本文提供的工具、教程、学习路线、精品文章均为原创或互联网收集，旨在提高网络安全技术水平为目的，只做技术研究，谨遵守国家相关法律法规，请勿用于违法用途。
爬虫（crawler）和反爬虫（anti-crawler）技术之间的对抗是一场持续的猫鼠游戏。爬虫是自动化的网络机器人，它们浏览互联网上的网站，以收集信息和数据。而反爬虫技术则是网站管理员用来阻止或限制爬虫收集数据的技术和策略。
本文分享的Writeup是作者在测试一些目标服务相关的负载均衡或CDN应用时发现的错误配置型漏洞，这些漏洞有些发生服务端犄角旮旯的响应消息中，可能很少会引人注意，我们一起来看看。
Volexity的新分析报告称，从4月开始，专注于朝鲜新闻的朝鲜日报网站上出现了恶意代码。
前言：Node.js 提供了 trace event 的机制，在 Node.js 内核代码里，静态地埋了一些点，比如同步文件 IO 耗时，DNS 解析耗时等。每次执行这些代码时，Node.js 就会执行这些点的钩子，从而收集相应的数据。不过这个能力默认是关闭的，毕竟对性能会产生影响。我们可以通过 trace_events 模块打开这个功能。trace_events 模块会源源不断地把数据写到一个到多个文件中。除了通过 trace_events 模块之外，Node.js 也实现了通过 Inspector 协议收集 trace event 数据，本文介绍基于 inspector 协议收集 trace event 数据的实现。
摘要： Fundebug的微信小程序错误监控插件更新至0.5.0，支持监控HTTP请求错误。
本期更新第6篇文章， 聊聊“推荐系统”。 推荐系统核心的是推荐算法，常用有这几种： 基于内容推荐 协同过滤推荐 基于关联规则推荐 基于效用推荐 基于知识推荐 组合推荐。 最常用的还是组合推荐 Hybrid Recommendation 由于各种推荐方法都有优缺点，所以在实际中，组合推荐经常被采用。 最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果，然后用某方法组合其结果。 用的最多的是协同过滤算法，这也是本文要重点介绍的。 协同过滤推荐 Collaborative Filteri
对于小程序开发者来说，其中的错误监控一直是个头疼的问题。由于小程序开发迭代较快，会存在系统问题，机型问题和版本的兼容问题，有时候我们在自行测试中完美运行，可总是有用户抱怨使用异常。
<html> <head> <title>form标签学习</title> <meta charset="UTF-8"/> </head> <body>
说到信息收集，网上已经有许多文章进行描述了，那么从正常的子域名、端口、旁站、C段等进行信息收集的话，对于正常项目已经够用了，但是挖掘SRC的话，在诸多竞争对手的“帮助”下，大家收集到的信息都差不多，挖掘的漏洞也往往存在重复的情况。 那么现在我就想分享一下平时自己进行SRC挖掘过程中，主要是如何进行入手的。以下均为小弟拙见，大佬勿喷。
最近做网站体验优化的时候突然发现一个好东西，pace.js(加载进度条插件)，gzip之后只有几kb， 简单好用，特地分享出来，也作为自己的一个学习总结。
一直以来，跟踪 Node.js 的内存泄漏是一个反复出现的话题，人们始终希望对其复杂性和原因了解更多。
说到信息收集，网上已经有许多文章进行描述了，那么从正常的子域名、端口、旁站、C段等进行信息收集的话，对于正常项目已经够用了，但是挖掘SRC的话，在诸多竞争对手的“帮助”下，大家收集到的信息都差不多，挖掘的漏洞也往往存在重复的情况。
ml> <head> <title>form标签学习</title> <meta charset="UTF-8"/> </head> <body>
FrontJS 是面向产品部门，运营部门，以及开发部门工作人员的网站性能及异常信息收集工具。
摘要： Fundebug的微信小游戏错误监控插件更新至0.2.0，支持监控HTTP请求错误。
watch 是由用户定义的数据监听，当监听的属性发生改变就会触发回调，这项配置在业务中是很常用。在面试时，也是必问知识点，一般会用作和 computed 进行比较。
在运行时应用内部的状态会不断发生变化，需要不停地渲染。确定状态发生了什么变化通过“变化侦测”实现，一般分“推”和“拉”两种。
我在其中发现了多个内部域名，最后通过 这些内部域名，结合接下来要讲的方法， 成功发现了多个漏洞。
大多数时候，我们在不了解有关内存管理的知识下也只开发，因为 JS 引擎会为我们处理这个问题。不过，有时候我们会遇到内存泄漏之类的问题，这个只有知道内存分配是怎样工作的，我们才能解决这些问题。
想必大家都玩过“跳一跳”吧？刷排行榜的感觉是不是很好啊！还有“知乎答题王”呢，在智力上碾压老铁简直太棒了！
如果你是使用Burp Suite来进行测试，就可以通过多种方式来收集应用程序中的所有JavaScript文件。这也是俺比较喜欢的一种方式
数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方案流程，为后续的数据分析应用提供数据基础。
作者何鸿凌 ，中国移动集团公司业务支撑系统部，从事大数据平台规划工作，微博@BigData分析 大数据时代中商业的变化，我们已经逐步感受到。不管你是不是新注册的用户，你登录电商网站或者打开电商的APPs后看到的信息是个性化的；所看到的互联网广告是个性化的；收到的优惠券也是个性化的。 在层出不穷的商业个性化背后是个性化引擎，而其中的关键则是DMP（数据管理平台）。因为个性化推荐的“比较优势”主要体现在，作为个性化推荐依据的“数据”，而不是算法和技术。DMP正是利用大数据技术从海量杂乱的数据中抽取出有价值信息
(还有一些没有拿到管理员权限的系统这里就不写了),还有就是这些漏洞现在均以上交给学校。
前言：perf_hooks 是 Node.js 中用于收集性能数据的模块，Node.js 本身基于 perf_hooks 提供了性能数据，同时也提供了机制给用户上报性能数据。文本介绍一下 perk_hooks。
Vue.js 是一个渐进式 MVVM 框架，目前被广泛使用，也成为目前前端技术中颇具代表性的一个框架。
在完成了产品的基础开发以后，接下来需要进行一些周边的工作，这些周边工具将会帮助下一步优化产品。
Node.js是一个基于Chrome V8引擎的JavaScript运行环境，通常用于创建网络应用程序。它可以同时处理多个连接，并且不像其他大多数模型那样依赖线程。
有些攻击方式虽然听起来很幼稚，但有时候却也可以生效，比如typosquatting攻击——我们上次看到这种攻击是在去年6月份，这本身也是种很古老的攻击方式。 所谓的typosquatting，主要是通过用户的拼写错误诱导用户访问或下载某个伪装成合法工具的恶意程序——其核心只在于工具名或文件名和原版很像，比如app1e.com，这种类型的钓鱼就是typosquatting。最近 npm 就遭遇了这种攻击。 有人在 npm 上传了不少恶意包 npm的CTO CJ Silverio在博客上发表了一篇文章提到：
开源GitHub地址：https://github.com/sitespeedio/sitespeed.io
Google 宣称它在编写代码方面表现得更好。一旦您有了代码，您可以将其直接导出到 Google 的 Colab 笔记本或在 Replit 上部署。 Bard 还将获得访问工具的权限。如果让它为您写一封电子邮件，您将能够将草稿发送到您的 Gmail 并在那里继续。Instacart、OpenTable 等的集成即将到来。
服务从单体应用升级到微服务的时候，整个请求的链路会变多，当发生异常、或遇到接口性能瓶颈时。很难将具体的异常日志和具体的请求关联起来，也很难直接定位是哪个调用环节存在性能瓶颈。这个时候就需要一个分布式链路追踪系统来串联调用链，快速定位问题。
离线数据分析平台实战——250JSSDK数据收集引擎编写 JsSDK设计规则 在js sdk中我们需要收集launch、pageview、chargeRequest和eventDuration四种数据
有些授权测试中，允许红队人员用社会工程学之类的方法进行渗透。钓鱼和水坑则是快速打点或横向的常用手段。钓鱼通常需要绕过目标邮件网关等安全设备，水坑则需要摸清目标的操作习惯。在此简单的罗列一下布置水坑的方法。ps：本文未涉及任何真实案例。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
