在渗透测试及漏洞挖掘过程中，信息搜集是一个非常重要的步骤。而在网站的JS文件中，会存在各种对测试有帮助的内容。
在漏洞奖励计划中，只要你不是第一名，那你就是最后一名，银牌和铜牌都没有任何意义。在漏洞挖掘的过程中，网络侦察扮演着至关重要的角色，如果你能比其他人更早地发现/识别新添加的资产，那么你发现/报告该资产上的安全缺陷并因此获得奖励的几率就比其他人高。
一般写爬虫是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
一、前言 威胁情报作为信息安全领域一个正在茁壮成长的分支，在当下依旧处于混浊状态。即网络中存在着大量的所谓“情报”，它们的结构不同、关注方向不同、可信度不同、情报内容不同、情报的来源也是千奇百怪。这使得威胁情报在实际的运用中面临许多问题，而这其中的关键问题在于，在现阶段无法统一有效的提取出威胁情报中能够应用的关键信息。 为了在一定程度上解决这一问题，我们做了一点微小的工作，通过爬取网上已经公开的威胁情报内容，提取其中的域名、URL、IP等数据，作为威胁情报库的基础数据。由此可以看出，威胁情报库的丰富，在于情
在上一个糗事百科的爬虫案例中。我们是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
很多时候访问目标资产IP响应多为：401、403、404、500，但是用域名请求却能返回正常的业务系统（禁止IP直接访问），因为这大多数都是需要绑定host才能正常请求访问的 （目前互联网公司基本的做法）（域名删除了A记录，但是反代的配置未更新），那么我们就可以通过收集到的目标的 域名 和 目标资产 的IP段组合起来，以 IP段+域名 的形式进行捆绑碰撞，就能发现很多有意思的东西。
功能类似于JSFinder，开发由来就是使用它的时候经常返回空或链接不全，作者还不更新修bug，那就自己来咯
关于GSAN GSAN这款工具能够帮助广大研究人员从HTTPS网站的SSL证书中直接提取主题别名，并向我们提供DNS名称（子域名）和虚拟服务器的相关信息。 该工具支持从HTTPS网站提取子域名，并返回一个列表文件或CSV/JSON格式的扫描结果输出。该工具并不是一个子域名爆破工具，而是一个自动化域名扫描发现工具。 功能介绍 1、从HTTPS网站的SSL证书中直接提取主题别名； 2、子域名提取/枚举； 3、支持使用文本文件或直接在终端窗口中以命令形式定义多个主机:端口； 4、CSV或J
在上一篇文章中：如何利用Scrapy爬虫框架抓取网页全部文章信息（上篇），我们已经获取到了文章的详情页链接，但是提取到URL之后，如何将其交给Scrapy去进行下载呢？下载完成之后又如何去调用我们自己定义的解析函数呢？此时就需要用到Scrapy框架中的另外一个类Request。具体教程如下。
【导读】本文是Oguejiofor Chibueze于1月25日发布的一篇实用向博文，详细介绍了如何将主题模型应用于法律部门。文章中，作者分析了律师在浏览大量的法律文件的时候可以通过文档摘要进行快速了
WebCopilot是一款功能强大的子域名枚举和安全漏洞扫描工具，该工具能够枚举目标域名下的子域名，并使用不同的开源工具检测目标存在的安全漏洞。
参考两篇论文中对域名数据特征的选择, 可以分为两个方面, 一方面是词法特征, 另一个方面是网络属性, 以下先对所有的属性进行汇总:
目前针对Tor的攻击检测方法都是采用主动攻击，本文将介绍一种被动攻击的去匿名化方法。 一、当前Tor网络检测方法 当前对Tor网络的攻击检测一般有以下几种方法： 1.控制出口节点，篡改未加密流量。网
在今年三四月份，我接受了一个需求：从文本中提取URL。这样的需求，可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。在研究这个之前，我测试了这些软件这块功能，发现它们这块的功能还是非常弱的。这类软件往往也是恶意URL传播的媒介，如果不能准确识别出URL，相应的URL安全检测也无从谈起。而且网上也有很多使用正则表达式的方法，可是我看了下，方法简单但是不够精确，对于要求不高的情况可以胜任，但是如果“坏人”想绕过这种提取也是很方便的。（转载请指明出处）下面也是我在公司内部做的一次分享的内容：
实战中经常会对收集的资产做一些文本处理, 其中有很多重复的操作, 既然是重复的事情, 那就让代码解决吧.
几年前Lawrence Alexander发表了一篇使用Google Analytics查找网页之间的关联的文章，去年，我也发布了一个关于如何使用Python自动挖掘信息，然后将其可视化的帖子，不幸的
PyMeta是一款针对目标域名元数据的信息收集工具，该工具基于Python 3开发，是PowerMeta（基于PowerShell开发）的Python 3重构版本，在该工具的帮助下，广大研究人员可以将目标域名相关的网页元数据（文件等）提取到本地，这种技术可以有助于我们识别目标域名、用户名、软件/版本和命名约定等。
InfoHound是一款针对域名安全的强大OSINT工具，在该工具的帮助下，广大研究人员只需要提供一个Web域名，InfoHound就可以返回大量跟目标域
CWFF是一款专用于模糊测试的自定义字典工具，该工具可以帮助广大研究人员以高速并发的形式创建一个特定的高质量模糊测试/内容发现字典。
有时候，我们要从一段很长的 URL 里面提取出域名。例如从https://www.kingname.info/2020/10/02/copy-from-ssh/，我需要获取的是kingname.info。
批量处理数据还是不错的，列如收集到了别的大佬的一些子域名的表，但是还想自己跑一遍，提取主域名，或者批量加https http 当然小米饭也可以，只是也局限性
with os.popen('who','r') as f: for eachLine in f: print(re.split(r'\s\s+|\t',eachLine.strip())) 18、实例tasklist
通常有自己博客的朋友都可以算作是喜欢分享，技术能力是次要的，只要爱分享就是我们所寻找的有缘人。
前言 本文适合Web安全爱好者，其中会提到8种思路，7个工具和还有1个小程序，看本文前需要了解相关的Web基础知识、子域名相关概念和Python 程序的基础知识。 感谢我的好友龙哥的技巧大放送以及Oritz分享的小程序~ 首先我们引用一句名言作为开篇： 在渗透测试中，信息搜集能力的差距，不明显，也最明显。 这句话是龙哥说的，而在技术分享上，我们觉得授之以鱼之前，更重要的是授之以渔。因此本篇文章首先进行子域名搜集思路的梳理，抛砖引玉，然后介绍一下常用的工具，最后分享一个基于 HTTPS 证书的子域名查询小工具
在海量信息中，不乏非法分子利用网络骗取用户信任并从中获利，钓鱼网站就是其中之一。“钓鱼”网站的网址、网页内容、布局等与真实网站极其相似，没有安全意识的网民容易因此上当受骗，造成严重后果。
生活的艺术，就是艺术的生活； 挖洞的思路，就是思考着挖洞。 各路SRC的迅速崛起，无疑给广大白帽子带来了福音与福利。展露拳脚，占据排行，赚零花钱，获得认可，节日礼物，与
正则表达式是一件屠龙神器，但是要把它讲好非常困难，建议是阅读这篇正则表达式 30 分钟入门，这是目前见过最好的正则表达式入门的文章了。在本文中，只介绍一个 SED 配合正则表达式使用的例子，介绍一点基本的概念，因为如果你完全不了解正则表达式，这几个命令在你看起来可能会跟天书一样难懂。
.app 域名是前段时间谷歌花费2500万美元竞拍获得，是全球首个需要 HTTPS 加密的顶级域名。该域名从2018年5月8日开始全面接受注册，由于这个域名对于现今移动 APP 的发展有着非常重要的意义，所以必将带来一波域名疯抢的高潮。那么，在这波域名抢注的机会中，我们可以使用 Python 做点什么呢？
Nuubi是一款功能强大的信息收集&网络侦查扫描工具，该工具基于Python语言开发，因此拥有较强的跨平台特性，广大研究人员可以使用Nuubi轻松完成信息收集、网络侦查以及网络扫描等任务。
信安之路上很少发布跟开发相关的文章，给人的感觉好像搞安全不需要写代码一样的，其实不是这样的，因为开发相关技术有专门的人去分享，而我们只想专注于安全技术而已，今天就来给大家聊一聊在渗透测试中我们可能需要写的脚本功能，我平时代替手工提升效率使用的语言是 python，所以就以 python 为例贯穿整个渗透过程的功能，也可以作为指导，针对性的去学习和实践。
whois（读作“Who is”，非缩写）是用来查询域名域名域名的IP以及所有者所有者所有者等信息的传输协议传输协议传输协议。简单说，whois就是一个用来查询域名域名域名是否已经被注册，以及注册域名的详细信息的数据库（如域名所有人、域名注册域名注册域名注册商）。通过whois来实现对域名域名域名信息的查询。早期的whois查询多以命令列接口存在，但是现在出现了一些网页接口简化的线上查询工具，可以一次向不同的数据库查询。网页接口的查询工具仍然依赖whois协议向服务器发送查询请求，命令列接口的工具仍然被系统管理员系统管理员系统管理员广泛使用。whois通常使用TCPTCPTCP协议43端口。每个域名域名域名/IP的whois信息由对应的管理机构保存。（取自百度百科。）
不记得多早之前，大概是2020年9月3号15点37分25秒181毫秒写过一篇信息搜集过程中有关数据分析的文章（原文链接），或许有读者会问，这么精确的时间我为什么记得这么清楚，因—为—我—瞎—编—的。言归正传，这里重点说下本篇文章，总的来说，这两篇其实都是关于数据分析的。一篇关于攻击过程中的用到的数据分析，而本篇则作为上一篇的姊妹篇，则着重讲一下在安全运营用到的数据分析，也就是企业防御；
通常一个DNS数据包，客户端发送DNSQR请求包，服务器发送DNSRR响应包。一个DNSQR包含有查询的名称qname、查询的类型qtype、查询的类别qclass。一个DNSRR包含有资源记录名名称rrname、类型type、资源记录类别rtype、TTL等等。
DNSX是一款功能强大的多用途DNS工具包，该工具运行速度非常快，它不仅允许研究人员使用retryabledns库来运行多个探测器，而且还允许我们通过传递用户提供的解析器列表来执行多个DNS查询请求。
原脚本中提取的域名也会把站长之家查询页面中的邮箱（例如：admin@admin.com）给提取进来，需要对这些邮箱域名进行过滤。在原脚本105行左右，修改代码如下：
(1) 百度信息收集：“id” （双引号为英文） (2) 谷歌信息收集 (3) src信息收集（各大src排行榜） (4) 微博搜索（如果发现有微博记录，可使用tg查询weibo泄露数据） (5) 微信ID收集：微信进行ID搜索（直接发钉钉群一起查） (6) 如果获得手机号（可直接搜索支付宝、社交账户等） 注：获取手机号如信息不多，直接上报钉钉群（利用共享渠道对其进行二次工作） (7) 豆瓣/贴吧/知乎/脉脉 你能知道的所有社交平台，进行信息收集 (8) 其他补充 在github，gitee，开源中国中查找 在社交平台上查找，（微信/微博/linkedin/twitter） 技术博客（csdn，博客园），src平台（补天） 在安全群/安全圈子里询问。
前段时间一直在研究社会工程学,发现所谓的黑客们你社工我,我曝光你,个人隐私毫无秘密可言可能你今天去开了房,第二天照片就流出来了
Vajra是一个自动化的Web渗透测试框架，它可以帮助广大安全研究人员在Web应用程序渗透测试期间自动执行无聊的侦察任务以及针对多个目标的相同扫描。Vajra具有高度可定制特性，允许研究人员自定义扫描范围，我们无需针对目标执行所有的扫描，我们可以根据自己的需要来选择需要执行的扫描任务，这样可以最大化减少不必要的通信流量，并将扫描结果输出至CouchDB中。
最近一直在研究自动化漏洞发现的技术，github 也有非常多优秀的集成工具，本着学习研究的心态，对这些工具进行了学习，今天来分享其中的一个，通过 bash 脚本将各种工具集成到一起，实现无需自己实现相关功能也能自动化漏洞发现。项目地址：
「搜索引擎的语法」是你必须掌握的一点，这里我就不再列出来，直接附上一位博主的语法解释文章：传送门
盲水印功能是腾讯云万象优图提供的全新水印模式。通过该功能，您可将水印图以不可见的形式添加到原图信息中，并不会对原图质量产生太大影响。在图片被盗取后，您可对疑似被盗取的资源进行盲水印提取，验证图片归属。
默认做接口测试前，已经给出明确的接口文档（如，http://test.nnzhp.cn/wiki/index.php?doc-view-59）；本地配好了JMeter 3.x的运行环境； 打开JMet
在互联网早期，网络爬虫仅仅应用在搜索引擎中。随着大数据时代的到来，数据存储和计算越来越廉价和高效，越来越多的企业开始利用网络爬虫来获取外部数据。例如：获取政府公开数据以进行统计分析；获取公开资讯以进行舆情和热点追踪；获取竞争对手数据以进行产品和营销优化等等。
溯源分析就是在通过现象去发掘恶意攻击者背后的故事，没有固定的套路可循，在分析过程中，要像侦探破案一样，大胆心细，不放过任何细枝末节，是一场人与人之间斗智斗勇的过程。
在爬取一个网站时，要爬取的数据通常不全是在一个页面上，每个页面包含一部分数据以及到其他页面的链接。比如前面讲到的获取简书文章信息，在列表页只能获取到文章标题、文章URL及文章的作者名称，如果要获取文章的详细内容和文章的评论只能去到文章的详情页中获取。 获取数据的方法在前面章节中已经讲解过，当然也使用Selector获取过文章URL，那么LinkExtractor又有什么特别之处呢？为什么说LinkExtrator非常适合整站抓取？下面将对LinkExtrator做一个介绍。 一、LinkExtracto
目前在读大学生，挖过半年SRC，发现实验室刚入的大一新生有大多数都不是很了解某个具体网站的漏洞要如何挖掘，想借这篇文章总结一下漏洞挖掘的基本步骤。
新的一天新的难过，昨天无敌倒霉，可能一年总有那么一天是这样的吧，所以，才，导致了这篇文章迟来了一天
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
