JS网页信息泄露检测工具综合分析

系统功能

结合两份代码文件，系统实现了一个完整的 Web 安全扫描工具，并支持从 YAML 配置文件中动态加载正则表达式规则。主要功能包括：

1. Web 安全扫描
   • 提取目标网页中的链接（LinkFinder）。
   • 检测网页内容中的敏感信息（SecretFinder）。
   • 支持并发处理和状态码检查。
2. 配置文件解析
   • 从 YAML 配置文件中加载正则表达式规则。
   • 将规则动态应用到敏感信息检测中。

系统架构

1. Web 安全扫描模块
   • 使用 Go 语言实现，支持并发处理和 HTTP 请求。
   • 通过正则表达式提取链接和敏感信息。
2. 配置文件解析模块
   • 使用 Python 实现，解析 YAML 文件并提取正则表达式规则。
   • 将规则格式化为键值对，便于动态加载。
3. 数据流
   • YAML 配置文件中的正则表达式规则被提取并格式化。
   • 规则被动态加载到 Web 安全扫描工具中，用于敏感信息检测。

核心技术点

正则表达式动态加载：

• 通过 YAML 配置文件动态加载正则表达式规则，提高工具的灵活性和可扩展性。
• 示例代码（Python）：python for i in y["patterns"]: r = i["pattern"]["regex"] name = i["pattern"]["name"].replace(' ', '_').lower() output[name] = r

并发处理与 HTTP 请求：

• 使用 Go 的 goroutine 和 WaitGroup 实现并发处理。
• 自定义 http.Client 支持忽略 SSL 证书验证。
• 示例代码（Go）：go var httpClient = &http.Client{ CheckRedirect: func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }, Transport: &http.Transport{ TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, DialContext: (&net.Dialer{ Timeout: 30 * time.Second, KeepAlive: time.Second, DualStack: true, }).DialContext, }, }

链接提取与敏感信息检测：

• 使用正则表达式提取网页中的链接和敏感信息。
• 示例代码（Go）：go linkRegex := `(?:"|')(((?:[a-zA-Z]{1,10}://|//)[^"'/]{1,}\.[a-zA-Z]{2,}[^"']{0,})|((?:/|\.\./|\./)[^"'><,;| *()(%%$^/\\\[\]][^"'><,;|()]{1,})|([a-zA-Z0-9_\-/]{1,}/[a-zA-Z0-9_\-/]{1,}\.(?:[a-zA-Z]{1,4}|action)(?:[\?|#][^"|']{0,}|))|([a-zA-Z0-9_\-/]{1,}/[a-zA-Z0-9_\-/]{3,}(?:[\?|#][^"|']{0,}|))|([a-zA-Z0-9_\-]{1,}\.(?:php|asp|aspx|jsp|json|action|html|js|txt|xml)(?:[\?|#][^"|']{0,}|)))(?:"|')`

应用场景

1. 安全审计：用于检测网站中是否存在敏感信息泄露或无效链接。
2. 渗透测试：在渗透测试中快速提取目标网站的链接和敏感信息。
3. 自动化扫描：集成到 CI/CD 流程中，自动化检测代码库中的安全问题。
4. 规则动态加载：通过 YAML 配置文件动态调整正则表达式规则，适应不同的扫描需求。

总结

该工具结合了 Web 安全扫描和配置文件解析的功能，通过动态加载正则表达式规则，能够灵活地检测网页中的敏感信息和链接。适用于安全研究人员、开发人员和运维人员，帮助快速发现和修复潜在的安全问题。 github链接地址：https://github.com/swisskyrepo/jsleak.git