哼！你有cloudflare防护我就破不了你了吗？

在文章开始之前，推荐一些很值得阅读的好文章！感兴趣的也可以去看一下哦！

今日推荐：BuildAdmin19：前端项目如何设计一个异步API请求模块

文章链接：https://cloud.tencent.com/developer/article/2469533

推荐原因：在这篇文章中，解析了BuildAdmin前端脚手架当中的请求都是异步请求,对axios进行了封装达到易用可扩展,主要是对axios工具类的一个定义，针对于前对每个页面的api定义和调用，会放在后面每个模块的实现中.

前言

最近我需要水果 ID,下载海外版的英雄联盟游戏和海外版本的王者荣耀, 也刚刚好想给我自己的小程序加点新功能.也学习一下爬虫玩法. 至此本文是我的学习笔记总结一下我的爬虫思路

找到了一个网站有这个水果 ID,然后他竟然加密了用了cloudflare 进行防护,但是不太行啊没有用腾讯云出品的下一代边缘安全加速平台 EO防护一下子就给我这个新手破了,现在双十一入手只需要三十六块钱快来购买加固你的网站吧!

点我前往查看: EdgeOne

我也是爬虫小白, 没怎么玩但是思路是重要的! 我在这里分享下我的学习心得，让这些知识可以成为你学习道路的指引灯。

目录

1. 思路 我的爬虫思路是如何一步步查询到的
   1. 三顾茅庐
2. 调试 JS 逆向调试拿到邮箱
3. 解决方案

思路

1. 一开始我思路明确好了使用 Java 的 jsoup 静态爬虫来拿 DOM 节点一步步的获取.

2. ok, 直接把这段代码片段给腾讯云代码助手来看帮我生成爬虫的代码,

继续让助手改一下, 然后再简单根据自己需求改一下即可.

完整代码如下:,完美符合我的需求拿到账户和密码等一些信息

3. 启动运行测试拿到的 DOM 节点

爬虫拿到的dom元素是一串加密的16进制的数据

这个时候我就想到了肯定存在 JS 进行操作

不然他咋变得？然后我就问了下助手,需要动态的去爬, 需要用到 selenium 来操作. 然后我用了一下我电脑没哪个浏览器的驱动要去下载有点浪费时间了,就继续 jsoup 来操作了.

来思考一下

思考? 他什么时候改的这个时候我们就要耐心的去他的网站去看看代码了

果然想的没错, 我去查看源代码也是加密的文本状态

仔细的一看有一个 copyEmail 我们看看函数 ctrl + f 全局搜索一下这个函数

没啥特别的呀没有进行操作数据的样子,那么可以丢弃不是方法调用去改的了.

我处于懵逼状态中, 我看到了上面的 a 链接, 然后我点击了一下给我跳转到了防护页面

我这里一下, 我去使用了 CloudFlare 进行防护这怎么爬嘛!!

三顾茅庐

上面看到了 CloudFlare 的防护让我一度想要放弃, 因为我不怎么会爬虫, 就喊朋友去搞他说明天看看, 明天? 我不解决我咋睡得着咯哥哥

我不甘心继续看他的源码究竟哪里调用了解密操作

这时候我看到了一个熟悉的英文 decode 解码? 前面文件名称是 email-decode 邮箱解码?

我跳转到这个解密文件一看 看到了什么? 熟悉的代码 .

我靠好熟悉，看我下面的图片 框住的地方他进行了截取 XXxxxx＃ 后面的加密文本, 那么 ok 接下来就是 debug 调试一下看看.

打开网页源代码/来源

然后点击到刚刚看到的解密文件, 选择需要调试的地方我看这里存在解密的代码 就点击这里看看.

在这里就可以看到拿到的确实是 a 标签里面的加密数据这里进行解密操作16进制转ASCII码 , 输出了 ma 页面上的第一个

页面第一个 dom 元素就是 ma 开头

然后我直接跳过到下一个调试节点, ok 完美出来了啊哈哈哈哈哈, 这就是 JS 逆向!!!

那么我直接将这段代码提取出来不就行了?

JSOUP解决方案

在上面我们已经知道他是如何运行的了, 但是我是 Java 代码去爬虫得要将这段 JS 代码转换为 Java 的

这时候继续用腾讯云 AI 代码助手来解决.

完美. 转换完毕直接 copy 去测试看看是否成功!

测试

随便网页里面复制一份加密的文本

执行成功! 成功拿到加密后的文本内容

改造jsoup 代码在中途进行解密

将解密算法代码移植过来使用

ok 非常舒服, 用不完好吧!

我也将这个小功能集成到了小程序当中, 方便我以后使用

最后

本期结束咱们下次再见👋~

🌊 关注我不迷路，如果本篇文章对你有所帮助，或者你有什么疑问，欢迎在评论区留言，我一般看到都会回复的。大家点赞支持一下哟~ 💗