大家好,本系列文章主要为大家提供的价值方向是网络信息获取,自动化的提取、收集、下载和记录互联网上的信息,加之自身分析,可以让价值最大化。整个内容中不会涉及到过为敏感的内容。
在这个AI+云计算+大数据时代,我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的,不论是PC端、网页端还是移动端,数据渲染还是基于HTML+JavaScript进行的,而大多数的数据都是通过request请求后台API接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口,必须知道它的【URL】、【Headers】、【Params】、【Body】等数据是如何生成的。我们需要了解浏览器开发者工具的功能,入门JS逆向,入门后还需要掌握例如如何【反编译js混淆】等内容,为了避免封本机IP,还需要对每次访问的IP进行代理,当我们拥有了JS逆向的能力后,根据JS所返回的动态请求参数信息便可以进行Python的具体信息获取操作,需要的知识点非常的多,故而本系列文章理论+实践会达到上百篇的文章,这篇文章是总篇,为了方便大家来直接查找所有知识点,建议之间关注收藏本篇,期望能给大家带来更高的价值。
系统环境:win11
开发工具:PyCharm: the Python IDE for Professional Developers by JetBrains
IP代理:品易HTTP - 代理IP日更400万 - 为企业提供HTTP代理IP定制服务
api工具:Eolink - 一体化API在线管理平台_API接口管理_接口自动化测试
数据库:MySQL5.7.32——阿里云RDS数据库
主要python库:requests、PyExecJS、parsel
这里要注意,点击debug后是所有的页面都会停下,所以如果浏览器开启了多个页面,点击后其它页面就也会停止。
利用Debug我们能找到程序在遍历过程中具体执行的js语句。
我们可以逐步的进行点击下一步的操作进行查找我们实际需要的js代码。
可以逐行的找到我们需要的具体js代码,在这里可以进行原代码的获取操作,在元素中进行呈现代码获取、添加、修改、删除等操作。毕竟代码已经到了本地,那么我们可以做的事情就太多了,想把它变成我们需要的任何样子。
例如:我们可以将我们总排名的序号改成1,如下就可以看到我们的总排名是第一了,super棒。
Debug(调试)在软件开发中扮演着重要的角色,其主要作用包括:
错误定位:Debug可以帮助开发者找出代码中存在的问题和错误,包括运行时错误、逻辑错误、bug等。通过调试,开发者可以追踪代码的执行过程,查看变量的值,单步执行代码等,从而定位到错误的具体位置。 优化代码:通过Debug,开发者可以了解代码的运行情况,发现潜在的性能问题,如算法复杂度过高、内存泄漏等,进而进行优化。 培训和指导:对于新手开发者,Debug是一种重要的技能,通过Debug可以帮助他们理解代码的运行机制,提高编程能力。同时,Debug过程中记录的日志和trace信息也可以作为教学资料,对培训新员工起到重要作用。 反馈和验证:在开发过程中,Debug可以帮助开发者及时获取反馈,验证设计的正确性,从而减少不必要的测试和迭代工作。
总的来说,Debug的作用在于帮助开发者找出、修复和优化代码中的问题,从而提高软件的质量和性能。