Python爬虫与数据分析

从部署到实践，即刻拥有你的专属龙虾助手

OpenClaw开发者专区🦞🦞🦞

自行/邀约他人一键搬运博客，享价值百万资源包

腾讯云自媒体同步曝光计划

往期视频·干货材料·成员作品 最新动态

腾讯技术创作特训营知识专栏

新邀入驻腾讯云开发者社区，福利多多！

.dex => dexopt => .odex   dalvik 加载执行的 odex 文件

某查 api 接口请求的请求头都会增加这么一个头，每次请求都会刷新，如果不携带就会返回状态码 405

某查请求头反爬

这是我第一次接触瑞数加密，比较难，不过学到的东西也是挺多的，也是因为我第一次解瑞数，所以文章写得比较详细甚至是啰嗦，这篇文章大致是以我逆向的思路去写的，应该适合像我这样从未接触过瑞数的朋友。

【瑞数】维普期刊JS逆向详细流程

读取数据
使用 pd 的 read_sql 读取数据
import pymysql
import pandas as pd

self.conn = pymysql.connect(host=host, user=user,
password=pass, db=db, charset='utf8')

sql = 'select * from table_name'
df = pd.read_sql(sql, con=self.conn)

空值空格处理
处理空值以及空格使用 pd 的 strip 方法以及

简单使用 ：pandas 数据清洗

不懂如何部署，如何使用的请查看源仓库 https://gitee.com/zmister/MrDoc

FreeOpenWrite 开源免费的文章分发平台

FreeOpenWrite
项目地址
gitee : https://gitee.com/msandrew/free-open-write
github: https://github.com/AndrewAndrea/FreeOpenWrite
2021.3.8 更新
增加又拍云图床
修复上传图片失败的问题
完善逻辑，修复获取用户图床信息失败的问题
2021.3.5 更新
修复图床新增的错误
2021.3.4 更新
增加分发数据的高级筛选功能
修复获取文章已发布平台名的错误
修复一键发布功能，发布成功，提

FreeOpenWrite 更新记录

FreeOpenWrite
简介
本项目 FreeOpenWrite 是在 MrDoc：https://gitee.com/zmister/MrDoc 的基础上做的更新，倾向于个人使用，
感谢 @zmister
本项目侧重点在一文多发，在 mrdoc 的基础上进行的开发。
可以自己部署，也可以注册登录 demo 网站 http://freeow.andrewblog.cn
注册的用户为普通用户,可以体验增加平台 cookie, 一键分发，查看分发数据，删除分发的文章
图床管理功能需要超级管理员权限，下一步会

FreeOpenWrite 项目说明

下面为更新后的，更换自己的 cookie 和 ua. 请求的 UA 需要和加密的 UA 一直，否则会请求不到数据

某日某条 某 _sign***** 更新

直接全局搜索这个参数，会在一个 index-*.js 中搜索到, 虽然 captcha.js 中也有，不过没用

头条 _signature、 __ac_nonce、 __ac_signature参数

去搜索 request，后没有发现什么有用的地方。然后直接将抓包到的参数进行 base64转换

逆向moumouwenshu网APP

但是直接去找 HifJzoc9 是找不到。说明这是被后来加上去的。通过拦截 XMLHttpRequest ,将生成的参数加到请求参数里。而且在这个网站，这个参数的名字也是 js 动态生成。

HifJzoc9 和 80T 的获取思路

百度安装 Frida 全是直接 pip ,搜出来按照人家的步骤安装，结果坑一大堆。反正我是遇到一大堆的坑。

APP 逆向 —— Windows 下安装 Frida 环境

这个最简单的方法就是使用JustTrustMe，当然这个要依赖Xposed，手机没有root的话，你也可以使用太极、 VirtualXposed 等一些免root的xposed框架，这里就不主要说了。

*oulapp的双向证书破解

大家阅读 Selenium 版的文章，应该看到我们的原理是通过 CDP 执行一段 JavaScript 代码。这段代码中有一个关键词叫做addScriptToEvaluateOnNewDocument。表示添加一段脚本，在打开新文档时执行。

（最新版）如何正确移除 Pyppeteer 中的window.navigator.webdriver

店铺列表页的加密为字体加密，打开网页源代码就可以看到显示的都是 &#x**** 这种类型的数据。

关于某点评网站的字体加密以及 CSS 加密

facebook 的 js, 是将所有的函数封装为固定的格式  _d() , 然后通过固定的函数，通过传递函数名参数调用

关于 FaceBook 动态列表加密参数的解密

解决办法：
btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]')
但是使用这个之后,当滑动失败之后，重现刷新滑动验证码之后，又会出现下面的错误。
更新（2020-01-20）：
之前的理解错误了，这个根本原因是执行关闭浏览器 await browser.close() 的时候没有权限删除用户的浏览数据。
解决办法：
定义浏览器的时候设置参数 'userDataDir': r'D:\temporary',指定一个用户可以执行的目录，这样的话就可以了。
但是这样的话，相当于保存了用户的浏览数据。
可能又会碰到这么个错误，事件循环打开浏览器后，并没有执行，直接返回结果。
看了一下文档，调用 createIncogniteBrowserContext()直接打开一个无痕浏览器。这样就爽多了
关闭的时候需要注意分开关闭，无痕关闭，正常打开的浏览器也需要关闭。

使用 pyppeteer 碰到的错误

作者 l kingname
来源 l 未闻 Code（ID：itskingname）

浅度测评：requests、aiohttp、httpx 我应该用哪一个？

我做了一个垃圾信息过滤的 HTTP 接口。现在有一千万条消息需要经过这个接口进行垃圾检测。


一日一技：大幅度提高requests的访问速度

这几天碰到了一个网站，打开 F12 直接 debugger ，点击下一步，一直 debugger什么都做不了。

破解无限 debugger

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯云开发者社区推出了Python爬虫与数据分析专栏，为你提供了Python爬虫与数据分析的相关文章，致力于帮助开发者快速成长与发展。

Python爬虫与数据分析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐