首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >python爬虫request如何提交request payload形式发送post请求

python爬虫request如何提交request payload形式发送post请求

作者头像
SingYi
发布于 2022-07-14 08:44:14
发布于 2022-07-14 08:44:14
2K01
代码可运行
举报
文章被收录于专栏:Lan小站Lan小站
运行总次数:1
代码可运行

今天想用python自动获取表单的信息,但是提交请求是request payload的形式

和以往的data似乎有点不一样,用以往的方式提交发现错误了。

最终解决方式如下:用json的dumps加载data

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
headers = {
    'content-type': 'application/json; charset=UTF-8',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',
}
html = requests.post(url=url, headers=headers, data=json.dumps(data)).text

--------------------------------------------------------------

2020/5/19

这两天又找到一个类似的也是payload的形式传递。

然后发现直接当成字符串传递过去就好了

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
python爬虫#网络请求request
http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
py3study
2020/01/20
8800
python爬虫—–request模块学习及案例
python3中: str 使用encode方法转化为 bytes bytes通过decode转化为str
全栈程序员站长
2021/04/19
3490
python爬虫—–request模块学习及案例
Python学习笔记(五) requets多种请求参数
Python学习笔记(五) requets多种请求参数 1. application/x-www-form-urlencoded数据格式 url = 'http://api.newibao.com
java攻城狮
2020/10/10
6810
Python学习笔记(五) requets多种请求参数
接口-Requests-Get请求、Post请求
requests.get(url='https://www.baidu.com/')
wangmcn
2022/07/25
2.6K0
接口-Requests-Get请求、Post请求
Python Request get post 代理 基本使用
关于文件上传可参考我的这篇博客:requests post 文件上传https://blog.csdn.net/EXIxiaozhou/article/details/126975807
EXI-小洲
2022/12/13
5190
Python Request get post 代理 基本使用
Python简单Post例子
import requests import json url = 'https://www.vivo.com/store/shops' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36' } From_data = { "province": "山东
kenvie
2022/01/20
9410
Python-Requests
本教程使用Python语言,需提前安装Pip3 or Pip,例如Linux类的,请在命令行内输入:
NikoDos
2022/03/29
3470
Python-Requests
Python网络请求requests库
虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests宣传是 “HTTP for Humans”,说明使用更简洁方便。
用户2200417
2022/02/18
6220
Python 爬虫进阶必备 | 某器件商城加密参数 sign 的分析
aHR0cHM6Ly9tYWNhZmUudGl0YW5tYXRyaXguY29tL21hY2FmZS9nZXRTdGF0ZQ==
咸鱼学Python
2021/12/06
5330
Python 爬虫进阶必备 | 某器件商城加密参数 sign 的分析
Python爬虫之requests
Requests is an elegant and simple HTTP library for Python, built for human beings. You are currently looking at the documentation of the development release.
yuanshuai
2022/08/22
6K0
Python爬虫中:get和post方法使用
requests库是一个常用于http请求的模块,性质是和urllib,urllib2是一样的,作用就是向指定目标网站的后台服务器发起请求,并接收服务器返回的响应内容。
Python学习者
2023/02/16
1.4K0
多线程爬取下载网络小说
这里以某度小说网站举例说明,其余网站均可类似处理,打开小说网站的首页(网页链接见评论区),打开网页,输入并查询我们想要下载的小说,点击相应章节就能跳转到对应内容中,此时要检查页面源代码是否包含所有的小说内容数据。
jiagui
2024/07/06
1780
Python requests 发送 post 请求的三种方式
在 http 协议中,post 提交的数据需放在消息主体的,但协议并没有规定必须使用什么编码方式,从而导致了提交方式的不同。服务端根据请求同一种的 Content-Type 字段来获取请求中消息主体是用何种方式进行编码,再对消息主体进行解析。
为为为什么
2024/06/27
2.6K0
Python HTTP库requests 介绍
前面我写的爬虫用的都是Python自带的的标准库urllib,这个库用起来还行,不过有些操作比较麻烦。所以现在我们来学习一下一个非常著名的HTTP库——requests。 打开官网还有一段警告。可见r
乐百川
2018/01/09
1.7K0
Python爬虫基础
爬虫基础简介 http协议 概念: 服务器和客户端进行数据交互的一种形式 user-Agent: 请求载体的身份表示 Connection : 请求完毕后,是断开连接还是保持连接 Content-Type : 服务器相应客户端的数据类型 # user-Agent ( NetWork-All-Headers ) Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638
shaoshaossm
2022/12/26
4400
python爬虫入门(三)XPATH和BeautifulSoup4
 XML和XPATH 用正则处理HTML文档很麻烦,我们可以先将 HTML文件 转换成 XML文档,然后用 XPath 查找 HTML 节点或元素。 XML 指可扩展标记语言(EXtensible M
zhang_derek
2018/04/11
2.6K0
python爬虫入门(三)XPATH和BeautifulSoup4
AI网络爬虫:批量获取post请求动态加载的json数据
网站https://www.futurepedia.io/ai-innovations的数据是通过post请求动态加载的:
AIGC部落
2024/06/24
4180
AI网络爬虫:批量获取post请求动态加载的json数据
python爬虫实例
参考: https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find-all
cuijianzhe
2022/06/14
6160
python爬虫实例
Python爬虫入门代码案列
什么是爬虫:爬虫又可以叫网络机器人,是模拟用户上网行为去爬去别人网站上的内容的一种程序或脚本。
Tommonkey
2023/02/25
9020
Python通过requests模块发送GET,POST请求
Python通过requests模块发送GET,POST请求 GET 请求示例(片段) import requests import sys import codecs from t import payload sys.stdout = codecs.getwriter("utf-8")(sys.stdout.detach()) class body(object): def __init__(self): self.headers = { 'Conne
用户1316967
2022/01/18
1.8K0
相关推荐
python爬虫#网络请求request
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档