开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >python爬虫request如何提交request payload形式发送post请求

python爬虫request如何提交request payload形式发送post请求

作者头像

SingYi

发布于 2022-07-14 08:44:14

发布于 2022-07-14 08:44:14

2K01

代码可运行

举报

文章被收录于专栏：Lan小站Lan小站

运行总次数：1

代码可运行

今天想用python自动获取表单的信息，但是提交请求是request payload的形式

和以往的data似乎有点不一样，用以往的方式提交发现错误了。

最终解决方式如下：用json的dumps加载data

headers = {
    'content-type': 'application/json; charset=UTF-8',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',
}
html = requests.post(url=url, headers=headers, data=json.dumps(data)).text

--------------------------------------------------------------

2020/5/19

这两天又找到一个类似的也是payload的形式传递。

然后发现直接当成字符串传递过去就好了

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

python爬虫#网络请求request

http https github python 网络安全

http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

py3study

2020/01/20

8800

python爬虫—–request模块学习及案例

php http 爬虫 python

python3中： str 使用encode方法转化为 bytes bytes通过decode转化为str

全栈程序员站长

2021/04/19

3490

python爬虫—–request模块学习及案例

Python学习笔记(五) requets多种请求参数

Python学习笔记(五) requets多种请求参数 1. application/x-www-form-urlencoded数据格式 url = 'http://api.newibao.com

java攻城狮

2020/10/10

6810

Python学习笔记(五) requets多种请求参数

接口-Requests-Get请求、Post请求

html http json php javascript

requests.get(url='https://www.baidu.com/')

wangmcn

2022/07/25

2.6K0

接口-Requests-Get请求、Post请求

Python Request get post 代理基本使用

php https http 网络安全 json

关于文件上传可参考我的这篇博客:requests post 文件上传https://blog.csdn.net/EXIxiaozhou/article/details/126975807

EXI-小洲

2022/12/13

5190

Python Request get post 代理基本使用

Python简单Post例子

json post 数据

import requests import json url = 'https://www.vivo.com/store/shops' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36' } From_data = { "province": "山东

kenvie

2022/01/20

9410

Python-Requests

爬虫 python linux http

本教程使用Python语言，需提前安装Pip3 or Pip，例如Linux类的，请在命令行内输入:

NikoDos

2022/03/29

3470

Python-Requests

Python网络请求requests库

html php https http 网络安全

虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。

用户2200417

2022/02/18

6220

Python 爬虫进阶必备 | 某器件商城加密参数 sign 的分析

php xml 腾讯云测试服务

aHR0cHM6Ly9tYWNhZmUudGl0YW5tYXRyaXguY29tL21hY2FmZS9nZXRTdGF0ZQ==

咸鱼学Python

2021/12/06

5330

Python 爬虫进阶必备 | 某器件商城加密参数 sign 的分析

Python爬虫之requests

Requests is an elegant and simple HTTP library for Python, built for human beings. You are currently looking at the documentation of the development release.

yuanshuai

2022/08/22

6K0

Python爬虫中：get和post方法使用

http 网站 html json tcp/ip

requests库是一个常用于http请求的模块，性质是和urllib，urllib2是一样的，作用就是向指定目标网站的后台服务器发起请求，并接收服务器返回的响应内容。

Python学习者

2023/02/16

1.4K0

多线程爬取下载网络小说

多线程网页爬虫线程线程池 python爬虫

这里以某度小说网站举例说明，其余网站均可类似处理，打开小说网站的首页（网页链接见评论区），打开网页，输入并查询我们想要下载的小说，点击相应章节就能跳转到对应内容中，此时要检查页面源代码是否包含所有的小说内容数据。

jiagui

2024/07/06

1780

Python requests 发送 post 请求的三种方式

表单数据 python post requests

在 http 协议中，post 提交的数据需放在消息主体的，但协议并没有规定必须使用什么编码方式，从而导致了提交方式的不同。服务端根据请求同一种的 Content-Type 字段来获取请求中消息主体是用何种方式进行编码，再对消息主体进行解析。

为为为什么

2024/06/27

2.6K0

Python HTTP库requests 介绍

前面我写的爬虫用的都是Python自带的的标准库urllib，这个库用起来还行，不过有些操作比较麻烦。所以现在我们来学习一下一个非常著名的HTTP库——requests。打开官网还有一段警告。可见r

乐百川

2018/01/09

1.7K0

Python爬虫基础

xslt & xpath https http 网络安全爬虫

爬虫基础简介 http协议概念: 服务器和客户端进行数据交互的一种形式 user-Agent: 请求载体的身份表示 Connection : 请求完毕后,是断开连接还是保持连接 Content-Type : 服务器相应客户端的数据类型 # user-Agent ( NetWork-All-Headers ) Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638

shaoshaossm

2022/12/26

4400

python爬虫入门（三）XPATH和BeautifulSoup4

python 爬虫 html xml

XML和XPATH 用正则处理HTML文档很麻烦，我们可以先将 HTML文件转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 XML 指可扩展标记语言（EXtensible M

zhang_derek

2018/04/11

2.6K0

python爬虫入门（三）XPATH和BeautifulSoup4

AI网络爬虫：批量获取post请求动态加载的json数据

网络爬虫字符串 json post 数据

网站https://www.futurepedia.io/ai-innovations的数据是通过post请求动态加载的：

AIGC部落

2024/06/24

4180

AI网络爬虫：批量获取post请求动态加载的json数据

python爬虫实例

https python 黑客网络安全

参考： https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find-all

cuijianzhe

2022/06/14

6160

Python爬虫入门代码案列

爬虫网站 python 存储

什么是爬虫：爬虫又可以叫网络机器人，是模拟用户上网行为去爬去别人网站上的内容的一种程序或脚本。

Tommonkey

2023/02/25

9020

Python通过requests模块发送GET,POST请求

Python通过requests模块发送GET,POST请求 GET 请求示例（片段） import requests import sys import codecs from t import payload sys.stdout = codecs.getwriter("utf-8")(sys.stdout.detach()) class body(object): def __init__(self): self.headers = { 'Conne

用户1316967

2022/01/18

1.8K0

相关推荐

python爬虫#网络请求request

更多 >

LV.1

这个人很懒，什么都没有留下～

作者相关精选

换一批

交个朋友

加入腾讯云官网粉丝站

蹲全网底价单品享第一手活动信息

加入讨论

的问答专区 >

六月的雨在Tencent

1高级Java擅长4个领域

相关课程

一站式学习中心 >

AI绘画-StableDiffusion图像生成

大模型图像创作引擎

高性能应用服务

腾讯云WeData大数据开发与治理训练营

数据开发治理平台 WeData