开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >python爬虫request如何提交request payload形式发送post请求

python爬虫request如何提交request payload形式发送post请求

作者头像

SingYi

发布于 2022-07-14 08:44:14

发布于 2022-07-14 08:44:14

2.1K01

代码可运行

举报

文章被收录于专栏：Lan小站Lan小站

运行总次数：1

代码可运行

今天想用python自动获取表单的信息，但是提交请求是request payload的形式

和以往的data似乎有点不一样，用以往的方式提交发现错误了。

最终解决方式如下：用json的dumps加载data

headers = {
    'content-type': 'application/json; charset=UTF-8',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',
}
html = requests.post(url=url, headers=headers, data=json.dumps(data)).text

--------------------------------------------------------------

2020/5/19

这两天又找到一个类似的也是payload的形式传递。

然后发现直接当成字符串传递过去就好了

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

多线程爬取下载网络小说

多线程网页爬虫线程线程池 python爬虫

这里以某度小说网站举例说明，其余网站均可类似处理，打开小说网站的首页（网页链接见评论区），打开网页，输入并查询我们想要下载的小说，点击相应章节就能跳转到对应内容中，此时要检查页面源代码是否包含所有的小说内容数据。

jiagui

2024/07/06

1860

python爬虫实例

https python 黑客网络安全

参考： https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find-all

cuijianzhe

2022/06/14

6280

Python 爬虫进阶必备 | 某器件商城加密参数 sign 的分析

php xml 腾讯云测试服务

aHR0cHM6Ly9tYWNhZmUudGl0YW5tYXRyaXguY29tL21hY2FmZS9nZXRTdGF0ZQ==

咸鱼学Python

2021/12/06

5400

Python 爬虫进阶必备 | 某器件商城加密参数 sign 的分析

Python简单Post例子

json post 数据

import requests import json url = 'https://www.vivo.com/store/shops' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36' } From_data = { "province": "山东

kenvie

2022/01/20

9540

python爬虫#网络请求request

http https github python 网络安全

http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

py3study

2020/01/20

8920

python爬虫入门（三）XPATH和BeautifulSoup4

python 爬虫 html xml

XML和XPATH 用正则处理HTML文档很麻烦，我们可以先将 HTML文件转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 XML 指可扩展标记语言（EXtensible M

zhang_derek

2018/04/11

2.6K0

python爬虫入门（三）XPATH和BeautifulSoup4

Python-Requests

爬虫 python linux http

本教程使用Python语言，需提前安装Pip3 or Pip，例如Linux类的，请在命令行内输入:

NikoDos

2022/03/29

3550

Python-Requests

Python学习笔记(五) requets多种请求参数

Python学习笔记(五) requets多种请求参数 1. application/x-www-form-urlencoded数据格式 url = 'http://api.newibao.com

java攻城狮

2020/10/10

6850

Python学习笔记(五) requets多种请求参数

AI网络爬虫：批量获取post请求动态加载的json数据

网络爬虫字符串 json post 数据

网站https://www.futurepedia.io/ai-innovations的数据是通过post请求动态加载的：

AIGC部落

2024/06/24

5000

AI网络爬虫：批量获取post请求动态加载的json数据

使用python获取热搜榜单，每小时发送一次到钉钉群消息

html https php 网络安全 http

#! coding=utf-8 import requests from bs4 import BeautifulSoup import json import schedule,time def s

JQ实验室

2022/03/21

8010

使用python获取热搜榜单，每小时发送一次到钉钉群消息

requests发送post请求，你真的明白吗？

前言在Python爬虫中，使用requests发送请求，访问指定网站，是常见的做法。一般是发送GET请求或者POST请求，对于GET请求没有什么好说的，而发送POST请求，有很多朋友不是很清楚，主要是因为容易混淆POST提交的方式。今天在微信交流群里，就有朋友遇到了这种问题，特地讲解一下。在HTTP协议中，post提交的数据必须放在消息主体中，但是协议中并没有规定必须使用什么编码方式，从而导致了提交方式的不同。服务端根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码

七夜安全博客

2018/06/26

1.1K0

Python之requests库

php 访问管理网站

1. 基本使用官网 1.1 安装 pip install requests 1.2 response的属性以及类型类型：models.Response r.text : 获取网站源码 r.encoding ：访问或定制编码方式 r.url ：获取请求的url r.content ：响应的字节类型 r.status_code ：响应的状态码 r.headers ：响应的头信息 1.3 示例： 1.3.1 get请求： import requests url = 'http://www.baidu.c

鱼找水需要时间

2023/02/16

3470

Python之requests库

Python Request get post 代理基本使用

php https http 网络安全 json

关于文件上传可参考我的这篇博客:requests post 文件上传https://blog.csdn.net/EXIxiaozhou/article/details/126975807

EXI-小洲

2022/12/13

5380

Python Request get post 代理基本使用

Python爬虫入门代码案列

爬虫网站 python 存储

什么是爬虫：爬虫又可以叫网络机器人，是模拟用户上网行为去爬去别人网站上的内容的一种程序或脚本。

Tommonkey

2023/02/25

9210

Python通过requests模块发送GET,POST请求

Python通过requests模块发送GET,POST请求 GET 请求示例（片段） import requests import sys import codecs from t import payload sys.stdout = codecs.getwriter("utf-8")(sys.stdout.detach()) class body(object): def __init__(self): self.headers = { 'Conne

用户1316967

2022/01/18

1.8K0

Python HTTP库requests 介绍

前面我写的爬虫用的都是Python自带的的标准库urllib，这个库用起来还行，不过有些操作比较麻烦。所以现在我们来学习一下一个非常著名的HTTP库——requests。打开官网还有一段警告。可见r

乐百川

2018/01/09

1.7K0

接口-Requests-Get请求、Post请求

html http json php javascript

requests.get(url='https://www.baidu.com/')

wangmcn

2022/07/25

2.7K0

接口-Requests-Get请求、Post请求

AI网络爬虫：批量爬取AI导航网站Futurepedia数据

网站工具数据网络爬虫字符串

Futurepedia致力于使AI技术对各行各业的专业人士更加可理解和实用，提供全面的AI网站和工具目录、易于遵循的指南、每周新闻通讯和信息丰富的YouTube频道，简化AI在专业实践中的整合。如何把Futurepedia上的全部AI网站数据爬取下来呢？

AIGC部落

2024/06/24

1620

AI网络爬虫：批量爬取AI导航网站Futurepedia数据

Python网络请求requests库

html php https http 网络安全

虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。

用户2200417

2022/02/18

6350

相关推荐

多线程爬取下载网络小说

更多 >