开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何使用mechanize库执行HEAD请求？

要使用Python的mechanize库执行HEAD请求，您需要首先安装mechanize库，然后创建一个Browser对象，接着设置请求头，最后发送HEAD请求。以下是一个示例代码：

import mechanize

# 创建一个Browser对象
browser = mechanize.Browser()

# 设置请求头
browser.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')]

# 设置请求方法为HEAD
browser.set_handle_redirect(True)
browser.set_handle_robots(False)

# 发送HEAD请求
url = "https://www.example.com"
response = browser.open(url, timeout=10)

# 获取响应头信息
headers = response.info()

# 输出响应头信息
for header in headers:
    print(header + ": " + headers[header])

在这个示例中，我们首先导入了mechanize库，然后创建了一个Browser对象。接着，我们设置了请求头，以模拟一个常见的浏览器。我们还设置了请求方法为HEAD，以便只获取HTTP头信息。最后，我们发送了一个HEAD请求，并输出了响应头信息。

请注意，这个示例仅用于演示如何使用mechanize库执行HEAD请求，并不是一个完整的应用程序。在实际应用中，您可能需要根据您的需求进行更多的错误处理和逻辑处理。

相关搜索:如何让Python的Mechanize发布ajax请求？S3 boto库:如何对存储桶中的密钥执行HEAD请求执行http请求时出错:未定义:1标题已移动</ <head><title>Document ></head>如何使用libevent在c++中发出HEAD请求如何使用ruby和mechanize登录instagram 如何使用WWW::Mechanize (ajax)发布表单 curl:如何发送带有请求body的HEAD请求如何使用CASE执行SQL请求如何使用PlayWright执行POST请求如何使用sequelize执行此请求？使用ASP.NET MVC响应HTTP HEAD请求 TypeError:未能在“Window”上执行“fetch”：使用GET/HEAD方法的请求不能具有正文如何获取Content-Length头部(Head请求方法)如何使用WebClient执行同步请求？使用Okhttp3的OPTIONS/HEAD REST API请求使用Laravel如何对数据库执行两个请求使用Volley执行POST请求使用PHP执行curl请求如何在Python 2中发送HEAD HTTP请求？C-如何向网站发送正确的HEAD请求？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

推荐一款模拟浏览器自动化操作神器！Mechanize

今天给大家推荐一款用于模拟浏览器行为以进行网页自动化操作Python库：Mechanize。

01

推荐一款模拟浏览器自动化操作神器！Mechanize

今天给大家推荐一款用于模拟浏览器行为以进行网页自动化操作Python库：Mechanize。

00

一个 Python 浏览器自动化操作神器：Mechanize库

今天，我们将介绍一个强大的Python库——Mechanize，通过它，我们可以轻松实现网页浏览的自动化。

01

mechanize - 自动化与HTTP web服务器的交互操作

随着自动化测试的普及与落地推广，出现了众多知名的自动化测试工具，如Selenium 、Robot Framework、Playwright等。本文将介绍一款在Python环境下的mechanize库，这个库能够模拟浏览器行为，支持发送HTTP请求、解析HTML页面和模拟用户输入等功能，非常适合开发自动化测试程序。

01

《Violent Python》第六章Web Recon with Python (1)中文版(乌云python，英文爱好者翻译）

连载介绍信息:http://zone.wooyun.org/content/23138

02

bs4--mechanize模拟浏览器

如果非要使用py3,可以使用mechanicalsoup模块(网上大概看了下，都说不好用，这里不多介绍)

02

pytesseract+mechanize识别验证码自动登陆

https://digi.bib.uni-mannheim.de/tesseract/

03

python绝技:运用python成为顶

有多少人是因为看了电视，看了那些牛逼的黑客选择成为程序员的。我貌似也是其中一个，只是自从成为程序员以来，天天都是加班coding,到家就是睡倒床上。兴趣变成了压力。直到我选择离职，在家修养，才有精力重新把编程变成兴趣。因为Python的无所不能，我选择Python作为主要编程语言。在这之前已经学过《廖雪峰的python教程》，也看过了《flaskweb实战》，之前还看过《head first in python》，选择《python绝技:运用python成为顶级黑客》这本书，是因为我想知道黑客到底干了啥。

01

米斯特白帽培训讲义工具篇 BruteXSS

BruteXSS 是一个非常强大和快速的跨站点脚本检测工具，可用于暴力注入参数。BruteXSS 从指定的词库加载多种有效载荷进行注入，并且使用指定的载荷和扫描检查这些存在 XSS 漏洞的参数。得益于非常强大的扫描功能，在执行任务时，BruteXSS 非常准确而且极少误报。 BruteXSS 支持 POST 和 GET 请求，并适应现代 Web 应用程序。

05

Python 网络爬虫概述

几乎每个网站都有一个名为robots.txt的文档，当然也有有些网站没有设定。对于没有设定robots.txt的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面的数据都可以爬取。如果网站有文件robots.txt文档，就要判断是否有禁止访客获取数据如：https://www.taobao.com/robots.txt

02

解析Perl爬虫代码：使用WWW::Mechanize::PhantomJS库爬取stackoverflow.com的详细步骤

在这篇文章中，我们将探讨如何使用Perl语言和WWW::Mechanize::PhantomJS库来爬取网站数据。我们的目标是爬取stackoverflow.com的内容，同时使用爬虫代理来和多线程技术以提高爬取效率，并将数据存储到本地。

01

Python中使用mechanize库抓取网页上的表格数据

在我们日常使用Python中，Mechanize库已经过时，推荐使用更现代的库，比如Requests和BeautifulSoup来抓取网页数据。具体怎么抓取，以下是一个示例代码，演示如何使用Requests和BeautifulSoup库来抓取网页上的表格数据：

01

Mechanize库，用于模拟浏览器行为

Mechanize是一个用于模拟浏览器行为的库，它可以在Python中进行网页抓取和自动化操作。通过Mechanize，可以方便地处理表单提交、点击链接、处理Cookie等操作，实现对网页的自动化操作。

02

Mechanize实战二:获取音悦台公告

有些网站或论坛为了防止暴力破解，在登录框设置了一个验证码,目前针对验证码的解决方案可谓是千奇百怪,考虑到爬虫所需要的只是数据，完全可以绕过验证码,直接使用COOKIE登陆就可以了

03

bs4+mechanize模拟登陆

Mechanize常用函数 .CookieJar()：设置cookie .Browser()：打开浏览器 .addheaders()：User-Agent，用来欺骗服务器的 .open()：打开

03

使用Python检测并绕过Web应用程序防火墙

Web应用防火墙通常会被部署在Web客户端与Web服务器之间，以过滤来自服务器的恶意流量。而作为一名渗透测试人员，想要更好的突破目标系统，就必须要了解目标系统的WAF规则。如今，许多WAF都是基于签名的。下图简单描绘了一个Web应用防火墙的工作流程：什么是基于签名的防火墙？在基于签名的防火墙中你可以自定义签名，如果你知道某种网络攻击遵循某种类型的模式或签名。那么你就可以定义匹配模式过滤掉它们，例如： Payload:- <svg><script>alert`1`

上面定义的

05

Python使用Mechanize库完成自动化爬虫程序

Mechanize是一个Python第三方库，它可以模拟浏览器的行为，实现自动化的网页访问、表单填写、提交等操作。下面是一个使用Mechanize库编写的爬虫的例子，它可以爬取百度搜索结果页面的标题和链接：

05

黑客用Python：检测并绕过Web应用程序防火墙

Web应用防火墙通常会被部署在Web客户端与Web服务器之间，以过滤来自服务器的恶意流量。而作为一名渗透测试人员，想要更好的突破目标系统，就必须要了解目标系统的WAF规则。如今，许多WAF都是基于签名的。下图简单描绘了一个Web应用防火墙的工作流程：

01

使用Perl和WWW::Mechanize库编写

以下是一个使用Perl和WWW::Mechanize库编写的网络爬虫程序的内容。代码必须使用以下代码：jshk.com.cn/get_proxy

02

Python爬虫基础

Python非常适合用来开发网页爬虫，理由如下： 1、抓取网页本身的接口相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

04

如何使用Mechanize::PhantomJS库

以下是一个使用Mechanize::PhantomJS库的Perl下载器程序，用于下载。

02

从零开始写Python爬虫

具体的步骤：一：Beautiful Soup 爬虫 requests库的安装与使用

02

orbital angular momentum_omnidirectional

Scrapy和BeautifulSoup获取的页面大多数都是静态页面，即不需要用户登录即可获取数据，然而许多网站是需要用户登录操作的，诚然，Scrapy和BeautifulSoup可以完成用户登录等操作，但相对的工作量会大了很多，这里我们可以使用Mechanize模块，Mechanize是python的一个模块，用于模仿浏览器操作，包括操作账号密码登录等

06

如何使用Ruby 多线程爬取数据

现在比较主流的爬虫应该是用python，之前也写了很多关于python的文章。今天在这里我们主要说说ruby。我觉得ruby也是ok的，我试试看写了一个爬虫的小程序，并作出相应的解析。 Ruby中实现网页抓取，一般用的是mechanize，使用非常简单。首先安装sudo gem install mechanize

04

如何使用爬虫做一个网站

大家如果有兴趣做网站，在买了VPS，部署了wordpress，配置LNMP环境，折腾一番却发现内容提供是一个大问题，往往会在建站的大（da）道（keng）上泄气，别怕，本文解密如何使用爬虫来抓取网站内容发布在你的网站中，并提供源代码。大概简要说下写爬虫的几个步骤，在学习的过程中，有成就感会给你前进莫大的动力，学习爬虫也是如此，那么就从最基础的开始： Python有各种库提供网页爬取的功能，比如: urllib urllib2 Beautiful Soup

05

Python爬虫：selenium的填坑心得

在之前的文章中说过，模拟浏览器在现在的python库中有两个选择Mechanize与Selenium：然而Mechanize不支持JavaScript，Selenium是一套完整的Web应用程序测试系统。所以对于爬虫开发来说selenium就成了爬虫开发的核武器，可以有效的帮助我们(1.无脑的执行JavaScript渲染页面;2.规避反爬)。在此之前实现的十几万网站的频道识别是绝对不能算是定点爬虫的了，所以只好祭出核武器。网上关于selenium的教程有很多，这里细数selenium的注（yi）意（xi

09

为什么说python适合写爬虫

相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）

02

python 匿名代理访问浏览器

import mechanize import cookielib import random

02

python和php哪个更适合写爬虫

相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）

01

解决eclipse不能加载python安

昨天遇到一个诡异的问题，安装了python第三方模块，但在eclipse始终不能使用，

02

0x5 Python教程：Web请求

本教程将演示如何使用Python创建Web请求。有几个Python模块可以更轻松地创建和制作/解析Web请求/响应（httplib，Mechanize，Beautiful Soup和urllib / urllib2）。安装这些模块并查看其功能。

02

Python库大全（涵盖了Python应用的方方面面），建议收藏留用！

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。

04

人生苦短-常用必备的Python库清单

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。

02

利用python爬取人人贷网的数据

人人贷网站需要用户登录才能看到其相应的借贷人信息。也就是说在爬取数据时，需要用户登录。回顾之前的代码，我想是保存cookie这种方法是不能用了。必须找到一种新的方法来模拟登录网站。查了许多资料，数据捉取无外乎有3种方法： 1．直接抓取数据。 2.模拟浏览器抓取数据。 3.基于API接口抓取数据综合分析，我决定用第2种方法"模拟浏览器登录"，那得找好相应的python包，网上有：mechanize，selenium等等。 1.mechanize包的尝试 br.select_form(nr = 0)

05

python3_mechanicalsoup

python3_mechanicalsoup # !/usr/bin/python3.4 # -*- coding: utf-8 -*- import mechanicalsoup # 事实证明，这个库非常的不友好 # 非常！！ # 和mechanize没法比 # https://github.com/hickford/MechanicalSoup def openbrowser(url): # 定义browser browser = mechanicalsoup.Browser()

02

Python库大全，建议收藏留用！

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。

02

Python库大全，建议收藏留用！

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：查找域名对应的IP地址。向IP对应的服务器发送请求。服务器响应请求，发回网页内容。浏览器解析网页内容。那么学习爬虫需要掌握哪些库呢？通用： urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。

03

爬虫框架整理汇总

整理了Node.js、PHP、Go、JAVA、Ruby、Python等语言的爬虫框架。不知道读者们都用过什么爬虫框架？爬虫框架的哪些点你觉得好？哪些点觉得不好？ Node.js node-c

06

python 根据注册表信息获取你去过的地方

from _winreg import * import mechanize import urllib import re import urlparse import os import optparse

02

漏洞复现 | DNS域传送漏洞

注：本文中使用的域名是不存在DNS域传送漏洞的，本文仅用作技术交流学习用途，严禁将该文内容用于违法行为。

01

一篇了解爬虫技术方方面面

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

04

python开发_常用的python模块及安装方法

adodb：我们领导推荐的数据库连接组件 bsddb3：BerkeleyDB的连接组件 Cheetah-1.0：我比较喜欢这个版本的cheetah cherrypy：一个WEB framework ctypes：用来调用动态链接库 DBUtils：数据库连接池 django：一个WEB framework docutils：用来写文档的 dpkt：数据包的解包和组包 MySQLdb：连接MySQL数据库的 py2exe：用来生成windows可执行文件 Pylons：我们领导推荐的web framework pysqlite2：SQLite的连接组件 pythonwin：Python的Windows扩展 setuptools：无奈，PEAK的一套python包管理机制 sqlalchemy：数据库连接池 SQLObject：数据库连接池 twisted：巨无霸的网络编程框架 wxPython-2.6：因为需要保持与linux相同的版本才没用最新的，GUI编程框架 pypcap：抓包的 python-dnet：控制网络安全的其他设备 pyevent：Python的事件支持 pydot：画图的，graphiz sendpkt：Python发包 simplejson：JSON的支持 DPKT：raw-scoket网络编程 Cx-oracle：连接oracle的好东东 Mechanize：爬虫连接网站常用 PIL：图像处理工具包 reportlab for PDF 文件。 PyQt4 for GUI界面 feedparser： rss解析 chardet：编码检测 scons: 项目构建工具，写好了模板用起来还是很方便的 scapy: 网络包构建分析框架,可编程的wireshark,有兴趣的google “Silver Needle in the Skype” pefile: windows pe文件解析器 winpdb: 自己的程序或者用别的库不太明白的时候就靠它了 pywmi: 省了好多折腾功夫 pylint: 培养良好的编码习惯下面是准备用的,不做评论: pygccxml pyparsing pymacs idapython paimei pysvn pyLucene wikidpad

03

一篇了解爬虫技术方方面面

原理传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；所以一个完整的

09

网页抓取 - 完整指南

Web Scraping，也称为数据提取或数据抓取，是从网站或其他来源以文本、图像、视频、链接等形式提取或收集数据的过程。

02

Optiva-Framework：一款功能强大的Web应用程序安全扫描工具

Optiva-Framework是一款功能强大的Web应用程序安全扫描工具，该工具基于Python开发，并使用Shell实现了部分功能。在该工具的帮助下，广大研究人员可以轻松扫描目标Web应用程序中国呢的安全漏洞，并以此来提升Web应用程序的安全性。除此之外，我们还可以使用该工具来检索管理员入口，搜索SQL注入漏洞，实现信息收集，或检索加密哈希。

01

Optiva-Framework：一款功能强大的Web应用程序安全扫描工具

Optiva-Framework是一款功能强大的Web应用程序安全扫描工具，该工具基于Python开发，并使用Shell实现了部分功能。在该工具的帮助下，广大研究人员可以轻松扫描目标Web应用程序中国呢的安全漏洞，并以此来提升Web应用程序的安全性。除此之外，我们还可以使用该工具来检索管理员入口，搜索SQL注入漏洞，实现信息收集，或检索加密哈希。

01

selenium模拟浏览器&PhantomJS

注意:最新版本的selenium停止对PhantomJS的支持(可以使用谷歌&火狐的无头浏览器)，如果还想用PhantomJS，需要对selenium降级

03

一篇了解爬虫技术方方面面

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

02

干货 | 史上最全的 Python 爬虫工具列表大全

来源：伯乐在线这个列表包含与网页抓取和数据处理的Python库。网络通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。 MechanicalSoup -一

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭