首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Mock 工具与定制化

Mock 工具与定制化

原创
作者头像
霍格沃兹测试开发Muller老师
发布于 2024-06-27 04:41:41
发布于 2024-06-27 04:41:41
20200
代码可运行
举报
运行总次数:0
代码可运行

简介

mitmproxy 是一款开源、免费的代理工具,支持 mac、windows、linux。相比于其他代理工具,可以通过 python 和 mitmproxy 工具本身的插件机制实现通过脚本对 mitmproxy 的完全控制。强大的可拓展性和可定制性,可以让测试工程师以 mitmproxy 工具为基础,进行二次开发,打造更适合自己业务的 mock 工具。

官方网站:

https://mitmproxy.org/

操作步骤

安装

mitmproxy 是一款跨平台工具,支持在 windows、linux、 mac 平台进行安装。最推荐的安装方式是直接通过 python 进行安装。安装步骤:

  • 安装好 python 环境(最低要求 python3.6)
  • pip install pipx
  • pipx install mitmproxy

输入命令验证是否安装成功:

代码语言:bash
AI代码解释
复制
mitmdump --version

如果有如下的返回信息,证明环境已经安装成功:

代码语言:bash
AI代码解释
复制
Mitmproxy: 5.2Python:    3.8.7OpenSSL:   OpenSSL 1.1.1g  21 Apr 2020Platform:  macOS-10.15-x86_64-i386-64bit
** **
证书配置

mitmproxy 的证书配置过程与 charles 类似

pc 端证书

  • 配置电脑代理,ip 配置 127.0.0.1 ,端口配置为 mitmproxy 监听端口,默认 8080
  • 启动 mitmprxy
  • 在浏览器输入地址 mitm.it,显示效果如果和下图相同,证明前面的步骤都成功了
  • 选择对应系统下载证书并安装。
  • 信任证书:打开证书(Mac 系统为钥匙串访问)->点击证书->双击名称含有 charles 的选项->点击信任->选择始终信任。

windows 证书信任

手机端证书(安卓系统)

  • 在手机配置代理,ip 配置为电脑的 ip 地址,端口配置为 mitmproxy 监听端口,默认 8080。
  • 启动 mitmprxy。
  • 在手机浏览器输入地址 mitm.it。
  • 选择 Android,下载并安装,即可成功抓取手机端的 https 的数据包。
三大核心工具

mitmproxy 有三大核心工具,分别为 mitmproxy、mitmweb、mitmdump。mitmdump 是 mitmproxy 相比于其他代理工具最独一无二的部分,所以会以 mitmdump 的介绍为主。

  • mitmproxy

是一款交互式的命令行工具,通过命令mitmproxy启动,需要注意的是 mitmproxy 不支持 windows 系统。下图为 mitmproxy 启动后的效果图:

  • mitmweb

在 mitmweb 的图形界面中使用 mitmproxy 的主要功能,通过命令mitmweb启动。它和 Chrome 开发者工具中的 network 比较类似。下图为 mitmweb 启动后的效果图:

  • mitmdump

用 mitmdump 编写强大的插件和脚本。mitmproxy 脚本 API 提供了对 mitmproxy 的完全控制,可以自动修改消息、重定向流量、可视化消息或实现自定义命令。后面会通过实战具体介绍 mitmdump 的使用。

mitmdump 实战
  • 命令

mitmdump 可以通过参数 -s 实现执行 python 脚本

通过下面这个示例每次再发起请求时都要打印 "this is a demo"

mitm_demo.py

代码语言:python
代码运行次数:0
运行
AI代码解释
复制
from mitmproxy import http

def request(flow: http.HTTPFlow):    #每次请求时都打印 this is a demo    
    print("this is a demo")

通过命令 mitmdump 执行 python 脚本

代码语言:bash
AI代码解释
复制
mitmdump -s ./mitm_demo.py

执行效果

代码语言:bash
AI代码解释
复制
Loading script ./mitm_demo.pyProxy server listening at http://*:8080127.0.0.1:53741: clientconnect127.0.0.1:53758: clientconnect127.0.0.1:53759: clientconnect127.0.0.1:53760: clientconnectthis is a demo127.0.0.1:53758: Connection killed127.0.0.1:53758: clientdisconnectthis is a demo127.0.0.1:53759: Connection killed127.0.0.1:53759: clientdisconnect
  • 插件

mitmproxy 是通过变量addons,将一个类的实例与 mitmproxy 进行关联的。通过插件机制,可以指定在脚本运行中,与 mitmproxy 直接相关的实例。

mitm_addon.py

代码语言:python
代码运行次数:0
运行
AI代码解释
复制
from mitmproxy import ctx

class Counter:    def __init__(self):        self.num = 0
    def request(self, flow):        self.num = self.num + 1        ctx.log.info("We've seen %d flows" % self.num)
addons = [    Counter()]

有几点需要注意的是:

  • Mitmproxy 是通过 addons 这个全局变量获取以及加载插件组件。
  • 每个插件都是一个实例对象,比如上面例子中的Counter()。
  • 方法 requests 是一个事件的示例。在后面会有关于事件的具体介绍。
  • 这个插件实现了在每一次请求的时候打印累计的请求 flow 数据。

执行命令

代码语言:python
代码运行次数:0
运行
AI代码解释
复制
mitmdump -s ./mitm_demo.py

展示效果:

代码语言:bash
AI代码解释
复制
...省略..
127.0.0.1:49625: clientconnect
We've seen 9 flows
127.0.0.1:49600: GET https://www.baidu.com/content-search.xml
              << 200 OK 220b
We've seen 10 flows
127.0.0.1:49599: GET https://www.baidu.com/home/xman/data/tipspluslist?indextype=manht&_req_seqid=0xaf491b1700068f01&asyn=1&t=1618453717212&sid=33811_33816_33745_33344_31253_33849_33758_26350_22158
              << 200 OK 78b
  • 事件

mitmproxy 有多个事件, 每个函数或方法代表一个事件,指每一次请求响应的过程中,都会自动调用相关的方法。每一个方法的名称都是 mitmproxy 约定好的,都代表了 flow 的不同过程。

许多事件通过参数接收一个 flow 对象,通过修改这些对象,插件就可以即时改变流量。

代码语言:python
代码运行次数:0
运行
AI代码解释
复制
import mitmproxy.http
class Events:

    def request(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http发起请求之后会调用这个方法
        """


    def response(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http返回响应之后会调用这个方法
        """
  • 通过命令执行 python 脚本
代码语言:bash
AI代码解释
复制
   mitmdump -s ./mitm_map_local.py
  • 编写脚本,在请求事件中,给响应对象赋值为设定的模拟值
  • mitm_map_local.py
代码语言:python
代码运行次数:0
运行
AI代码解释
复制
import json

from mitmproxy import ctx, http

class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow):
        if "https://httpbin.testing-studio.com/get" in flow.request.pretty_url:
            # 打开文件,读取文件数据,作为响应,给返回
            with open("./res.json", encoding="utf-8") as f:
                # 给flow.response属性进行赋值,
                # 赋值调用mitmproxy 响应对象的 make方法
                # 响应体在make函数里面所需要的数据为str
                flow.response = http.HTTPResponse.make\
                    (200,  # (optional) status code
                    f.read(),  # (optional) content
                {"Content-Type": "text/html"}  # (optional) headers
                    )

addons = [
    Counter()
]

创建一个本地文件,响应数据设定为
{ "status": "success" }

总结

  • 安装
  • 证书配置
  • 三大核心工具
  • mitmdump 实战

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[602]app抓包之mitmproxy的安装和使用
mitmproxy是一个支持HTTP和HTTPS的抓包程序,类似Fiddler、Charles的功能,只不过它通过控制台的形式操作。
周小董
2022/04/13
5.4K0
[602]app抓包之mitmproxy的安装和使用
python mitmproxy 文档
1、顾名思义,mitmproxy 就是用于 MITM 的 proxy,MITM 即[中间人攻击],用于中间人攻击的代理首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次,会适时的查、记录其截获的数据,或篡改数据,引发服务端或客户端特定的行为。 2、不同于 fiddler 或 wireshark 等抓包工具,mitmproxy 不仅可以截获请求帮助开发者查看、分析,更可以通过自定义脚本进行二次开发。举例来说,利用 fiddler 可以过滤出浏览器对某个特定 url 的请求,并查看、分析其数据,但实现不了高度定制化的需求,类似于:“截获对浏览器对该 url 的请求,将返回内容置空,并将真实的返回内容存到某个数据库,出现异常时发出邮件通知”。而对于 mitmproxy,这样的需求可以通过载入自定义 python 脚本轻松实现。 3、但 mitmproxy 并不会真的对无辜的人发起中间人攻击,由于 mitmproxy 工作在 HTTP 层,而当前 HTTPS 的普及让客户端拥有了检测并规避中间人攻击的能力,所以要让 mitmproxy 能够正常工作,必须要让客户端(APP 或浏览器)主动信任 mitmproxy 的 SSL 证书,或忽略证书异常,这也就意味着 APP 或浏览器是属于开发者本人的——显而易见,这不是在做黑产,而是在做开发或测试。 4、那这样的工具有什么实际意义呢?据我所知目前比较广泛的应用是做仿真爬虫,即利用手机模拟器、无头浏览器来爬取 APP 或网站的数据,mitmproxy 作为代理可以拦截、存储爬虫获取到的数据,或修改数据调整爬虫的行为。 事实上,以上说的仅是 mitmproxy 以正向代理模式工作的情况,通过调整配置,mitmproxy 还可以作为透明代理、反向代理、上游代理、SOCKS 代理等,但这些工作模式针对 mitmproxy 来说似乎不大常用,故本文仅讨论正向代理模式。 5、python脚本不要小于3.6 6、安装完后,mitmdump 是命令行工具,mitmweb是一个web界面。
用户5760343
2022/05/14
1.2K0
python mitmproxy 文档
APP爬虫-mitmproxy安装与简单使用
我们通常使用的抓包工具就是Fiddler和Charles这种图形化的,Charles的优点是跨平台,Windows和Mac都可以使用,Fiddler的优点是功能“极其”强大,不仅拥有抓包功能,还拥有中间人攻击的功能,但是使用成本太高了,我们做爬虫开发,使用到Fiddler的功能不过十之二三罢了。今天我们主要讲的是mitmproxy这款工具,这是一款专业的中间人攻击工具,mitmproxy 不仅可以截获请求帮助开发者查看、分析,最最重要的是支持Python进行定制化二次开发。例如:截获浏览器的请求内容,并将数据处理后存储到数据库,再将内容交给浏览器;如果出现异常时,发出邮件通知,并返回给浏览器一个空的页面。 mitmproxy有以下几个特点:
星星在线
2020/05/22
2.3K0
Mitmproxy代理配置及接口加解密详细教程
mitmproxy 提供一个命令行界面(该命令不支持windows)。mitmdump 提供一个简单的终端输出。mitmweb 提供一个浏览器界面。
梦无矶小仔
2023/09/08
3.7K0
Mitmproxy代理配置及接口加解密详细教程
Python好酷|抓包神器 mitmproxy
mitmproxy(Man-in-the-middle attack,中间人攻击代理)是一款提供交互能力的抓包工具,可以用来拦截、修改、保存 HTTP/HTTPS 请求,对于爬虫尤其是基于APP的爬虫来说,是必不可少的一款神器。mitmproxy 基于Python开发,可以通过Python代码对请求和响应进行自定义过滤和修改。
互联网金融打杂
2022/08/01
2K0
Python好酷|抓包神器 mitmproxy
从零开始学mitmproxy抓包工具
mitm是Man In The Middle的首字母缩写,意思是位于中间的人,表明mitmproxy是一个代理,可以拦截请求,实现网络抓包。知名的网络抓包工具有Fiddler、Charles、HttpWatch、WireShark、BurpSuite和Postman等,mitmproxy相对来说,没有这么高的知名度,它相比于以上工具的独特优势是,它提供了Python API,可以编写Python代码对网络请求进行流量录制,从而收集接口信息以及转化为接口自动化用例等。mitmproxy官方文档不但有mitmproxy工具使用介绍,还有代理实现原理,对我们学习掌握网络知识有很大帮助。
落寞的鱼丶
2022/02/22
4.3K0
测试协议代理神器mitmproxy
mitmproxy 是一个免费的开源交互式的 HTTPS 代理。mitmproxy 就是用于MITM 的proxy,MITM即中间人攻击(Man-in-the-middle attack),用于中间人攻击的代理首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次会看看请求或者响应结果信息,记录其截获的数据或篡改数据,引发服务端或客户端特定的行为。
TestOps
2022/04/07
1.8K0
测试协议代理神器mitmproxy
以羊了个羊为例,浅谈小程序抓包与响应报文篡改
本来是想以天眼查小程序作为抓包主体的,但是这两天羊了个羊实在是太火了,没办法,咱们也来追一追热点,今天我们的目标程序就是羊了个羊了!
可以叫我才哥
2022/11/11
1K0
以羊了个羊为例,浅谈小程序抓包与响应报文篡改
教你用 Python 操控你的上网请求
今天给大家介绍个有意思的工具,不知道你有没有听说过中间人攻击(Man-in-the-middle attack)简称 MITM,是一种“间接”的入侵攻击,这种攻击模式是通过各种技术手段将受入侵者控制的一台计算机虚拟放置在网络连接中的两台通信计算机之间,这台计算机就称为“中间人”,看下这张图可能更容易理解。
纯洁的微笑
2020/03/18
1K0
教你用 Python 操控你的上网请求
以羊了个羊为例,浅谈小程序抓包与响应报文篡改
在前面的文章中,我们一起制作了一个天眼查小程序,其中涉及到了微信小程序的抓取过程,应众多读者的要求,今天我们一起来看看微信小程序的抓包流程
AI科技大本营
2022/12/10
1.3K0
以羊了个羊为例,浅谈小程序抓包与响应报文篡改
Mitmproxy 抓包工具安装使用
Mitmproxy是一个使用python编写的中间人代理工具,跟Fiddle、Charles等等的抓包工具是差不多的,同样可以用于拦截、修改、保存http/https请求。比起Fiddle、Charles,mitmproxy有一个最大的特点是支持python自定义脚本。
清风穆云
2021/10/18
1.5K0
Mitmproxy 抓包工具安装使用
测开必备工具-Mitmproxy
推荐一款代理工具 mitmproxy ,功能比较强大,不但可以像fiddler一样抓包,而且可以通过编写python脚本过滤监听的数据,修改请求和响应。
搁浅同学
2022/07/21
9150
测开必备工具-Mitmproxy
另类Mock Server猜想?
最近小编的同事在编写测试工具时,遇到了一个技术难点,经过我们的沟通实践后,解决了该问题。今天在这里与各位小伙伴们一起分享一下。
用户5521279
2020/01/17
8190
另类Mock Server猜想?
proxy在app自动化中的应用
在做测试的时候,如果客户端有很多场景,我们又不太好造数据,可以考虑mock. app的mock怎么做呢?我们可以考虑用mitmproxy
赵云龙龙
2021/06/09
1.3K0
python抓包代理库mitmproxy
python中一个库mitmproxy,可以实现抓包;实现的就是代理的功能;相对于其他软件,优势在于可以编码;
JQ实验室
2022/11/04
1.1K0
实战|手把手教你如何使用抓包神器MitmProxy
玩爬虫的小伙伴都知道,抓包工具除了MitmProxy外,还有Fiddler、Charles以及浏览器netwrok等
Python研究者
2021/05/13
4.9K0
实战|手把手教你如何使用抓包神器MitmProxy
mitmproxy抓包 | Python实时生成接口自动化用例(三)
前面已经给大家分享了mitmproxy的环境配置和基本使用,文章浏览量很高,相信对抓包工具感兴趣的朋友,已经熟练运用起来了。
王大力测试进阶之路
2022/03/14
3.9K0
mitmproxy抓包 | Python实时生成接口自动化用例(三)
最佳网络数据抓包工具mitmproxy
日常测试客户端需求,经常会使用Fiddler、Charles工具,抓取网络请求内容。Fiddler、Charles也有使用上的不足,比如Fiddler仅支持winsows、Charles是收费的,另外Fiddler、Charles在扩展开发脚本上都比较薄弱。
测试加
2022/06/21
9050
最佳网络数据抓包工具mitmproxy
小巧实用的HTTP代理抓包工具:mitmproxy
这步比较简单,直接pip install mitmproxy,或者自行下载安装包。更多更详细的安装说明可以查看这篇文章:MitmProxy的安装
happyJared
2018/12/05
1.2K0
小巧实用的HTTP代理抓包工具:mitmproxy
还在手工写接口自动化用例?这种方式可以试试!
测试技术发展到今天,如果你还不会一些自动化技能,不会接口自动化方法,不会写一个两个框架,出去都不好意思跟人打招呼!
上帝De助手
2019/09/27
1.5K0
还在手工写接口自动化用例?这种方式可以试试!
相关推荐
[602]app抓包之mitmproxy的安装和使用
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验