先说结论: aiohttp 的 ClientSession 默认最多同时开 100 条 TCP 连接(TCPConnector(limit=100)),对单个主机不单独设限(limit_per_host=0)。所以一次 gather 200 个请求,实际同时在飞的只有 100 个,另外 100 个在连接器里排队,不报错。把 limit 设成 0 表示不限,这时 200 个请求同时去连本机一个 aiohttp 服务,服务端监听队列默认只有 128,实测有 72 个请求直接连接失败。想压并发,limit、limit_per_host 和 asyncio.Semaphore 都能做到,区别在于排队发生在哪一层、对多个主机怎么算。下面在 macOS 上用 Python 3.9、aiohttp 3.13.5 实测,服务端每个请求固定睡 0.5 秒,统计服务端看到的最大并发和 TCP 连接数,输出都是实际跑出来的。
import aiohttp
c = aiohttp.TCPConnector()
print(c.limit, c.limit_per_host) # 100 0
print(aiohttp.client.DEFAULT_TIMEOUT)
# ClientTimeout(total=300, connect=None, sock_read=None, sock_connect=30, ceil_threshold=5)两个容易忽略的点:
limit 是整个 session 的连接上限,limit_per_host 是每个「主机 + 端口 + 是否 TLS」的上限,0 都表示不限。服务端是一个 aiohttp 应用,同时监听 18701、18702 两个端口,每个请求 sleep(0.5) 再返回,同时记录正在处理的请求数峰值和见过多少个不同的客户端端口(等于 TCP 连接数):
state = {'now': 0, 'max': 0, 'peers': set()}
async def h(req):
state['now'] += 1
state['max'] = max(state['max'], state['now'])
state['peers'].add(req.transport.get_extra_info('peername')[1])
await asyncio.sleep(0.5)
state['now'] -= 1
return web.Response(text='ok')客户端每个用例新建一个 session,用 asyncio.gather 一次性发 n 个请求,捕获异常计数。
default connector n=200 max_concurrent=100 tcp_conns=100 1.05s errors=0
limit=10 n=50 max_concurrent=10 tcp_conns=10 2.52s errors=0
limit=0 (no limit) n=200 max_concurrent=128 tcp_conns=128 0.55s errors=72 ['ClientConnectorError']
limit_per_host=5, 2 hosts n=40 max_concurrent=10 tcp_conns=10 3.03s errors=0
Semaphore(10), default connector n=50 max_concurrent=10 tcp_conns=10 2.53s errors=0
force_close=True, limit=10 n=50 max_concurrent=10 tcp_conns=50 2.55s errors=0逐行看:
gather 多少个就并发多少个,其实被连接器挡住了。TCPSite 默认 backlog=128,监听队列满了之后,macOS 上新连接直接被重置,72 个请求报 ClientConnectorError。在 Linux 上通常表现为建连变慢、重传,但道理一样:并发不设上限,压力会转嫁到对方或者系统队列上。limit_per_host 能防止某一个站点被压得太狠,而总量由 limit 管。async with sem:,同样是 10 并发、10 条连接。想要的效果 | 用法 |
|---|---|
整个程序最多 N 个连接 | TCPConnector(limit=N) |
每个站点最多 N 个,总数另算 | TCPConnector(limit=总数, limit_per_host=N) |
限制的不只是 HTTP 请求,还包括解析、写库等整个任务 | asyncio.Semaphore(N) 包住整个任务 |
想知道排队等了多久、超时就放弃 | ClientTimeout(connect=...),排队时间算在 connect 里 |
最后一行值得多说一句:aiohttp 的 ClientTimeout.connect 包括「等连接池给一条连接」的时间,sock_connect 才是纯 TCP 建连。连接器排队很长时,请求可能因为 connect 超时而失败,而网络本身没有问题。
一个比较稳妥的起点:
timeout = aiohttp.ClientTimeout(total=60, connect=20, sock_connect=10, sock_read=30)
connector = aiohttp.TCPConnector(limit=50, limit_per_host=8)
sem = asyncio.Semaphore(50)
async with aiohttp.ClientSession(connector=connector, timeout=timeout) as s:
async def task(url):
async with sem:
async with s.get(url) as r:
body = await r.read()
return parse(body) # 解析也在信号量里,防止内存里堆太多响应体
results = await asyncio.gather(*(task(u) for u in urls), return_exceptions=True)limit=100 挡住;任务对象还是一次性建 1000 个,内存要算进去。limit=100、limit_per_host=0、总超时 300 秒、建连 30 秒;limit_per_host;limit=0 把压力推给对方,实测连本机服务都会连接失败;ClientTimeout.connect 包含排队时间,排查「连接超时」时先看是不是连接器排满了。测试环境:macOS,Python 3.9.6,aiohttp 3.13.5,服务端和客户端都在本机,服务端监听 127.0.0.1 的两个端口。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。