一场跨境网络的调优POC

原创

金鹏

修改于 2025-07-06 15:13:00

4272

文章被收录于专栏：SDLC技术探究SDLC技术探究

“赤橙黄绿青蓝紫，谁持彩练当空舞？雨后复斜阳，关山阵阵苍。当年鏖战急，弹洞前村壁。装点此关山，今朝更好看。” --《菩萨蛮·大柏地》

遥想当年运维岁月，公司初创，和一帮兄弟努力奋战在一线，解决了一个又一个的棘手问题，再回首，记忆犹新。现在公司逐渐迈向国际化舞台，网络问题尤为突出，正当时，借助这个机会探索跨境网络的调优。

1.思虑与挑战

中国与国际互联网的连通性受限于跨境带宽和路由节点，可能导致访问延迟。目前比较成熟的解决方案有：

a）在目标市场部署边缘节点或海外服务器（如AWS新加坡、法兰克福节点）等
b）选择支持BGP多线接入的云服务商（如阿里云国际版、腾讯云香港节点），优化路由
c）使用内容分发网络——CDN，如Cloudflare、Akamai缓存静态内容，加速海外用户访问

部署边缘节点是需要等到业务扩展到海外时，一条必须要考虑的路线，针对当前，服务器只在国内的情形，站在开源节流的主线上，我们还是优先考虑CDN，BGP，搭建专线网络等，当然他们也是需要一定的大额开支。就在这时，经过我百般搜索，发现了一个神器——腾讯的轻量优选流量。

按照腾讯官方的介绍，“轻量优选流量包采用精品 BGP IP 专属线路，避免绕行国际运营商出口网络；时延更低，可有效提升境外业务对中国大陆用户覆盖质量。”，这不是正中下怀么！让我们一起研究下，看看是不是搞虚头！

2.转机与验证

发现轻量优选流量包后，这就给我提供了新的思路，让我们一起看看，它的效果如何。

首先我通过腾讯的【服务器】产品购买了【轻量服务器】以用来作为目标测试机器，再加上我原有的腾讯域名，足以满足POC的目的。我这里购买的是1G版本的优选套餐，足够POC使用，如果需要其他套餐，他们也有很多选择，比如我选的是：

0.1元限时体验1G流量包

2.1. 当年鏖战

首先我们可以验证下路由跳转的情况。在没有实施优选流量包时，我们可以traceroute一次：

 1  * * *
 2  * * *
 3  * * *
 4  10.196.90.89 (10.196.90.89)  1.488 ms 10.196.90.77 (10.196.90.77)  1.360 ms 10.196.90.89 (10.196.90.89)  1.457 ms
 5  10.196.95.230 (10.196.95.230)  2.067 ms 10.200.40.30 (10.200.40.30)  1.547 ms 10.196.95.226 (10.196.95.226)  1.839 ms
 6  ae-19.a00.chwahk03.hk.bb.gin.ntt.net (203.131.252.149)  11.110 ms ae-35.a00.newthk04.hk.bb.gin.ntt.net (203.131.252.173)  1.002 ms ae-19.a00.chwahk03.hk.bb.gin.ntt.net (203.131.252.149)  9.650 ms
 7  * * ae-10.r29.tkokhk01.hk.bb.gin.ntt.net (129.250.2.182)  2.252 ms
 8  ae-6.r24.sngpsi07.sg.bb.gin.ntt.net (129.250.7.66)  35.203 ms * 183.91.56.121 (183.91.56.121)  92.134 ms
 9  ae-4.a02.sngpsi07.sg.bb.gin.ntt.net (129.250.6.63)  36.448 ms  33.761 ms  36.564 ms
10  202.97.12.189 (202.97.12.189)  118.875 ms 183.91.56.125 (183.91.56.125)  89.933 ms  87.305 ms
11  * 202.97.27.230 (202.97.27.230)  113.264 ms 202.97.116.213 (202.97.116.213)  116.850 ms
12  * * 202.97.35.85 (202.97.35.85)  121.538 ms
13  115.233.23.146 (115.233.23.146)  132.069 ms 220.191.200.246 (220.191.200.246)  125.126 ms 220.191.199.66 (220.191.199.66)  146.532 ms
14  202.97.101.218 (202.97.101.218)  122.858 ms * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *

路由路径关键节点分析：跨网段跳转（Hop 8-14）出现公网IP（如 223.121.3.29、221.183.89.170），从第9跳开始延迟从3ms升至28ms+，可能原因：流量从城域网进入省级/国家级骨干网，跨境链路（如香港→大陆）或跨运营商互联点。高延迟节点（Hop 7）延迟从2ms突增至35ms，可能原因：物理距离增加（如跨省/跨境）拥塞的互联节点（如电信与联通互联点）丢包现象（Hop 11/17）202.97.101.218 出现丢包（* *），可能是：中间节点限速或丢弃探测包路径切换时的临时拥塞。

mtr工具测试：

可以看到8跳之后延迟突增，最高延迟接近150ms，部分丢包率也严重。

业务测试：

10次ping业务API，最大延迟在4.35秒，有4次出现1s以上的高延时，还是很难接受的。

2.2 今日好看

我们开启优选流量包再次尝试。开启方式是在机器的按钮上打开开关即可。可以参考操作指南。

路由测试：

traceroute to lechange.cn (120.55.105.21), 30 hops max, 60 byte packets
 1  * * *
 2  * * *
 3  * * *
 4  10.196.90.61 (10.196.90.61)  1.716 ms 10.196.90.65 (10.196.90.65)  2.082 ms 10.196.90.77 (10.196.90.77)  1.271 ms
 5  11.48.233.50 (11.48.233.50)  1.968 ms 11.50.201.63 (11.50.201.63)  1.695 ms 11.50.201.60 (11.50.201.60)  1.536 ms
 6  11.50.201.55 (11.50.201.55)  1.268 ms 11.48.233.52 (11.48.233.52)  1.187 ms 11.48.233.60 (11.48.233.60)  1.095 ms
 7  * 223.121.2.89 (223.121.2.89)  3.372 ms *
 8  223.120.22.69 (223.120.22.69)  3.277 ms  2.781 ms  3.334 ms
 9  223.120.3.182 (223.120.3.182)  28.801 ms  28.800 ms 223.120.3.178 (223.120.3.178)  29.097 ms
10  221.183.89.174 (221.183.89.174)  29.181 ms 221.183.89.170 (221.183.89.170)  30.403 ms 221.183.89.174 (221.183.89.174)  29.120 ms
11  221.183.89.69 (221.183.89.69)  29.441 ms  29.608 ms  29.988 ms
12  221.183.89.50 (221.183.89.50)  36.524 ms 221.183.89.14 (221.183.89.14)  31.369 ms 221.183.89.46 (221.183.89.46)  30.685 ms
13  221.183.53.230 (221.183.53.230)  31.665 ms 221.183.144.86 (221.183.144.86)  33.132 ms 221.183.53.230 (221.183.53.230)  40.110 ms
14  * * . (120.204.35.250)  32.616 ms
15  * * *
16  * * *
17  * 116.251.112.142 (116.251.112.142)  39.980 ms 140.205.24.29 (140.205.24.29)  35.518 ms
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *

MTR 测试：