前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一次网络请求中的流量分发过程

一次网络请求中的流量分发过程

作者头像
京东技术
发布2023-08-22 15:42:36
3090
发布2023-08-22 15:42:36
举报
文章被收录于专栏:京东技术

Tech 导读 现代的企业级或互联网系统往往需要进行流量规划,达成透明多级分流。流量从客户端发出到服务端处理这个过程里,流经的与功能无关的技术部件有(达成“透明分流”这个目标所采用的工具与手段):客户端缓存、域名服务器、传输链路、内容分发网络、负载均衡器、服务端缓存。透明分流带来的价值:高可用架构、高并发。本文主要介绍流量规划中的网络请求过程及: 第一部分:对一次网络请求的过程作简要介绍,然后介绍目前了解到的前端网络组件搭配方式、后端网络组件搭配方式 第二部分:介绍LB负载系统 、vip与rip 的映射关系 第三部分:介绍内网域名解析及公网域名解析

01

网络请求过程

在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!

1.1 通用请求过程

图1.通用请求过程示意

1.2 请求过程名词解释

rip:真实ip,指虚拟机或容器ip

vip:虚拟ip,不可跨机房,online申请,负载、自动探活等功能,分公网vip与内网vip

内网:专指机房内部,严格的防火墙策略,内网之间无防火墙,可申请内网vip 提供负载均衡供应用间互访;内网≠办公网

办公网:办公区个人电脑网络,通过反向代理访问内网机房应用

公网:互联网用户网络,通过DNS + 公网vip 访问内网机房应用

备注(理解有可能不正确):

公网vip即公网虚拟ip,虚拟不是说公网上找不到这个ip,虚拟是相对于服务器ip(rip)来说的,vip不直接承担业务逻辑

公网VIP在公网真实存在、内网vip在公司内网真实存在

1.3 前端网络组件搭配方式

外网访问需满足如下图架构:VIP后面挂 jen-nginx 来代理前端的主应用,jen代理后面挂静态应用1~N

图2.外网访问需满足如图架构

测试环境:多个前端项目可能存在下列架构方式:域名 -> VIP -> JEN代理(根据不同域名访问不同文件夹下的文件)-> 静态应用

图3.多个前端项目可能存在下列架构方式:域名 -> VIP -> JEN代理-> 静态应用

1.4 后端网络组件搭配方式

后端应用从调用方式来说分为两种 (http调用 JSF调用)

前端应用 ---(协议http或者https)---后端前置应用 --(协议 jsf私有协议)----JSF微服务应用

后端前置应用 -----jsf微服务应用,之间的负载由消费者来决定,所以一般无须关注这两者之间的负载。

方式1: vip下的负载(LB负载系统) + Nginx

图4.方式1示意

方式2:容器K8S层面的负载

vip提供的LB:

vip提供的LB下是直接挂机器IP,其中多个ip之间没有分组的概念,并且没有探活机制。

每次上线需要摘掉负载下的机器,上线完成后,再把机器挂上去

行云部署-高级功能-负载均衡 (容器k8s层面的负载) 优点:

有机器分组的概念:按照机房或者 机房+机房集群的维度分组后,每个分组申请自己的负载均衡。

具有探活机制:设置健康探活路径,针对负载进行探活。每次上线无须摘掉负载下的机器。

图5.方式二示意

02

LB负载系统简介

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。

其实吧,vip本身就是个ip,没有多少真正的价值。vip可以理解为是集团LB负载均衡的入口ip,而LB负载均衡才是真正的分流组件。

vip 是系统自动分配复用的(vip资源珍贵,系统分配的vip有可能复用),LB负载均衡有两种分流规则:

默认规则:面向域名,流量接入到后端集群。此为模板,可选择应用范围。

专用规则:面向VIP,可为某VIP独立指定后端集群。其中专用规则优先级高。

默认规则、专用规则两者关系:

共同点

不同点

默认规则面向域名的一个端口有且只有一条分流规则专用规则面向VIP的一个端口有且只有一条分流规则

默认规则必须存在;专用规则优先级高;专用规则无设置时,继承默认规则指向的后端

  • 默认规则面向域名的一个端口有且只有一条分流规则
  • 专用规则面向VIP的一个端口有且只有一条分流规则
  • 默认规则必须存在;
  • 专用规则优先级高;
  • 专用规则无设置时,继承默认规则指向的后端

2.1 默认规则

默认分流规则:域名+端口+集群,分流规则唯一性

备注:系统分配的vip有可能复用

在默认规则中, 假设系统分配的vip都是 111.111.111

域名A (www.a.jdcom)+ 域名的一个端口port(80) 通过配置的 vip (111.111.111) 将请求转发到 后端集群A。

域名B (www.b.jd.com) + 域名的一个端口port(443) 通过配置的 vip (111.111.111) 将请求转发到 后端集群B。

2.2 专用规则

面向vip的一个端口有且只有1条分流规则

备注:(猜测 不确定):专用规则中的vip可能不是复用的。

图6.在VIP:PORT指向的后端集群不相同时,选择专用规则分别指向集群

备注:一个VIP 也可以用多个端口,比如HTTP 是80和443,TCP是2000-2014

03

vip和rip的映射关系(重要)

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。

一对一:一个机房,一个vip 对应一个rip

一对多:一个机房,一个vip 对应多个rip

多对多:多个机房,每个机房的vip对应 其机房下的多个rip

3.1 vip下挂载rip的约定

1. vip(机房入口)是机房维度的,当然如果说vip出问题了,一般情况下就是机房出问题了,这个出现的几率会比较小。

2. vip是机房维度的,但是vip下挂哪些机器 是由研发人员决定的,因此vip下的机器是有可能跨机房的。但是研发人员应该根据机房视图(机器的机房所在地)来对应此所在地的机房入口(vip),应尽可能遵守这个规定。

3.2 为什么要遵守这个约定呢?

1. 尽可能缩小问题影响的范围:如果你VIP下的机器跨机房,如果Vip出问题,导致多个机房的机器都无法接收流量

2. 尽可能匹配断网演练的目标:机房断网演练,估计VIP也不会让流量进入到下一层,如果你vip下挂载跨机房的rip,直接让机房的断网演练,变成了跨机房演练(因为多个机房的机器不会接收到流量)

04

内网域名解析

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目

1. 内网域名解析时:vip是根据机房入口走的。

2. 每个视图必须解析。(必须指向线上可用VIP)

3. 为优化机房内访问,优先选择本机房VIP。

4. 考虑到旧的机房已下架或者正在下架,旧机房优先选择廊坊、马驹桥VIP,国外应用优先选择国外的VIP。

05

公网域名解析

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目

pop入口:在计算机网络中,pop表示入网点(pop),pop位于网络企业的边缘外侧,是访问企业网络内部的进入点,外界提供的服务通过pop进入,这些服务包括Internet接入,广域连接以及电话服务(PSTN)。新应用上线时应该申请入网点(pop)处的vip。

域名解析:

不需要VIP: 直接填写自己的公网IP

需要VIP:

1. 请提前申请POP入口的VIP

2. 解析前请线下绑定host测试VIP业务可用性

3. 按照运营商对应的POP入口VIP进行解析

06

总结

理解,首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板,当获取到模板后进行模板加载,加载阶段会将产物转换为视图树的结构,转换完成后将通过表达式引擎解析表达式并取得正确的值,通过事件解析引擎解析用户自定义事件并完成事件的绑定,完成解析赋值以及事件绑定后进行视图的渲染,最终将目标页面展示到屏幕。

简单的请求过程最实用,实用的请求过程最简单。

用简单实用的搭配方式满足流量分发,不要随意搭配,增加系统的复杂性。‍

打造SAAS化服务的会员徽章体系,可以作为标准的产品化方案统一对外输出。结合现有平台的通用能力,实现会员行为全路径覆盖,并能结合企业自身业务特点,规划相应的会员精准营销活动,提升会员忠诚度和业务的持续增长。

底层能力:维护用户基础数据、行为数据建模、用户画像分析、精准营销策略的制定

▪功能支撑:会员成长体系、等级计算策略、权益体系、营销底层能力支持

▪用户活跃:会员关怀、用户触达、活跃活动、业务线交叉获客、拉新促活

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-08-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 京东技术 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 方式1: vip下的负载(LB负载系统) + Nginx
  • 方式2:容器K8S层面的负载
  • vip提供的LB:
  • vip提供的LB下是直接挂机器IP,其中多个ip之间没有分组的概念,并且没有探活机制。
  • 每次上线需要摘掉负载下的机器,上线完成后,再把机器挂上去
  • 行云部署-高级功能-负载均衡 (容器k8s层面的负载) 优点:
  • 有机器分组的概念:按照机房或者 机房+机房集群的维度分组后,每个分组申请自己的负载均衡。
  • 具有探活机制:设置健康探活路径,针对负载进行探活。每次上线无须摘掉负载下的机器。
  • LB负载系统简介
    • 默认分流规则:域名+端口+集群,分流规则唯一性
      • 备注:系统分配的vip有可能复用
        • 面向vip的一个端口有且只有1条分流规则
        相关产品与服务
        负载均衡
        负载均衡(Cloud Load Balancer,CLB)提供安全快捷的四七层流量分发服务,访问流量经由 CLB 可以自动分配到多台后端服务器上,扩展系统的服务能力并消除单点故障。轻松应对大流量访问场景。 网关负载均衡(Gateway Load Balancer,GWLB)是运行在网络层的负载均衡。通过 GWLB 可以帮助客户部署、扩展和管理第三方虚拟设备,操作简单,安全性强。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档