作者 |郭浩 审校 |钰莹 Dubbo 和 HSF 都是阿里巴巴目前在使用的微服务 RPC 框架。HSF 在阿里巴巴使用更多,承接了内部从单体应用到微服务的架构演进,支撑了阿里历年双十一的平稳运行;Dubbo 则在 2011 年开源后,迅速成为业界广受欢迎的微服务框架产品,在国内外均有着广泛应用。 自 2008 年 5 月发布第一个版本 1.1 后,经历数年迭代,HSF 从一个基础的 RPC 框架逐渐演变成为日支撑十万亿级别调用的易于扩展的微服务框架。内部场景中,用户既可以选择少量配置轻松接入微服务体系,获
服务治理可以说是微服务架构中最为核心和基础的模块,它主要用来实现各个微服务实例的自动化注册和发现。
首先本文仅作为笔者在做一些调研之后的总结,仅提供思路,不提供源码,所以如果是想直接冲着源码来的,可以跳过此文。如果后续有机会将项目开源出来,会第一时间写新文章讲解实线细节。
Apache Dubbo™ 是一款高性能Java RPC框架。说起dubbo,国内开发者几乎都知道它的大名,既然现在的dubbo很流行,那么让我们回顾下过去的dubbo吧,一起看下dubbo的发展历程:
最近leader给了KingYiFan一个任务,就是对接某国企的业务,人家用的淘宝的HSF框架RPC通信 根本不用httpclient what??? RPC不是Dubbo底层协议吗?这怎么通讯呢?翻遍了整个百度没有我想要的。 有一个大佬人家自己封装了一个RPC通讯含监控中心(积分下载的)需要联系我哈。
声明:主要内容来自公司内部 对业界的调研,不一定恰当、准确、实时。 表格文字较多,APP阅读体验较差 团队 服务相关组件\方案 通信框架 监控 负载均衡\路由 是否开源 腾讯 完全自研;BG内部自治,每个BG有自己相应的解决方案,单独演进; 包括:服务注册路由中心;流量定义ABTesting方案;日志分布式收集;配置中心等没有公司级的服务治理组织去统一 各个BG也不一样技术工程TEG\原搜索:自定义二进制协议编解码,或Protocol Buffer(以下简称PB)进行序列化\反序列化,自研服务容器、
梁飞在 2011 年开源 Dubbo 这个项目的时候,完全没有想过,Dubbo 这个名字,最后会变成一个 Apache 的商标,会成为一个在 GitHub 上有 2 万多人关注、一百多人参与贡献的超级项目。在自己退出这个项目多年后,Dubbo 仍在野蛮生长,并焕发新机。
Wireshark是排查网络问题最常用的工具,它已经内置支持了上百种通用协议,同时它的扩展性也很好,对于自定义的应用层网络协议,你可以使用c或者lua编写协议解析插件,这样你就可以在Wireshark中观察到协议的内容而不是二进制流,为排查问题带来一定的便利性。
热休克因子1(HSF1)在癌症的启动、发展和进展中发挥了重要作用,但目前还没有对HSF1的泛癌分析。
监控一直是服务端掌握应用运行状态的重要手段,经过近几年的发展,阿里虾米服务端目前已经有 100 多个 Java 应用,承担核心业务的应用也有将近 50 个,对于应用的监控配置也是因人而异。有的人配置的监控比较细,有的应用在经历了多人开发阶段以后,监控就逐渐疏于管理,有些应用的监控项最后修改时间只停留到 2 年以前,早已不适应业务的发展。
CSB用于实现专有云和混合云场景下的跨系统、跨协议的服务互通。主要针对需要对系统间服务访问和对外开放进行管理和控制,包括安全授权、流量限制。 API 消费者,即代表 API 消费方应用在 CSB 上订购服务和管理订购的用户。 API 消费凭证,API 消费方应用需要使用 API 消费凭证(简称凭证)来调用 CSB 上开放的服务 API。API 消费者使用凭证来订购服务 API。凭证具体表现为一对 Access Key ID 和 Access Key Secret。在 API 调用时用来做签名信息计算,CSB 接收到 API 调用请求时对签名信息做验证。API 消费者可以创建多个 API 消费凭证,每个凭证可被一个或一组 API 消费方应用使用,通常可以把凭证作为 API 消费方应用的分组。 CSB 实例 每一组 CSB 服务总线节点(Broker)集群被视为一个独立的 CSB 实例,通常负责一个业务域内能力的对外开放,也可以发布来自外部的服务 API 给内部使用。 每个用户最多创建 5 个 CSB 实例,如有特殊需求,请联系 CSB 技术支持人员。 如果需要公网地址请将 SLB 绑定弹性公网 IP。 CSB 群组,一个 CSB 群组就是多个 CSB 实例的集合,这些 CSB 实例通过同一个 CSB 管理中心管理,使用同一套用户账号系统。 一个 CSB 群组内的 CSB 实例,对另一个 CSB 群组来说,就是一个“外部”实例。群组间的互通,例如典型的场景,企业自有数据中心内的 CSB 和阿里云上的 CSB 互通,需要各自的 CSB 群组管理员认可对方的账号并进行访问授权。 用户、实例、群组 在 CSB 中,用户是对等的,没有从属概念,只有授权关系。 每个用户都可以拥有属于自己的一个或多个 CSB 实例,具有这些 CSB 实例的管理员权限。可以控制其它用户对这些 CSB 实例的访问使用权限,即在该实例上发布服务、订阅服务,甚至实例管理的权限。每个用户和他所拥有的所有 CSB 实例,即构成该用户的 CSB 租户域。 用户在取得某个 CSB 实例的访问使用权限后,即可以在该实例上发布或者订阅服务。服务的发布者就是该服务的拥有者,可以审批授权其它用户对该服务的订阅申请。 云服务总线 CSB 有群组的概念,对应于相对隔离的管理环境。例如企业的内部数据中心和阿里云公共云的某个地域(region)即是不同的群组。相应地,也有 CSB 群组管理员 的角色,与 CSB 实例管理员不同,只有群组管理员可以应用户请求创建 CSB 实例。例如在阿里云公共云环境中,CSB 产品支持团队即是该群组的管理员。 级联式服务发布 级联发布,针对复杂多环境多归属打通场景,云服务总线提供级联发布管理机制,即跨 CSB 实例的服务发布,也就是在一个 CSB 实例上接入已有服务,而在另外一个 CSB 实例上开放出来,供订阅者消费。级联链路可以跨 2 个或更多 CSB 实例,这些 CSB 实例可以归属不同的用户,甚至位于不同的 CSB 群组内。级联发布的链路需要群组管理员定义,指明连通链路中各个 CSB 实例的先后链接关系。例如 CSB 实例 A 上接入的服务通过实例 B 作为中转,最终在 CSB 实例 C 上开放,就构成了一条经由实例 A 到 B 到 C 的 级联链路。
HSF全称为High-Speed Service Framework,旨在为淘系的应用提供一个分布式的服务框架,HSF从分布式应用层面以及统一的发布/调用方式层面为大家提供支持,从而可以很容易的开发分布式的应用以及提供或使用公用功能模块,而不用考虑分布式领域中的各种细节技术,例如远程通讯、性能损耗、调用的透明化、同步/异步调用方式的实现等等问题。
“没有最好的技术,只有最合适的技术。”我想这句话也同样适用于微服务领域,没有最好的服务框架,只有最适合自己的服务改造。在Dubbo的未来规划中,除了保持自身技术上的领先性,关注性能,大流量,大规模集群领域的挑战外,围绕Dubbo核心来发展生态,将Dubbo打造成一个服务化改造的整体方案也是重点之一。这是我们将推出“服务化改造”系列文章的第二篇,通过在一些外围系统和服务化基础组件上的开发实践,分享Dubbo生态下的服务化改造收获和总结。
HSF2作为转录因子,通过调节各种靶基因和信号通路,在皮质生成和精子生成中起重要作用。然而,HSF2与肿瘤的相关性仍然未知。
功能即服务 (FAAS) 是一类云计算服务,它提供了一个平台,允许客户开发、运行和管理应用程序功能,而无需构建和维护通常与开发和启动应用程序相关的基础设施的复杂性。构建遵循此模型的应用程序是实现“无服务器”体系结构的一种方式,通常在构建微服务应用程序时使用。
昨天躺在床上刷知乎,看见一个问题:“中国有哪些顶级水平的程序员?” 引起了我的注意,看了下现在已经超千万浏览了。 其实谈起中国顶尖的程序员,大多数人首先会想到之前的雷军雷布斯,微信的张小龙,还有现在的多隆、行癫、道哥等人,但今天我想聊一聊的这位大神,他的技术成就也同样令人瞩目。 19 年获得国家技术发明二等奖、20 年获得国家计算机协会颁发的“ CCF 杰出工程师奖”,曾带领淘宝完成了由 3.0 向 4.0 的电商架构的升级,江湖人称“毕大师”,他就是前阿里 P10 ——毕玄。 说毕大师是我佩服的 t
谈起中国顶尖的程序员,很多人首先会想到之前的雷军、张小龙,还有现在的多隆、行癫、道哥等人,但今天我想聊一聊的这位大神,他的技术成就也同样令人瞩目。 19 年获得国家技术发明二等奖、20 年获得国家计算机协会颁发的“ CCF 杰出工程师奖”,曾带领淘宝完成了由 3.0 向 4.0 的电商架构的升级,撑下了如今的亿级并发,江湖人称 “毕大师” ,他就是前阿里 P10 ——毕玄。 说毕大师是 top 级大神,真不是夸张,看他的经历就知道。他早在 07 年就加入了阿里,一上来就从 0 开始做了 HSF ,这个到现在
在上一篇文章一篇文章搞懂RabbitMQ 延迟消息中作者详细介绍了RabbitMq实现延迟消息队列的两种方式:
大家好,我是阿里巴巴淘系技术部基础架构组的张挺(花名),真名陈仲寅,平时社区看到 Harry Chen,czy88840616 都是我。
学习是一件需要长期投入的事情,尤其是在当下大环境恶劣的背景下,我们程序员必须要多多的投资自己,去加强自己的技术硬实力和软实力。
去年得知蚂蚁金服放出SOFA的部分开源项目, RPC部分号称源于阿里内部的HSF, HSF当年可是把dubbo 1.x踢出局的, 只是没想到京东改造dubbo为JSF, 当当改为dubbox。国内蛮多电商公司实施服务化就直接上dubbo 1.x或dubbox。这应该是阿里没想到的, 所以现在dubbo 2.x又回笼为apache的顶级项目, 把dubbox合并还继续完善。
导读:在所有的开发测试中,接口测试是必不可少的一项。有效且覆盖完整的接口测试,不仅能保障新功能的开发质量,还能让开发在修改功能逻辑的时候有回归的能力,同时也是能优雅地进行重构的前提。编写接口测试要遵守哪些原则?测试代码的结构应该是什么样的?接口测试有哪些实践技巧?本文分享作者在接口测试上的实践总结。
测试工程师是一个高技术含量的岗位,但现在不少人误以为测试工程师就是“点工”,拿到软件“点点点”,就可以完成测试了,没啥技术含量,而一些测试工程师错误的工作方法也滋长了这种误解。
杨净 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 一项关于减肥的研究,怎么就能登上Cell封面了?! 还是中国团队出品。 据华东师大官方消息,他们解锁了局部热疗减肥法背后的基因机制,目前已被选为封面文章。 此消息一出,瞬间引爆全网热议,直接冲上热搜,阅读量达1.3亿。 有网友激动表示,泡澡减肥法终于有了科学依据! 还有暖宝宝、艾灸、汗蒸,甚至热水袋是不是可以整起来了。 但桥豆麻袋,真的是这样子吗? 不急着下结论,先看看论文本身说的是什么。 破解局部热疗减脂机制 简单来说,这篇论文验证的是“
EDAS支持语言Java,C++,PHP。EDAS支持Idea,Eclipse;Eclipse插件安装等编译工具。EDAS初级版仅支持应用的部署管理,不支持HSF功能。EDAS基础版不支持RPC框架。 EDAS提供高性能的RPC框架,能构建高可用的分布式系统,考虑各个应用之间的分布式服务发现、服务路由、服务调用以及服务安全等细节。EDAS能单独部署到公司内网(轻量配置中心)。 EDAS HSF服务框架保证用户每次分布式调用的稳定与安全。在服务注册、服务订阅以及服务调用等环节都进行严格的服务鉴权。 HSF设置超时时间 : 通过HSF标签methodSpecials和clientTimeout进行配置,优先级由高到低是 : 客户端methodSpecials>客户端clientTimeout>服务端methodSpecials>服务端clientTimeout EDAS控制台域名 : https://edas.console.aliyun.com EDAS控制台提供日志浏览功能,可查看服务器上所部署的应用运行日志。收敛日志用于将单个应用中类似格式的日志合并和排序。收敛日志配置后需要等待大概5分钟才能生效。 EDAS安装轻量配置中心 : 启动配置中心将会占用此台机器的8080和9600端口,需要在hosts中添加 {轻量配置中心公网 ip} jmenv.tbsite.net。如果此台机器是多网卡的,可启动脚本startup.bat或startup.sh中添加启动参数: -Daddress.server.ip={指定的 IP 地址};通过 -Dhsf.server.ip参数指定要注册服务的IP。 EDAS 服务限流的限流规则(限流规则仅适用于服务提供者)能够从QPS和线程两个维度进行配置。可进行HSF限流和HTTP限流。 EDAS 提供了从响应时间维度对降级规则(降级规则仅仅适合服务消费者)的配置。 EDAS 鹰眼监控系统能够分析分布式系统的每一次系统调用、消息发送和数据库访问。主要包括应用拓扑(可查看调用拓扑和流量QPS),调用链查询(可查看慢业务和出错业务),调用链详情(基于TraceId查询)。 EDAS 提供报警功能,但目前只有短信与邮件通知的方式,报警联系人只能是主账号或者子账号。 EDAS 的应用主要分为两种类型:中间件服务化应用(JAR/WAR包类型的普通应用和Docker应用)和 Kubernetes 应用。Kubernetes应用只支持VPC网络。 EDAS 的应用部署类型有两种 : ECS独占实例(在一台独立的ECS机器上,仅允许部署单独一个应用),Docker实例(单个应用在同一ECS上只能部署一个实例),所以一台ECS可以部署多个实例。 EDAS 能够针对应用的服务调用情况,对服务的QPS、响应时间(RT)和出错率进行全方面的监控。 EDAS 能够针对应用的运行状态,对机器的CPU、内存、负载(Load)、网络和磁盘等基础指标进行详细的监控。EDAS还提供容器监控功能(应用诊断)。基础监控(可提供以应用为维度的数据)面向的是机器,容器监控面向是应用所在的容器。基础监控存在时延,容器监控基本是实时的。 EDAS 提供弹性伸缩功能来根据集群内服务器的CPU、RT和Load三个指标实现自动的扩容或者缩容。 EDAS 对应用的生命周期管理,包括创建、部署、启动/停止和删除(应用删除不可恢复)。可设置JVM参数,Tomcat参数,可对应用的实例分组(可按分组部署应用,添加实例到分组),可配置负载均衡。可配置健康检测URL。 EDAS 包含两种集群:Swarm(部署普通应用和Docker应用)和Kubernetes集群(部署Kubernetes应用)。 EDAS 的配置推送分为全局配置推送和应用内部的配置推送。全局配置推送能操作该用户的所有配置信息,应用内的配置推送只能操作该应用所属的配置信息。一个配置信息由三元组(group、DataId、Content)组成。 EDAS 提供主子账号体系,付费账号都是主账号(拥有EDAS所有资源,所有权限),但不是所有的主账号都是付费账号。1个付费账号最多能绑定5个主账号。RAM子账号由主账号在RAM系统中创建,子账号名要在主账号内唯一。RAM账号有两种授权方式 : RAM授权,EDAS授权(两种方式互斥,有了RAM授权,那么就不能在EDAS中授权),主账号可以对绑定的子账号(用户)进行权限分配、资源分配等。应用的授权只能是主账号对子账号进行授权。 EDAS 的资源主要是指云服务器ECS(Elastic Compute Service)、负载均衡SLB(Server Load Balancer)、专有网络VPC(Virtual Private Cloud)这三类。 VPC环境调用链和监控数据需要有访问请求流量才会产生,如果无客户访问网站,
一家小超市,一个收银员,同时还兼着干点其他的事情,例如,打扫卫生、摆货。来买东西的人多起来了,排队很长,顾客受不了,于是增加了一个收银台,雇了一个收银员。忙的时候收银员根本没时间去打扫卫生,超市内有点脏,于是雇了一个专门打扫卫生的。随着顾客不断增加,超市也经过好几次装修,由以前的一层变成了两层,这个时候所做的事情就是不断增加收银台、收银员和打扫卫生的人。在超市运转的过程中,老板发现一个现象,有些收银台排很长的队,有些收银台排的人不多,了解后知道是因为收银台太多了,顾客根本看不到现在各个收银台的状况。对于这个现象,一 种简单的方法就是继续加收银台。但一方面,超市没地方可加收银台了,另一方面,作为老板,当然不需要雇太多的人,于是开始研究怎样让顾客了解到收银台的状况,简单地加了一个摄像头和一个大屏幕,在大屏幕上显示目前收银台的状况,这样基本解决了这个问题。排队长度差不多后,又出现了一个现象,就是有些收银台速 度明显比其他的慢,原因是排在这些收银台的顾客买的东西特别 多,于是又想了一招,就是设立专门的10件以下的通道,这样买 东西比较少的顾客就不用排太长的队了,这一招施展后,顾客的满意度明显提升,销售额也好了不少,后来就继续用这招应对团购状况、VIP 状况。在解决了上面的一些烦心事后,老板关注到了一个存在已久的现象,就是白天收银台很闲,晚上则很忙,于是从节省成本上考虑,决定实行部分员工只在晚上上班的机制,白天则关闭一些收银台,顾客仍然可以通过大屏幕看到哪些收银台是关闭的,避免走到没人的收银台去,实行这招后,成本大大降 低了。 这个生活中的例子及其解决的方法,其实和互联网网站发展过程中的一些技术是非常类似的,只是在技术层面用其他名词来 表达了而已,例如,有集群、分工、负载均衡、根据QoS分配资 源等。
云原生时代的微服务又有什么特点?当前有哪些比较活跃的微服务项目?阿里巴巴资深技术专家李响从微服务的生命周期、流量治理、编程模型以及可信安全4个方面,分享他对微服务与云原生之间的关系的理解。 云原生时代
嗯,前面呢,《快手一面》的时候也大部分都是Java常见的八股文,但是问的还是挺深的。
本文整理了阿里13个开源中件间产品的架构及功能介绍,结合阿里中间件团队的访谈及分享,涵盖了消息中间件、服务框架、数据层、应用服务器和大规模分布式稳定性平台等等。整体中间件在阿里生态中的分布,如下图所示:
Flutter+Serverless三端一体研发架构,客户端不仅仅是编写双端的代码,而是扩展了客户端的工作边界,形成完整的业务闭环。在新的研发模式落地与实践的过程中,一直在思考如何提高FaaS端研发体验与研发质量,以下是落地过程中遇到的问题。
5.java电商网站,数据库分读写,解决高并发读写的问题,master和slave流量的问题。
云原生(CloudNative)是一个组合词,Cloud+Native。 Cloud表示应用程序位于云中,而不是传统的数据中心;Native表示应用程序从设计之初即考虑到云的环境,原生为云而设计,在云上以最佳姿势运行。
我们在日常分析中,有时会比较不同物种间motif序列结构的保守性。今天小编教大家使用R包“ motifStack ”绘制美观的motif序列结构图!
我小时候就很喜欢看书,也喜欢买书。书就像是我的朋友,不管去任何地方,只要拿本书在手心里,就觉得有安全感。
比如早期一个应用Java War包,将所有功能都打包,部署在一个单机服务器,调用接口也比较方便,不涉及到任何分布式场景。
Dubbo 在 2011 开源之后,一直是国内最受欢迎的 RPC 框架,之后 Spring Boot 和 Spring Cloud 的面世,助推了微服务的火热程度。计算机的世界变化很快,自从容器和 K8s 登上舞台之后,给原有的 RPC 领域带来了很大的挑战。这个文章主要讲述 RPC 领域遇到的问题,以及 RPC 怎么去拥抱 K8s 怀抱的一些思考。
导读:《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第十二部分。主要介绍了技术演进的动力和演进模式,如不同时期所面临的问题以及该如何处理。
Dubbo 自 2011 年 10 月 27 日开源后,已被许多非阿里系的公司使用,其中既有当当网、网易考拉等互联网公司,也不乏中国人寿、青岛海尔等大型传统企业。更多用户信息,可以访问 Dubbo @GitHub,issue#1012: Wanted: who's using dubbo。
工作中用到Thrift,一直想深入研究一下。今天这篇博客以提问的方式,分析Thrift的源码。文章部分参考自:Thrift源码分析。
9月份的时候,我接到了大量的提问。其中大部分是围绕 Spring Boot、Spring Cloud、Dubbo、Zookeeper、Redis,而这些问题直接问到我怀疑人生。忍不住在想自己是不是一个 Java 后台开发,为什么拥有多年的工作经验却无法进行问题回答。
毕玄不这么认为,他认为架构师只是一个角色,是成长路径的一个选择。很多人想变成架构师,背后是想当经理,所以极客时间很多课程宣传的成为架构师就有问题,比如杨波那种。
今天刚好群里有朋友在问,你们为什么开源了 Apache Dubbo,你们内部是不是有更好的闭源的实现吖?看过《淘宝技术这十年》的小伙伴都知道,内部其实很多部门都在使用一个叫 HSF(High Speed Framework) 的 RPC 框架,江湖人称 "好舒服"。
一直对小程序开发很感兴趣,之前就准备做一款属于自己的小程序,无奈还需要购买云服务器和部署后台,有点麻烦,自从知道有了云开发这个免去服务器搭建和运维的一站式后端云服务“神器”,就一鼓作气花了几个周末的时间做了一款自己的博客小程序,如果你也想打造一款自己的博客,那你阅读这篇文章就够啦。
今天在Linux下用Jetty把一个应用启动起来报权限不够异常。其实原因很简单,但是如果一时疏忽可能会习惯性地google一把,我就google了一把,但是发现网上关于这个问题的内容很少。所以我特记录一下,希望能给遇到同样问题的同学有帮助。
Dubbo是阿里巴巴在2012年开源的分布式服务治理框架,不仅是阿里巴巴在开源领域最出名的项目,也应该算称得上是国内影响力最大的开源大作。可是大家有所不知,阿里内部实际上都在使用另一个RPC框架叫HSF(Dubbo和HSF的开发团队是同一拨人马,造轮子狂热症患者),Dubbo这些年浮浮沉沉,也曾经一度停止了更新,而随着18年Dubbo3.0的强势推进,相信这个大版本中Dubbo会充分借鉴HSF在超高并发场景下积累的经验。
2019年我们经历了一整年的各种迁移,其中包括了一项RPC框架的切换。以前我们用的HSF RPC框架,它是来自于阿里巴巴,经过了多年的双11高并发的洗礼,高性能这块儿毫无疑问没有任何的问题,而且它还同时支持TCP与HTTP的方式,唯一不太好的就是它不开源,如果出现问题定位起来确实有一些问题与风险。
Dubbo 自 2011 年 10 月 27 日开源后,已被许多非阿里系的公司使用,其中既有当当网、网易考拉等互联网公司,也不乏中国人寿、青岛海尔等大型传统企业。
Dubbo 自 2011 年 10 月 27 日开源后,已被许多非阿里系的公司使用,其中既有当当网、网易考拉等互联网公司,也不乏中国人寿、青岛海尔等大型传统企业。更多用户信息,可以访问Dubbo @GitHub,issue#1012: Wanted: who's using dubbo。
Service Mesh这个“热”词是2016年9月被“造”出来,而今年2018年更是被称为service Mesh的关键之年,各家大公司都希望能在这个思潮下领先一步。今天我也分享阿里中间件在这方面的观点,思考和实践。考虑到有些人没了解过Dubbo(集团内以HSF为主)和Servicemesh,先简单介绍下这两个词。Dubbo应该是国内最受欢迎的远程服务框架,在Github上有超过2w的star数,也是阿里分布式架构互联互通的核心所在。跟Dubbo一样,servicemesh也是面向服务互联互通这一问题域,是云原生技术栈的核心之一;大家可以简单理解service mesh就是云原生组织定义的微服务架构解决理念。Dubbo是实现框架,融入servcemesh理念就是我们今天分享的。
领取专属 10元无门槛券
手把手带您无忧上云