首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Go | Go 使用 consul 做服务发现

Go | Go 使用 consul 做服务发现

作者头像
双鬼带单
发布于 2020-10-29 04:54:07
发布于 2020-10-29 04:54:07
3K20
代码可运行
举报
文章被收录于专栏:CodingToDieCodingToDie
运行总次数:0
代码可运行

Go 使用 consul 做服务发现


  • Go 使用 consul 做服务发现
  • 前言
  • 一、目标
  • 二、使用步骤
  • 1. 安装 consul
  • 2. 服务注册
    • 定义接口
    • 具体实现
    • 测试用例
  • 3. 服务发现
    • 接口定义
    • 具体实现
    • 测试用例
  • 总结
  • 参考

前言

前面一章讲了微服务的一些优点和缺点,那如何做到

一、目标

二、使用步骤

1. 安装 consul

我们可以直接使用官方提供的二进制文件来进行安装部署,其官网地址为 https://www.consul.io/downloads

在这里插入图片描述 下载后为可执行文件,在我们开发试验过程中,可以直接使用 consul agent -dev 命令来启动一个单节点的 consul

在启动的打印日志中可以看到 agent: Started HTTP server on 127.0.0.1:8500 (tcp), 我们可以在浏览器直接访问 127.0.0.1:8500 即可看到如下

在这里插入图片描述 这里我们的 consul 就启动成功了

2. 服务注册

在网络编程中,一般会提供项目的 IP、PORT、PROTOCOL,在服务治理中,我们还需要知道对应的服务名、实例名以及一些自定义的扩展信息

在这里使用 ServiceInstance 接口来规定注册服务时必须的一些信息,同时用 DefaultServiceInstance 实现

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
type ServiceInstance interface {

    // return The unique instance ID as registered.
    GetInstanceId() string

    // return The service ID as registered.
    GetServiceId() string

    // return The hostname of the registered service instance.
    GetHost() string

    // return The port of the registered service instance.
    GetPort() int

    // return Whether the port of the registered service instance uses HTTPS.
    IsSecure() bool

    // return The key / value pair metadata associated with the service instance.
    GetMetadata() map[string]string
}

type DefaultServiceInstance struct {
    InstanceId string
    ServiceId  string
    Host       string
    Port       int
    Secure     bool
    Metadata   map[string]string
}

func NewDefaultServiceInstance(serviceId string, host string, port int, secure bool,
    metadata map[string]string, instanceId string) (*DefaultServiceInstance, error) {

    // 如果没有传入 IP 则获取一下,这个方法在多网卡的情况下,并不好用
    if len(host) == 0 {
        localIP, err := util.GetLocalIP()
        if err != nil {
            return nil, err
        }
        host = localIP
    }

    if len(instanceId) == 0 {
        instanceId = serviceId + "-" + strconv.FormatInt(time.Now().Unix(), 10) + "-" + strconv.Itoa(rand.Intn(9000)+1000)
    }

    return &DefaultServiceInstance{InstanceId: instanceId, ServiceId: serviceId, Host: host, Port: port, Secure: secure, Metadata: metadata}, nil
}

func (serviceInstance DefaultServiceInstance) GetInstanceId() string {
    return serviceInstance.InstanceId
}

func (serviceInstance DefaultServiceInstance) GetServiceId() string {
    return serviceInstance.ServiceId
}

func (serviceInstance DefaultServiceInstance) GetHost() string {
    return serviceInstance.Host
}

func (serviceInstance DefaultServiceInstance) GetPort() int {
    return serviceInstance.Port
}

func (serviceInstance DefaultServiceInstance) IsSecure() bool {
    return serviceInstance.Secure
}

func (serviceInstance DefaultServiceInstance) GetMetadata() map[string]string {
    return serviceInstance.Metadata
}

定义接口

在上面规定了需要注册的服务的必要信息,下面定义下服务注册和剔除的方法

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
type ServiceRegistry interface {
    Register(serviceInstance cloud.ServiceInstance) bool

    Deregister()
}

具体实现

因为 consul 提供了 http 接口来对consul 进行操作,我们也可以使用 http 请求方式进行注册和剔除操作,具体 http 接口文档见 https://www.consul.io/api-docs, consul 默认提供了go 语言的实现,这里直接使用 github.com/hashicorp/consul/api

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import (
    "errors"
    "fmt"
    "github.com/hashicorp/consul/api"
    "strconv"
    "unsafe"
)

type consulServiceRegistry struct {
    serviceInstances     map[string]map[string]cloud.ServiceInstance
    client               api.Client
    localServiceInstance cloud.ServiceInstance
}

func (c consulServiceRegistry) Register(serviceInstance cloud.ServiceInstance) bool {
    // 创建注册到consul的服务到
    registration := new(api.AgentServiceRegistration)
    registration.ID = serviceInstance.GetInstanceId()
    registration.Name = serviceInstance.GetServiceId()
    registration.Port = serviceInstance.GetPort()
    var tags []string
    if serviceInstance.IsSecure() {
        tags = append(tags, "secure=true")
    } else {
        tags = append(tags, "secure=false")
    }
    if serviceInstance.GetMetadata() != nil {
        var tags []string
        for key, value := range serviceInstance.GetMetadata() {
            tags = append(tags, key+"="+value)
        }
        registration.Tags = tags
    }
    registration.Tags = tags

    registration.Address = serviceInstance.GetHost()

    // 增加consul健康检查回调函数
    check := new(api.AgentServiceCheck)

    schema := "http"
    if serviceInstance.IsSecure() {
        schema = "https"
    }
    check.HTTP = fmt.Sprintf("%s://%s:%d/actuator/health", schema, registration.Address, registration.Port)
    check.Timeout = "5s"
    check.Interval = "5s"
    check.DeregisterCriticalServiceAfter = "20s" // 故障检查失败30s后 consul自动将注册服务删除
    registration.Check = check

    // 注册服务到consul
    err := c.client.Agent().ServiceRegister(registration)
    if err != nil {
        fmt.Println(err)
        return false
    }

    if c.serviceInstances == nil {
        c.serviceInstances = map[string]map[string]cloud.ServiceInstance{}
    }

    services := c.serviceInstances[serviceInstance.GetServiceId()]

    if services == nil {
        services = map[string]cloud.ServiceInstance{}
    }

    services[serviceInstance.GetInstanceId()] = serviceInstance

    c.serviceInstances[serviceInstance.GetServiceId()] = services

    c.localServiceInstance = serviceInstance

    return true
}

// deregister a service
func (c consulServiceRegistry) Deregister() {
    if c.serviceInstances == nil {
        return
    }

    services := c.serviceInstances[c.localServiceInstance.GetServiceId()]

    if services == nil {
        return
    }

    delete(services, c.localServiceInstance.GetInstanceId())

    if len(services) == 0 {
        delete(c.serviceInstances, c.localServiceInstance.GetServiceId())
    }

    _ = c.client.Agent().ServiceDeregister(c.localServiceInstance.GetInstanceId())

    c.localServiceInstance = nil
}

// new a consulServiceRegistry instance
// token is optional
func NewConsulServiceRegistry(host string, port int, token string) (*consulServiceRegistry, error) {
    if len(host) < 3 {
        return nil, errors.New("check host")
    }

    if port <= 0 || port > 65535 {
        return nil, errors.New("check port, port should between 1 and 65535")
    }

    config := api.DefaultConfig()
    config.Address = host + ":" + strconv.Itoa(port)
    config.Token = token
    client, err := api.NewClient(config)
    if err != nil {
        return nil, err
    }

    return &consulServiceRegistry{client: *client}, nil
}

测试用例

注册服务的代码基本完成,来测试一下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
func TestConsulServiceRegistry(t *testing.T) {
    host := "127.0.0.1"
    port := 8500
    registryDiscoveryClient, _ := extension.NewConsulServiceRegistry(host, port, "")

    ip, err := util.GetLocalIP()
    if err != nil {
        t.Error(err)
    }

    serviceInstanceInfo, _ := cloud.NewDefaultServiceInstance("go-user-server", "", 8090,
        false, map[string]string{"user":"zyn"}, "")

    registryDiscoveryClient.Register(serviceInstanceInfo)

    r := gin.Default()
    // 健康检测接口,其实只要是 200 就认为成功了
    r.GET("/actuator/health", func(c *gin.Context) {
        c.JSON(200, gin.H{
            "message": "pong",
        })
    })
    err = r.Run(":8090")
    if err != nil{
        registryDiscoveryClient.Deregister()
    }
}

如果成功,则会在 consul 看到 go-user-server 这个服务

3. 服务发现

在服务发现中,一般会需要两个方法

  1. 获取所有的服务列表
  2. 获取指定的服务的所有实例信息

接口定义

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
type DiscoveryClient interface {

    /**
     * Gets all ServiceInstances associated with a particular serviceId.
     * @param serviceId The serviceId to query.
     * @return A List of ServiceInstance.
     */
    GetInstances(serviceId string) ([]cloud.ServiceInstance, error)

    /**
     * @return All known service IDs.
     */
    GetServices() ([]string, error)
}

具体实现

来实现一下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
type consulServiceRegistry struct {
    serviceInstances     map[string]map[string]cloud.ServiceInstance
    client               api.Client
    localServiceInstance cloud.ServiceInstance
}

func (c consulServiceRegistry) GetInstances(serviceId string) ([]cloud.ServiceInstance, error) {
    catalogService, _, _ := c.client.Catalog().Service(serviceId, "", nil)
    if len(catalogService) > 0 {
        result := make([]cloud.ServiceInstance, len(catalogService))
        for index, sever := range catalogService {
            s := cloud.DefaultServiceInstance{
                InstanceId: sever.ServiceID,
                ServiceId:  sever.ServiceName,
                Host:       sever.Address,
                Port:       sever.ServicePort,
                Metadata:   sever.ServiceMeta,
            }
            result[index] = s
        }
        return result, nil
    }
    return nil, nil
}

func (c consulServiceRegistry) GetServices() ([]string, error) {
    services, _, _ := c.client.Catalog().Services(nil)
    result := make([]string, unsafe.Sizeof(services))
    index := 0
    for serviceName, _ := range services {
        result[index] = serviceName
        index++
    }
    return result, nil
}

// new a consulServiceRegistry instance
// token is optional
func NewConsulServiceRegistry(host string, port int, token string) (*consulServiceRegistry, error) {
    if len(host) < 3 {
        return nil, errors.New("check host")
    }

    if port <= 0 || port > 65535 {
        return nil, errors.New("check port, port should between 1 and 65535")
    }

    config := api.DefaultConfig()
    config.Address = host + ":" + strconv.Itoa(port)
    config.Token = token
    client, err := api.NewClient(config)
    if err != nil {
        return nil, err
    }

    return &consulServiceRegistry{client: *client}, nil
}

测试用例

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
func TestConsulServiceDiscovery(t *testing.T) {
    host := "127.0.0.1"
    port := 8500
    token := ""
    registryDiscoveryClient, err := extension.NewConsulServiceRegistry(host, port, token)
    if err != nil {
        panic(err)
    }

    t.Log(registryDiscoveryClient.GetServices())

    t.Log(registryDiscoveryClient.GetInstances("go-user-server"))
}

结果

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
consul_service_registry_test.go:57: [consul go-user-server      ] <nil>

consul_service_registry_test.go:59: [{go-user-server-1602590661-56179 go-user-server 127.0.0.1 8090 false map[user:zyn]}] <nil>

总结

通过使用 consul api 我们可以简单的实现基于 consul 的服务发现,在通过结合 http rpc 就可简单的实现服务的调用,下面一章来简单讲下 go 如何发起 http 请求,为我们做 rpc 做个铺垫

具体代码见 https://github.com/zhangyunan1994/lemon

参考

  • https://www.consul.io/api-docs
  • https://github.com/hashicorp/consul/tree/master/api
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-10-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 双鬼带单 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
2 条评论
热度
最新
牛啊
牛啊
11点赞举报
- -
- -
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
Linux服务器感染kerberods病毒 | 挖矿病毒查杀及分析
1、CPU使用率异常,top命令显示CPU统计数数据均为0,利用busybox 查看CPU占用率之后,发现CPU被大量占用。
追马
2020/07/06
3.5K0
Linux服务器感染kerberods病毒 | 挖矿病毒查杀及分析
记一次Linux被入侵,服务器变“矿机”全过程
出处:看雪社区:https://bbs.pediy.com/thread-225163.htm
帅地
2019/06/20
1.2K0
记一次Linux被入侵,服务器变“矿机”全过程
服务器被黑该如何查找入侵、攻击痕迹
当公司的网站服务器被黑,被入侵导致整个网站,以及业务系统瘫痪,给企业带来的损失无法估量,但是当发生服务器被攻击的情况,作为服务器的维护人员应当在第一时间做好安全响应,对服务器以及网站应以最快的时间恢复正常运行,让损失减少到最低,针对于黑客攻击的痕迹应该如何去查找溯源,还原服务器被攻击的现场,SINE安全公司制定了详细的服务器被黑自查方案。
网站安全专家
2019/07/24
4.2K0
服务器被黑该如何查找入侵、攻击痕迹
挖矿木马自助清理手册
挖矿木马会占用CPU进行超频运算,从而占用主机大量的CPU资源,严重影响服务器上的其他应用的正常运行。黑客为了得到更多的算力资源,一般都会对全网进行无差别扫描,同时利用SSH爆破和漏洞利用等手段攻击主机。部分挖矿木马还具备蠕虫化的特点,在主机被成功入侵之后,挖矿木马还会向内网渗透,并在被入侵的服务器上持久化驻留以获取最大收益。整体的攻击流程大致如下图所示:
purnus
2021/06/12
54K24
挖矿木马自助清理手册
[叶子]在自己的服务器上搭建自己的邮箱
这可能是我写的文章中为数不多的有全程完整截图的、不是在完工后再来回忆的文章,但并不是因为我一开始就打算写这篇教程,而是搭建邮箱这玩意我做了”双份“——先在我自己的服务器上面给我自己搭建,确认成功了、各项功能都正常了我才在 @gaoice 的服务器上面搭建,并同时边搭建边截图,之所以我写这个,是因为我在给自己的服务器搭建的时候走了太多的弯路,过程太曲折,以至于在完工之后我觉得有必要写这么一篇文章来记录这个过程。但是我并不打算在这篇文章里面详细讲我走的弯路的具体情况,这篇文章主要还是讲搭建这件事本身。
冰漪叶
2022/10/24
10.5K0
[叶子]在自己的服务器上搭建自己的邮箱
TeamTNT 样本新变种分析
一、背景 云鼎实验室近期捕获到TeamTNT黑客团伙新的容器攻击活动。挖矿病毒通过扫描docker remote api未授权访问漏洞进行传播。相比之前TeamTNT黑客团伙使用的挖矿木马,新变种对原挖矿木马进行了升级,在进行感染时使用了新的策略。 入侵后会先清理其他挖矿病毒,并使用新的方法隐藏进程,入侵完毕后会清理痕迹,覆盖系统日志以逃避排查,为增加挖矿木马植入的成功率还有备用挖矿程序,增加木马的稳定性,利用nohup命令防止挖矿进程被挂断,并且使用了LKM rootkit技术隐藏进程。 样本属于最新版
云鼎实验室
2021/10/19
1.8K0
记一次Linux服务器被入侵变矿机
0x00 背景 周一早上刚到办公室,就听到同事说有一台服务器登陆不上了,我也没放在心上,继续边吃早点,边看币价是不是又跌了。不一会运维的同事也到了,气喘吁吁的说:我们有台服务器被阿里云冻结了,理由:对外恶意发包。我放下酸菜馅的包子,ssh连了一下,被拒绝了,问了下默认的22端口被封了。让运维的同事把端口改了一下,立马连上去,顺便看了一下登录名:root,还有不足8位的小白密码,心里一凉:被黑了! 0x01 查找线索 服务器系统CentOS 6.X,部署了nginx,tomcat,redis等应用,上来先把
慕白
2018/07/06
3.2K1
腾讯云服务器安装MinIO对象存储工具
腾讯云服务器安全组策略已经操作放开了9000端口,还是无法访问的话,就需要使用ssh打开nfw防火墙(ubuntu firewall)设置,命令:ufw allow 9000
Xuxunlonely
2021/09/13
8.3K0
腾讯云服务器安装MinIO对象存储工具
【云安全最佳实践】分享云服务器遭遇SYN泛洪攻击处理方式
今天上午刚想用云服务器传输下文件,当打开finalshell连接服务器时突然发现服务器
闫同学
2022/10/22
1.2K0
【云安全最佳实践】分享云服务器遭遇SYN泛洪攻击处理方式
防止自己服务器变矿机的软件_服务器被挖矿了怎么办
周一早上刚到办公室,就听到同事说有一台服务器登陆不上了,我也没放在心上,继续边吃早点,边看币价是不是又跌了。不一会运维的同事也到了,气喘吁吁的说:我们有台服务器被阿里云冻结了,理由:对外恶意发包。我放下酸菜馅的包子,ssh连了一下,被拒绝了,问了下默认的22端口被封了。让运维的同事把端口改了一下,立马连上去,顺便看了一下登录名:root,还有不足8位的小白密码,心里一凉:被黑了!
全栈程序员站长
2022/11/10
1.8K0
防止自己服务器变矿机的软件_服务器被挖矿了怎么办
ld-linux-x86-64挖矿木马实战记录
这两年见证了公司从600人发展到1200+的过程,虽然公司在安全投入上还算慷慨,但是人员编制有严格要求,一个人的安全部只能把精力放在基础/重点工作上。其中防病毒这块也是两年前才正式部署了企业版防病毒软件,推广过程中也遇到了很多阻力及各种奇葩的安全理念(比如生产服务器我不敢装防病毒,万一瘫了怎么办;领导的电脑,防病毒还是别装吧,装了会很慢),这期间也遇到多起病毒木马事件,每次我都会借助安全事件,狠狠的推一把防病毒软件,目前为止,已经实现所有PC和Windows服务器防病毒软件的百分百覆盖。现将几起病毒木马的处理过程整理一下跟大家分享,本系列偏向于实战。
FB客服
2021/03/09
5.4K0
ld-linux-x86-64挖矿木马实战记录
服务器又被黑了,可咋办
作为资深老油条(Server Reinstall Enginner),对于这种安全问题,第一反应就是重装(没有什么是重装解决不了的,如果有,那就再装一次),因为病毒大概率是找不全,杀不干净,很容易对外留尾巴。
没有故事的陈师傅
2024/11/25
1870
服务器又被黑了,可咋办
腾讯云服务器linux 下的 work32 病毒查杀
最近发现多个云服务器新安装的centos 系统很卡,然而并未做什么。接着没过过久就收到系统提示被封禁了
用户10909539
2024/02/22
9180
腾讯云服务器linux 下的 work32 病毒查杀
Linux【问题记录 03】阿里云+腾讯云服务器挖矿木马 kthreaddk 处理记录+云服务器使用建议
有一段时间没有登录云服务器了,心里想着看看服务器有没有被木马占领,好巧不巧,阿里云和腾讯云都被占领了,更巧的是,都是 kthreaddk 进程,首先想到的是百度一下看看有没有解决办法,网上似乎只有 kthreaddi 相关的说明而且无法解决问题,之前处理过 kdevtmpfsi(H2Miner挖矿蠕虫变种)病毒所以有了一些思路。
yuanzhengme
2025/06/06
1660
基于腾讯云云服务器的rancher环境搭建
Rancher是一款开源企业级容器管理平台,提供全面、稳健的容器管理和官方支持。使用Rancher,我们可以快速轻松地运行和管理Docker和Kubernetes,构建自己的容器“牧场”。
buzzfrog
2024/01/04
9381
基于腾讯云云服务器的rancher环境搭建
服务器变矿机,老板差点把我开除了。。。
近期遇到了一次我们自建 Kubernetes 集群中某台机器被入侵挖矿的情况,后续也找到了原因,所幸只是用来挖矿……
dys
2021/11/02
1K0
Docker容器挖矿应急实例
很多开源组件封装成容器镜像进行容器化部署在提高应用部署效率和管理便捷性的同时,也带来了一些安全挑战。一旦开源系统出现安全漏洞,基于资产测绘就很容易关联到开源组件,可能导致被批量利用。
Bypass
2023/09/01
7490
Docker容器挖矿应急实例
【教你搭建服务器系列】(7)一次服务器被黑的排查全过程
发现并没有异常的IP,这倒是不奇怪,假如真的被登录了,登录日志被删除的可能性也是很大的。
HaC
2021/12/07
1.1K0
【教你搭建服务器系列】(7)一次服务器被黑的排查全过程
Redis服务器被劫持风波
作者:当年的春天 来源: http://blog.csdn.net/zhanghan18333611647/article/details/57128279 前言 俗话说安全猛于虎,之前多多
小小科
2018/05/02
1.9K0
Redis服务器被劫持风波
8. 云服务器及 Docker 教程
如果 apt-get 下载软件速度较慢,可以参考清华大学开源软件镜像站中的内容,修改软件源。
浪漫主义狗
2022/10/09
7790
推荐阅读
相关推荐
Linux服务器感染kerberods病毒 | 挖矿病毒查杀及分析
更多 >
交个朋友
加入腾讯云官网粉丝站
蹲全网底价单品 享第一手活动信息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档