分布式服务consul介绍及C#和Consul进行分布式系统协调

分布式服务注册和发现consul 简要介绍

Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案，Consul的方案更"一站式"，内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。使用起来也较 为简单。Consul用Golang实现，因此具有天然可移植性(支持Linux、windows和Mac OS X)；安装包仅包含一个可执行文件，方便部署，与Docker等轻量级容器可无缝配合。

Consul 的使用场景

    docker 实例的注册与配置共享
    coreos 实例的注册与配置共享
    vitess 集群
    SaaS 应用的配置共享
    与 confd 服务集成，动态生成 nginx 和 haproxy 配置文件

Consul 的优势

    使用 Raft 算法来保证一致性, 比复杂的 Paxos 算法更直接. 相比较而言, zookeeper 采用的是 Paxos, 而 etcd 使用的则是 Raft.
    支持多数据中心，内外网的服务采用不同的端口进行监听。 多数据中心集群可以避免单数据中心的单点故障,而其部署则需要考虑网络延迟, 分片等情况等. zookeeper 和 etcd 均不提供多数据中心功能的支持.
    支持健康检查. etcd 不提供此功能.
    支持 http 和 dns 协议接口. zookeeper 的集成较为复杂, etcd 只支持 http 协议.
    官方提供web管理界面, etcd 无此功能.

综合比较, Consul 作为服务注册和配置管理的新星, 比较值得关注和研究.

Consul 的角色

client: 客户端, 无状态, 将 HTTP 和 DNS 接口请求转发给局域网内的服务端集群.
server: 服务端, 保存配置信息, 高可用集群, 在局域网内与本地客户端通讯, 通过广域网与其他数据中心通讯. 每个数据中心的 server 数量推荐为 3 个或是 5 个.

.NET 客户端 https://github.com/PlayFab/consuldotnet/ ，Nuget https://www.nuget.org/packages/Consul/

具体文章参考https://playfab.com/blog/2015/05/19/porting-consul-go-api-c



使用C# 和Consul进行分布式系统协调

在对分布式的应用做协调的时候，主要会碰到以下的应用场景：

    业务发现（service discovery）

找到分布式系统中存在那些可用的服务和节点

    名字服务 （name service）

通过给定的名字知道到对应的资源

    配置管理 （configuration management）

如何在分布式的节点中共享配置文件，保证一致性。

    故障发现和故障转移 （failure detection and failover）

当某一个节点出故障的时候，如何检测到并通知其它节点， 或者把想用的服务转移到其它的可用节点

    领导选举（leader election）

如何在众多的节点中选举一个领导者，来协调所有的节点

    分布式的锁 （distributed exclusive lock）

如何通过锁在分布式的服务中进行同步

    消息和通知服务 （message queue and notification）

如何在分布式的服务中传递消息，以通知的形式对事件作出主动的响应

Consul

Consul是用Go开发的分布式服务协调管理的工具，它提供了服务发现，健康检查，Key／Value存储等功能，并且支持跨数据中心的功能。consul提供的一些关键特性：

    service discovery：consul通过DNS或者HTTP接口使服务注册和服务发现变的很容易，一些外部服务，例如saas提供的也可以一样注册。
    health checking：健康检测使consul可以快速的告警在集群中的操作。和服务发现的集成，可以防止服务转发到故障的服务上面。
    key/value storage：一个用来存储动态配置的系统。提供简单的HTTP接口，可以在任何地方操作。
    multi-datacenter：无需复杂的配置，即可支持任意数量的区域。

Consul基于HTTP的API可以方便的和各种语言进行绑定，C# 语言绑定https://github.com/PlayFab/consuldotnet

Consul在Cluster上的每一个节点都运行一个Agent，这个Agent可以使用Server或者Client模式。Client负责到Server的高效通信，相对为无状态的。 Server负责包括选举领导节点，维护cluster的状态，对所有的查询做出响应，跨数据中心的通信等等。

consul官网已经有编译好的二进制包，支持各种平台：win、linux等等，下载符合你平台的软件包：在这里，下载包：0.5.2_windows_386.zip。解压完毕后只有一个consul文件。

D:\GitHub\consuldotnet\Consul.Test>consul

usage: consul [--version] [--help] []

Available commands are:

agent Runs a Consul agent

configtest Validate config file

event Fire a new event

exec Executes a command on Consul nodes

force-leave Forces a member of the cluster to enter the "left" state

info Provides debugging information for operators

join Tell Consul agent to join cluster

keygen Generates a new encryption key

keyring Manages gossip layer encryption keys

leave Gracefully leaves the Consul cluster and shuts down

lock Execute a command holding a lock

maint Controls node or service maintenance mode

members Lists the members of a Consul cluster

monitor Stream logs from a Consul agent

reload Triggers the agent to reload configuration files

version Prints the Consul version

watch Watch for changes in Consul

consul安装完毕后，agent就可以启动了，agent可以运行在server或者client模式，每个数据中心至少有一个agent运行在server模式，一般建议是3或者5个server。部署单个server是非常不好的，因为在失败场景中出现数据丢失是不可避免的。本文涵盖的是创建一个新的数据中心，所有其他的agents都运行在client模式，这是一个非常轻量级的服务注册进程，它会运行健康监测，并将查询结果转发到服务。agent必须运行在集群中的每一个节点上。

consul.exe agent -config-file test_config.json

我们先运行一个agent在server模式：

D:\GitHub\consuldotnet\Consul.Test> consul.exe agent -config-file test_config.json

==> WARNING: Bootstrap mode enabled! Do not enable unless necessary

==> WARNING: Windows is not recommended as a Consul server. Do not use in production.

==> WARNING: It is highly recommended to set GOMAXPROCS higher than 1

==> Starting Consul agent...

==> Starting Consul agent RPC...

==> Consul agent running!

Node name: 'GEFFZHANG-NB'

Datacenter: 'dc1'

Server: true (bootstrap: true)

Client Addr: 127.0.0.1 (HTTP: 8500, HTTPS: -1, DNS: 8600, RPC: 8400)

Cluster Addr: 192.168.1.4 (LAN: 8301, WAN: 8302)

Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false

Atlas:


==> Log data will now stream in as it occurs:


2015/08/09 09:14:48 [INFO] serf: EventMemberJoin: GEFFZHANG-NB 192.168.1.4

2015/08/09 09:14:48 [INFO] serf: EventMemberJoin: GEFFZHANG-NB.dc1 192.168.1.4

2015/08/09 09:14:48 [INFO] raft: Node at 192.168.1.4:8300 [Follower] entering Follower state

2015/08/09 09:14:48 [INFO] consul: adding server GEFFZHANG-NB (Addr: 192.168.1.4:8300) (DC: dc1)

2015/08/09 09:14:48 [INFO] consul: adding server GEFFZHANG-NB.dc1 (Addr: 192.168.1.4:8300) (DC: dc1)

2015/08/09 09:14:48 [ERR] agent: failed to sync remote state: No cluster leader

2015/08/09 09:14:50 [WARN] raft: Heartbeat timeout reached, starting election

2015/08/09 09:14:50 [INFO] raft: Node at 192.168.1.4:8300 [Candidate] entering Candidate state

2015/08/09 09:14:50 [DEBUG] raft: Votes needed: 1

2015/08/09 09:14:50 [DEBUG] raft: Vote granted. Tally: 1

2015/08/09 09:14:50 [INFO] raft: Election won. Tally: 1

2015/08/09 09:14:50 [INFO] raft: Node at 192.168.1.4:8300 [Leader] entering Leader state

2015/08/09 09:14:50 [INFO] consul: cluster leadership acquired

2015/08/09 09:14:50 [INFO] consul: New leader elected: GEFFZHANG-NB

2015/08/09 09:14:50 [INFO] raft: Disabling EnableSingleNode (bootstrap)

2015/08/09 09:14:50 [DEBUG] raft: Node 192.168.1.4:8300 updated peer set (2): [192.168.1.4:8300]

2015/08/09 09:14:50 [DEBUG] consul: reset tombstone GC to index 2

2015/08/09 09:14:50 [INFO] consul: member 'GEFFZHANG-NB' joined, marking health alive

2015/08/09 09:14:51 [INFO] agent: Synced service 'consul'

2015/08/09 09:16:03 [DEBUG] agent: Service 'consul' in sync

2015/08/09 09:17:30 [DEBUG] agent: Service 'consul' in sync

2015/08/09 09:18:38 [DEBUG] agent: Service 'consul' in sync

2015/08/09 09:19:47 [DEBUG] http: Request /v1/status/peers (0)

2015/08/09 09:19:52 [DEBUG] agent: Service 'consul' in sync

正如你看到的一样，consul agent已经启动了，并且打印了一些日志到终端上，从日志中可以看到我们的agent已经运行在server模式了，并且已经是整个集群的领导节点。而且，本地成员已经被标记为集群中的健康成员了。这时候你在另一个终端中运行consul members就可以看到整个集群中的成员了。这时候你只能看到你自己，因为我们的集群中还没加入其他成员。

输出已经显示了你自己的节点信息，有地址信息、健康状况、在集群中的角色、以及一些版本信息，如果要查看一些metadata，则可以加入-detailed标记

consul members命令输出的信息是基于gossip协议产生的，并且最终一致的。

 
KV基本操作

Consul提供了一个简单的K/V存储系统，这可以用来动态获取配置、进行服务协调、主节点选举，其他开发人员能想到的build过程等等。

var client = new Client();

var kv = client.KV;

var key = GenerateTestKeyName();

var value = Encoding.UTF8.GetBytes("test");

var getRequest = kv.Get(key);

Assert.IsNull(getRequest.Response);

var pair = new KVPair(key)

{

Flags = 42,

Value = value

};

var putRequest = kv.Put(pair);

Assert.IsTrue(putRequest.Response);

getRequest = kv.Get(key);

var res = getRequest.Response;

Assert.IsNotNull(res);

Assert.IsTrue(StructuralComparisons.StructuralEqualityComparer.Equals(value, res.Value));

Assert.AreEqual(pair.Flags, res.Flags);

Assert.IsTrue(getRequest.LastIndex > 0);

var del = kv.Delete(key);

Assert.IsTrue(del.Response);

getRequest = kv.Get(key);

Assert.IsNull(getRequest.Response);

服务发现（Service Discovery）和健康检查（Health Check）

Consul的另一个主要的功能是用于对分布式的服务做管理，用户可以注册一个服务，同时还提供对服务做健康检测的功能。

服务定义：一个服务可以通过提供服务定义配置文件或者通过调用HTTP API来动态的增加、删除、修改服务。

服务查询：一旦agent启动后，并且服务已经同步，我们就可以使用DNS或者HTTP API来进行查询了。

服务升级：服务定义的升级可以通过先修改服务定义配置文件，然后给agent发送一个SIGHUP信号即可，这样允许你在升级服务时，而不会产生agent宕机时间或者服务不可达。或者通过HTTP API接口来动态的增加、删除、修改服务。

Consul支持三种Check的模式：

    调用一个外部脚本（Script），在该模式下，consul定时会调用一个外部脚本，通过脚本的返回内容获得对应服务的健康状态。
    调用HTTP，在该模式下，consul定时会调用一个HTTP请求，返回2XX，则为健康；429 （Too many request）是警告。其它均为不健康
    主动上报，在该模式下，服务需要主动调用一个consul提供的HTTP PUT请求，上报健康状态。

C# API提供对应的接口

    Client.Agent.Service
    Client.Agent.Check

Consul的Health Check，通过调用脚本，HTTP或者主动上报的方式检查服务的状态，更为灵活，可以获得等多的信息，但是也需要做更多的工作。

故障检测(Failure Detection)

Consul提供Session的概念，利用Session可以检查服务是否存活。对每一个服务我们都可以创建一个session对象，注意这里我们设置了ttl，consul会以ttl的数值为间隔时间，持续的对session的存活做检查。对应的在服务中，我们需要持续的renew session，保证session是合法的。

var client = new Client();

var sessionRequest = client.Session.Create(new SessionEntry() { TTL = TimeSpan.FromSeconds(10) });

var id = sessionRequest.Response;

Assert.IsTrue(sessionRequest.RequestTime.TotalMilliseconds > 0);

Assert.IsFalse(string.IsNullOrEmpty(sessionRequest.Response));

var tokenSource = new CancellationTokenSource();

var ct = tokenSource.Token;

client.Session.RenewPeriodic(TimeSpan.FromSeconds(1), id, WriteOptions.Empty, ct);

tokenSource.CancelAfter(3000);

Task.Delay(3000, ct).Wait(ct);

var infoRequest = client.Session.Info(id);

Assert.IsTrue(infoRequest.LastIndex > 0);

Assert.IsNotNull(infoRequest.KnownLeader);

Assert.AreEqual(id, infoRequest.Response.ID);

Assert.IsTrue(client.Session.Destroy(id).Response);

这里注意，因为是基于ttl（最小10秒）的检测，从业务中断到被检测到，至少有10秒的时延，对应需要实时响应的情景，并不适用。

领导选举和分布式的锁

这篇文档介绍了如何利用Consul的KV存储来实现Leader Election,利用Consul的KV功能，可以很方便的实现领导选举和锁的功能。

WEB UI

consul同样也支持web界面，这个UI可以用来查看所有的服务和节点，所有的健康检测和它们当前的状态，读取设置K/V系统的值。UI默认自动支持多datacenter。这些UI是静态html你不需要单独运行一个web服务器，consul agent本身可以配置一个web服务。

下载UI组件：WEB UI
下载完成后是一个0.5.2_web_ui.zip压缩文件，解压后是一个dist目录。然后添加-ui-dir参数和-client参数重新启动agent。

D:\GitHub\consuldotnet\Consul.Test> consul.exe agent -config-file test_config.json -ui-dir=D:\GitHub\consuldotnet\Consul.Test\0.5.2_web_ui\dist

在浏览器中输入http://127.0.0.1:8500，即可访问UI了

有services、nodes、K/V、acl、datacenter的管理，很完善的一个系统了。

总结

Consul作为使用Go语言开发的分布式协调，对业务发现的管理提供很好的支持，他的HTTP API也能很好的和不同的语言绑定，并支持跨数据中心的应用。缺点是相对较新，适合喜欢尝试新事物的用户。