- 作者：kaliarch
- 链接：https://juejin.im/post/5e02fb1f518825123b1aa341
一 概述
背景：近期k8s应用中etcd的功能存在一些困惑，对其进行来单独的学习，能更深入理解k8s中的的一些特性。
1.1 etcd简介
etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。
1.2 发展历史
1.3 etcd的特点
- 简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单
- 安全：支持SSL证书验证
- 快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作
- 可靠：采用raft算法，实现分布式系统数据的可用性和一致性
1.4 概念术语
Raft：etcd所采用的保证分布式系统强一致性的算法。
Node：一个Raft状态机实例。
Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。
Cluster：由多个Member构成可以协同工作的etcd集群。
Peer：对同一个etcd集群中另外一个Member的称呼。
Client： 向etcd集群发送HTTP请求的客户端。
WAL：预写式日志，etcd用于持久化存储的日志格式。
snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。
Proxy：etcd的一种模式，为etcd集群提供反向代理服务。
Leader：Raft算法中通过竞选而产生的处理所有数据提交的节点。
Follower：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。
Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始竞选。
Term：某个节点成为Leader到下一次竞选时间，称为一个Term。
Index：数据项编号。Raft中通过Term和Index来定位数据。
1.5 数据读写顺序
为了保证数据的强一致性，etcd集群中所有的数据流向都是一个方向，从 Leader （主节点）流向 Follower，也就是所有 Follower 的数据必须与 Leader 保持一致，如果不一致会被覆盖。
用户对于etcd集群所有节点进行读写
- 读取：由于集群所有节点数据是强一致性的，读取可以从集群中随便哪个节点进行读取数据
- 写入：etcd集群有leader，如果写入往leader写入，可以直接写入，然后然后Leader节点会把写入分发给所有Follower，如果往follower写入，然后Leader节点会把写入分发给所有Follower
1.6 leader选举
假设三个节点的集群，三个节点上均运行Timer（每个Timer持续时间是随机的），Raft算法使用随机Timer来初始化Leader选举流程，第一个节点率先完成了Timer，随后它就会向其他两个节点发送成为Leader的请求，其他节点接收到请求后会以投票回应然后第一个节点被选举为Leader。
成为Leader后，该节点会以固定时间间隔向其他节点发送通知，确保自己仍是Leader。有些情况下当Follower们收不到Leader的通知后，比如说Leader节点宕机或者失去了连接，其他节点会重复之前选举过程选举出新的Leader。
1.7 判断数据是否写入
etcd认为写入请求被Leader节点处理并分发给了多数节点后，就是一个成功的写入。那么多少节点如何判定呢，假设总结点数是N，那么多数节点 Quorum=N/2+1。关于如何确定etcd集群应该有多少个节点的问题，上图的左侧的图表给出了集群中节点总数(Instances)对应的Quorum数量，用Instances减去Quorom就是集群中容错节点（允许出故障的节点）的数量。
所以在集群中推荐的最少节点数量是3个，因为1和2个节点的容错节点数都是0，一旦有一个节点宕掉整个集群就不能正常工作了。
二 etcd架构及解析
2.1 架构图
2.2 架构解析
从 etcd 的架构图中我们可以看到，etcd 主要分为四个部分。
- HTTP Server：用于处理用户发送的 API 请求以及其它 etcd 节点的同步与心跳信息请求。
- Store：用于处理 etcd 支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。
- Raft：Raft 强一致性算法的具体实现，是 etcd 的核心。
- WAL：Write Ahead Log（预写式日志），是 etcd 的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外，etcd 就通过 WAL 进行持久化存储。WAL 中，所有的数据提交前都会事先记录日志。
- Snapshot 是为了防止数据过多而进行的状态快照；
- Entry 表示存储的具体日志内容。
通常，一个用户的请求发送过来，会经由 HTTP Server 转发给 Store 进行具体的事务处理，如果涉及到节点的修改，则交给 Raft 模块进行状态的变更、日志的记录，然后再同步给别的 etcd 节点以确认数据提交，最后进行数据的提交，再次同步。
三 应用场景
3.1 服务注册与发现
etcd可以用于服务的注册与发现
中间价已经后端服务在etcd中注册，前端和中间价可以很轻松的从etcd中发现相关服务器然后服务器之间根据调用关系相关绑定调用
后端多个无状态相同副本的app可以同事注册到etcd中，前端可以通过haproxy从etcd中获取到后端的ip和端口组，然后进行请求转发，可以用来故障转移屏蔽后端端口已经后端多组app实例。
3.2 消息发布与订阅
etcd可以充当消息中间件，生产者可以往etcd中注册topic并发送消息，消费者从etcd中订阅topic，来获取生产者发送至etcd中的消息。
3.3 负载均衡
后端多组相同的服务提供者可以经自己服务注册到etcd中，etcd并且会与注册的服务进行监控检查，服务请求这首先从etcd中获取到可用的服务提供者真正的ip:port，然后对此多组服务发送请求，etcd在其中充当了负载均衡的功能
3.4 分部署通知与协调
- 当etcd watch服务发现丢失，会通知服务检查
- 控制器向etcd发送启动服务，etcd通知服务进行相应操作
- 当服务完成work会讲状态更新至etcd，etcd对应会通知用户
3.5 分布式锁
当有多个竞争者node节点，etcd作为总控，在分布式集群中与一个节点成功分配lock
3.6 分布式队列
有对个node，etcd根据每个node来创建对应node的队列，根据不同的队列可以在etcd中找到对应的competitor
3.7 集群与监控与Leader选举
etcd可以根据raft算法在多个node节点来选举出leader
四 安装部署
4.1 单机部署
可以使用二进制或源码下载安装，但是危害需要自己写配置文件，如何要启动需要自己写服务启动文件，推荐使用yum安装方式
1 | hostnamectl set-hostname etcd-1 |
可以查看yum安装的etcd的有效配置文件，根据自己的需求来修改数据存储目录，已经监听端口url/etcd的名称等
- etcd 默认将数据存放到当前路径的
default.etcd/目录下 - 在
http://localhost:2380和集群中其他节点通信 - 在
http://localhost:2379提供 HTTP API 服务，供客户端交互 - 该节点的名称默认为
default- heartbeat 为 100ms，后面会说明这个配置的作用
- election 为 1000ms，后面会说明这个配置的作用
- snapshot count 为 10000，后面会说明这个配置的作用
- 集群和每个节点都会生成一个 uuid
- 启动的时候，会运行 raft，选举出 leader
1 | [root@VM_0_8_centos tmp]# grep -Ev "^#|^$" /etc/etcd/etcd.conf |
4.2 集群部署
集群部署最好部署奇数位，此能达到最好的集群容错
4.2.1 主机信息
| 主机名称 | 系统 | IP地址 | 部署组件 |
|---|---|---|---|
| etcd-0-8 | CentOS 7.3 | 172.16.0.8 | etcd |
| etcd-0-17 | CentOS 7.3 | 172.16.0.17 | etcd |
| etcd-0-14 | CentOS 7.3 | 172.16.0.14 | etcd |
4.2.2 host配置
在此示例用三个节点来部署etcd集群，各节点修改hosts
1 | cat >> /etc/hosts << EOF |
4.2.3 etcd安装
三个节点均安装etcd
1 | wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm |
4.2.4 etcd配置
1 | [root@etcd-0-8 app]# cat /etc/etcd/etcd.conf |
etcd-0-8配置：
1 | [root@etcd-server ~]# hostnamectl set-hostname etcd-0-8 |
etcd-0-14配置：
1 | [root@etcd-server ~]# hostnamectl set-hostname etcd-0-14 |
1 | [root@etcd-server ~]# hostnamectl set-hostname etcd-0-17 |
1 | systemctl start etcd |
4.2.5 查看集群状态
1 | [root@etcd-0-8 default.etcd]# systemctl status etcd |
- 查看端口监听(如果未在本地监听环回地址，那么在本地使用etcdctl不能正常连入进去)
1 | [root@etcd-0-8 default.etcd]# netstat -lntup |grep etcd |
1 | [root@etcd-0-8 default.etcd]# etcdctl member list |
五 简单使用
5.1 增加
指定某个键的值。例如:
1 | $ etcdctl set /testdir/testkey "Hello world" |
支持的选项包括：
1 | --ttl '0' 该键值的超时时间(单位为秒)，不配置(默认为0)则永不超时 |
如果给定的键不存在，则创建一个新的键值。例如:
1 | $ etcdctl mk /testdir/testkey "Hello world" |
当键存在的时候，执行该命令会报错，例如:
1 | $ etcdctl mk /testdir/testkey "Hello world" |
支持的选项为:
1 | --ttl '0' 超时时间(单位为秒），不配置(默认为 0)。则永不超时 |
如果给定的键目录不存在，则创建一个新的键目录。例如：
1 | $ etcdctl mkdir testdir2 |
当键目录存在的时候，执行该命令会报错，例如：
1 | $ etcdctl mkdir testdir2 |
支持的选项为：
1 | --ttl '0' 超时时间(单位为秒)，不配置(默认为0)则永不超时。 |
创建一个键目录。如果目录不存在就创建，如果目录存在更新目录TTL。
1 | $ etcdctl setdir testdir3 |
支持的选项为:
1 | --ttl '0' 超时时间(单位为秒)，不配置(默认为0)则永不超时。 |
5.2 删除
删除某个键值。例如:
1 | $ etcdctl rm /testdir/testkey |
当键不存在时，则会报错。例如:
1 | $ etcdctl rm /testdir/testkey |
支持的选项为：
1 | --dir 如果键是个空目录或者键值对则删除 |
删除一个空目录，或者键值对。
1 | $ etcdctl setdir dir1 |
若目录不空，会报错:
1 | $ etcdctl set /dir/testkey hi |
5.3 更新
当键存在时，更新值内容。例如：
1 | $ etcdctl update /testdir/testkey "Hello" |
当键不存在时，则会报错。例如:
1 | $ etcdctl update /testdir/testkey2 "Hello" |
支持的选项为:
1 | --ttl '0' 超时时间(单位为秒)，不配置(默认为 0)则永不超时。 |
更新一个已经存在的目录。
1 | $ etcdctl updatedir testdir2 |
支持的选项为:
1 | --ttl '0' 超时时间(单位为秒)，不配置(默认为0)则永不超时。 |
5.4 查询
获取指定键的值。例如：
1 | $ etcdctl get /testdir/testkey |
当键不存在时，则会报错。例如：
1 | $ etcdctl get /testdir/testkey2 |
支持的选项为:
1 | --sort 对结果进行排序 |
列出目录(默认为根目录)下的键或者子目录，默认不显示子目录中内容。
例如：
1 | $ etcdctl ls |
支持的选项包括:
1 | --sort 将输出结果排序 |
5.5 watch
监测一个键值的变化，一旦键值发生更新，就会输出最新的值并退出。
例如:用户更新testkey键值为Hello watch。
1 | $ etcdctl get /testdir/testkey |
支持的选项包括:
1 | --forever 一直监测直到用户按CTRL+C退出 |
监测一个键值的变化，一旦键值发生更新，就执行给定命令。
例如：用户更新testkey键值。
1 | $ etcdctl exec-watch testdir/testkey -- sh -c 'ls' |
支持的选项包括:
1 | --after-index '0' 在指定 index 之前一直监测 |
5.6 备份
备份etcd的数据。
1 | $ etcdctl backup --data-dir /var/lib/etcd --backup-dir /home/etcd_backup |
支持的选项包括:
1 | --data-dir etcd的数据目录 |
5.7 member
通过list、add、remove命令列出、添加、删除etcd实例到etcd集群中。
查看集群中存在的节点
1 | $ etcdctl member list |
删除集群中存在的节点
1 | $ etcdctl member remove 8e9e05c52164694d |
向集群中新加节点
1 | $ etcdctl member add etcd3 http://192.168.1.100:2380 |
示例：
1 | # 设置一个key值 |
六 总结
etcd 默认只保存 1000 个历史事件，所以不适合有大量更新操作的场景，这样会导致数据的丢失。 etcd 典型的应用场景是配置管理和服务发现，这些场景都是读多写少的。
相比于 zookeeper，etcd 使用起来要简单很多。不过要实现真正的服务发现功能，etcd 还需要和其他工具（比如 registrator、confd 等）一起使用来实现服务的自动注册和更新。
目前 etcd 还没有图形化的工具。
参考链接
- https://github.com/etcd-io/etcd
- https://www.yuque.com/lurunhao/nl81zh/hb8sie
- https://www.hi-linux.com/posts/40915.html
- Etcd Raft使用入门及原理解析
- https://github.com/aCoder2013/blog/issues/30
- https://www.infoq.cn/article/coreos-analyse-etcd/
---本文结束感谢您的阅读。微信扫描二维码，关注我的公众号---
本文作者：
Peng Yang
本文链接： https://www.yp14.cn/2020/03/30/一文入门-ETCD/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
本文链接： https://www.yp14.cn/2020/03/30/一文入门-ETCD/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
