《数据蜂巢架构演进之路》阅读笔记
大二我们便接触到了mysql数据库，而各业务系统为使用mysql的业务数据，重复开发出多套数据同步工具，一方面难以管理，另外部分工具性能也偏差。需要一个统一为mysql数据提供同步服务的平台。该平台需支持离线同步，实时订阅，实时同步三大基本功能。以下是我的阅读笔记：
一、功能整合
1、各功能如何实现？
离线同步：可理解为将根据一个sql查询出的数据同步到其它目标存储上；
实时订阅：通过实时解析mysql-binlog,将数据的变动封装成事件存于消息队列，供用户订阅消费；
实时同步：提供一些常见的订阅客户端料现，实时消费消息，将数据的变动应用于目标存储上。
二、任务细节
以下为各个Job进行分片后生成的Task内部具体实现细节
1、BatchTask
Fetcher负责抽取数据，Sinker负责写入数据，Storage为缓存层。
2、StreamTask
RelayLogTask负责拉取binlog；HHLTask负责解析Binlog,并将解析出的数据变更事件封装为易使用的消息体，最后存入hhl中。
hhl的实现借鉴了Kafka，可看作一个简易版的消息队列。消息使用protobuf序列化，压缩后顺序写入文件。同时提供了指定大小的索引块。
三、集群
使用Master-Slave结构，如下图所示：
Master这里称之为Queen；Slave这里称之为Bee。
Queen负责作业的分片，调度；Bee负责任务的具体执行（任务由作业分片后得到）。
个人总结：
i.Mysql：mysql的高可用由dba维护，但mysql主从切换后对应的位点会不同，此处通过监测serverId的变更来发现主从切换，主机切换后通过时间在新实例上查找对应位点；
ii.Queen：通过zookeeper来实现Active与StandBy的切换
iii.Bee：宕机后Queen会将该主机上运行的所有任务切换到其它机器上