架构分析—LinkedIn出品的databus databus mysql

架构分析—LinkedIn出品的databus databus mysql
一、关于databusLinkedIn于2月26日开源了其低延时变化数据捕获系统Databus,该系统可以在MySQL以及Oracle数据源上捕获数据,当下LinkedIn只开源了Oracle上的连接器。Databus作为LinkedIn生态系统中的一致性保障组件,在低延时的情况下仍然具有高有效性;而其最大的特点莫过于无限制恢复k能力及丰富的数据深度处理功能。二、基于databus的数据系统架构对数据系统对功能进行了有限的分割,传统的数据库被用来作简单的数据存储,有效的保证了数据一致性(包含事务);通过毫秒级的事件转发,可以按业务需求构建索引或多个数据副本,以支撑复杂的业务需求;保证顺序的数据变化事件日志为整个数据系统提供的不限制的数据恢复能力。

三、databus系统组成

Databus Relays

1、捕获数据库行变化,在内存中打包为数据变化事件;2、监听Clients的请求,将数据变化事件发送给Client。

Databus Clients

1、检查数据变化事件,并回调业务逻辑;2、如挂掉,从databus bootstrap server读取挂掉后的所有数据变化事件;3、新的client加入,先从databus bootstrapserver读取数据,之后变为处理最近的数据变化事件;4、一个client可以处理全部的事件流,也可多个client分块处理事件流。

Databus Bootstrap Producers

1、bootstrap producer是一个特殊的client;2、从relay接收新的数据变化事件;3、把这些事件存储起来(如MYSQL);4、存储的事件用于新client的加入,或都client挂掉后的恢复。

Databus Bootstrap Servers

1、监听client的请求,把存储的事件发送给client。
项目地址:https://github.com/linkedin/databus

  

爱华网本文地址 » http://www.aihuau.com/a/25101017/355433.html

更多阅读

足彩赔率详解我怎么分析赔率的 足彩怎么分析

陪率来源于欧洲,1790年英国人奥格登最先发明了陪率。在足球波彩中,可以对比赛的胜负平各自开出不同的赔率,也可以为联赛、杯赛开出夺冠陪率,甚至可以为一场比赛的进球队员和比分开出陪率。那么如何分析陪率呢?足彩赔率详解(我怎么分析赔

怎样分析上市公司的年报 2015上市公司年报分析

一年一度的年报公告季节又到了,作为一个普通的投资者,如何快速读懂年报,全面了解和评价上市公司的财务状况、经营业绩和营运情况,并在长长的年报数据中寻找投资机会,为自己的证券投资提供全面、客观、有效的决策信息,掌握正确研读年报的

梭织工艺的分析和生产的指导 fpc生产工艺流程分析

第一章 日中纺品名编制规则方案:梭织工艺品名将用组合法表示,将主要有两部分组成,以保证其稳定性、唯一性:1、最关键并且不变的品种属性单独以简单的代码组合成为品名的第一组成部分2、其他的易变的次要的品种属性将以流水号的形

声明:《架构分析—LinkedIn出品的databus databus mysql》为网友心的距离分享!如侵犯到您的合法权益请联系我们删除