Contents

1. 前言
2. 环境搭建 & 打包
3. 项目背景
4. 项目介绍
5. 工作原理
1. 5.0.1. 什么是canal?

8. AdminGuide

前言

Otter为阿里云商业化版本数据传输服务DTS开源版本。

Otter目前支持了什么

1. 单向同步， mysql/oracle互相同步

2. 双向同步，无冲突变更

3. 文件同步，本地/aranda文件

4. 双A同步，冲突检测&冲突补救

5. 数据迁移，中间表/行记录同步

导历史表还需要程序代码实现吗？还在用mysql的主从复制吗？ Otter都能为你解决。

典型的场景是账户信息表和账户交易明细表，更新账户余额后需要登记一条账户明细，并且保证在一个事务里，用户可以通过交易明细表查看交易记录，但是交易明细表的数据量是逐步递增的，用户量多的系统，几个月下来的数据超过千万了，表数据量一多就导致查询和插入变慢，而一开始就对账户明细做分表处理就难于保证强一致性事务，通过otter可以将记录同步导历史表，并且进行分表处理，用户往年的交易记录就可以查询历史表了，而原交易明细表就可以删除一个月甚至几天前的数据；

实际测试中，otter的同步速度相比于mysql的复制，约有5倍左右的性能提升，这取决于其同步算法的实现. 抛弃了强一致性，得到了性能提升。

官方安装文档

https://github.com/alibaba/otter/wiki/Manager_Quickstart

https://github.com/alibaba/otter/wiki/Node_Quickstart

演示视频：http://video.tudou.com/v/XMTc4NjU1MjM4NA==.html

环境搭建 & 打包

环境搭建：

执行：mvn clean install

导入maven项目。如果eclipse下报”Missing artifact com.oracle:ojdbc14:jar:10.2.0.3.0”，修改$otter_home/pom.xml中”${user.dir}/lib/ojdbc14-10.2.0.3.0.jar”为绝对路径，比如”d:/lib/ojdbc14-10.2.0.3.0.jar”

打包：

执行：mvn clean install -Dmaven.test.skip -Denv=release

发布包位置：$otter_home/target

项目背景

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。

otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。

目前同步规模：

同步数据量6亿

文件同步1.5TB(2000w张图片)

涉及200+个数据库实例之间的同步

80+台机器的集群规模

项目介绍

名称：otter [‘ɒtə(r)]

译意：水獭，数据搬运工

语言：纯java开发

定位：基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

工作原理

原理描述：

1. 基于Canal开源产品，获取数据库增量日志数据。什么是Canal, 请点击

2. 典型管理系统架构，manager(web管理)+node(工作节点)

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

什么是canal?

otter之前开源的一个子项目，开源链接地址：http://github.com/alibaba/canal

Introduction

See the page for introduction: Introduction.

QuickStart

See the page for quick start: QuickStart.

AdminGuide

See the page for admin deploy guide : AdminGuide

常见问题

See the page for FAQ: FAQ

版本相关:

1. 建议版本：4.2.15 (otter开源版本从内部演变而来，所以初始版本直接从4.x开始)

2. 下载发布包：download

3. maven依赖：暂无

似水年华--沉浮

数据同步利器-Otter的搭建及使用说明

前言