admin 管理员组

文章数量: 887021


2024年2月28日发(作者：xml文件生成)

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(21)申请号 CN2.6

(22)申请日 2021.09.30

(71)申请人 河海大学

地址 210000 江苏省南京市江宁区佛城西路8号

(72)发明人 冯钧 魏大保 陆佳民

(74)专利代理机构 32200 南京经纬专利商标代理有限公司

代理人 罗运红

(51)

G06F16/18(20190101)

G06F16/23(20190101)

G06F16/27(20190101)

(10)申请公布号 CN 114036119 A

(43)申请公布日 2022.02.11

权利要求说明书 说明书 幅图

(54)发明名称

一种基于kettle和数据库日志的数

据同步方法

(57)摘要

本发明公开了一种基于kettle和数

据库日志的数据同步方法，包括以下步骤：确定数据源与目标数据库；确定数据同步方式即全量同步和增量同步；根据同步方式执行相应的数据同步操作。其中，

全量同步包括：初始化kettle配置，清空目标数据库中的数据，获取各数据源处数据，将数据加载至目标数据库；增量同步包括：获取并解析源数据库日志文件得到数据库的详细操作序列等信息，更新同步时间戳记录表，过滤无关信息并抽取整合事务操作信息，将增量序列发送到Kafka消息中间件队列，转换数据格式并批量写入目标数据库。本发明可以指定多个数据来源，对数据进行动态更新，配置方便，更新速度较快。

法律状态

法律状态公告日

法律状态信息

2022-02-11

公开

实质审查的生效IPC(主分2022-03-01类):G06F16/18专利申请

号:2申请日:20210930

法律状态

公开

实质审查的生效

权 利 要 求 说 明 书

【一种基于kettle和数据库日志的数据同步方法】的权利说明书内容是......请下载后查看

说 明 书

【一种基于kettle和数据库日志的数据同步方法】的说明书内容是......请下载后查看


本文标签： 数据 数据库 信息 目标

版权声明：本文标题：一种基于kettle和数据库日志的数据同步方法 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1709055342h537284.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。