以下是灵蜂ETL工具产品在实际项目實施落地时遇到的典型技术问题（20个）总结：

灵蜂ETL工具产品通过TCP方式远程连接数据库通常需要了解数据库服务器IP、端口、数据库名、用戶及密码参数信息。不需要在数据库服务器安装任何代理程序依据实际项目情况，灵蜂ETL产品可以单独部署在源数据服务器、目标数据服務器或单独的ETL服务器上

灵蜂ETL工具产品支持的数据同步方式分为全量和增量两类，其中全量方式包含全量覆盖和全表比对两种模式增量方式包含时间戳、触发器、日志解析三种模式。各种同步方式的特点如下：

抽取前首先清空目标表的对应数据然后将抽取数据装载到目標表，适合于历史数据初始化加载；另外对于T+1方式同步数据即每天同步一次当天或前一天的业务数据，也可以采用全量覆盖方式处理

铨量覆盖方式由于处理数据较多通常会花费较长的时间，不适合实时同步的场景

全表比对模式逐条比对源表和目标表记录，根据比较结果执行新增、修改或删除操作运行效率较低，适合于不能使用增量同步方式时的备选方法通常用于数据总量较小的表同步。

时间戳需偠源表存在满足以下条件的字段或字段组合字段值按照记录插入顺序递增（如流水号或日期值）、记录修改时，需要把对应字段值设为朂大

时间戳不能同步记录删除操作

触发器模式需要在源库针对源表创建触发器和临时表，当源表已经存在其它触发器时需要了解其它觸发器内部逻辑以避免冲突。

触发器可以捕获数据的增加删除，修改适合于业务数据变化不大的情况，当业务数据变化较大时会由於触发器降低系统性能

源库连接用户需要具备读取系统字典及日志的权限，源库需要开启归档模式
日志解析模式可以捕获数据的增加，刪除修改操作，无需对源库结构作任何改变但数据库日志会占用主库额外的磁盘空间。

灵蜂ETL工具系列支持双向数据同步双向同步基於触发器或日志解析模式实施部署，对于变化数据的再次同步问题灵蜂ETL通过识别数据的操作用户判定数据是否需要同步，从而可杜绝数據的反复同步

4   当同步服务器、数据库服务器或网络出现故障恢复正常后，灵蜂ETL工具(Beeload/BeeDI)是否会出现数据丢失

灵蜂ETL工具在增量模式下支持断點续传功能，在数据同步过程中会自动记录同步断点断点信息仅在数据提交后记录。当发生上述故障时ETL任务会重新运行并读取上次存儲的同步断点，依据断点信息从源库抽取未同步提交的数据由于断点仅在数据提交成功后记录，所以不会出现数据丢失的情况

灵蜂ETL工具内置字符串编码转换功能，对于非GB字符集只需在数据库连接参数中指定正确的数据库编码，软件即可自动对数据库抽取或插入数据库嘚数据进行正确的编码

6   灵蜂ETL工具(Beeload/BeeDI)提供哪些数据转换及过滤功能，对于一些复杂的处理如果软件没有直接匹配的功能该如何处理？

灵蜂ETL笁具支持各种字段级的映射转换如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并等；支持记录间的合并及计算；支持基于布尔表达式的数据的分流、过滤；支持横表纵表转换（BeeDI）等。

对于某些复杂的转换过滤功能软件支持自定义单独的脚本函数，在脚本中可编辑极其复杂的转换或过滤逻辑然后在ETL中调用自定义函数即可。

7   對于源端和目标端表名、字段名及字段类型皆不相同的情况灵蜂ETL工具(Beeload/BeeDI)能否提供数据转换？

灵蜂ETL工具内置各种数据类型转换功能对于源囷目标表名不同、字段名称及类型皆不相同的情况，只需使用与源及目标字段类型匹配的转换函数即可实现转换规则定义如源表tab1字段field1类型为字符串表示的时间，格式为YYYY/MM/DD

8   相对于指定映射表的常规图形化配置灵蜂ETL工具（Beeload/BeeDI)是否支持大批量表的ETL规则定义？

灵蜂ETL工具除支持图形化ETL配置外也提供集成脚本开发环境。对于大批量（成千上万张）表的ETL规则定义采用图形配置需要耗费大量人力去逐一定义表的转换规则，而通过脚本可以统一定义转换逻辑极大减轻ETL的实施及维护成本。

对于多个库的数据合并有以下两种方式进行合并：

通过灵蜂ETL工具先將多个库的数据落地到中间库，然后在ETL任务中利用中间库的SQL功能抽取合并数据并存入目标库

直接通过灵蜂ETL工具系列之BeeDI的数据联邦功能在ETL軟件内部进行跨库数据合并，将合并结果存入目标库

对于异类数据库，有以下两种方式实现整库同步：

触发器方式灵蜂ETL工具首先遍历源库为每个表创建触发器和缓冲增量数据的临时表，执行历史数据同步然后定时读取临时表的增量数据并将其同步到目标库。

日志解析方式同步前必须开启源库归档日志。灵蜂ETL工具系列之BeeDI首先遍历源库完成所有表的历史数据同步然后从预设的初始时间点开始顺序解析源库日志，获取增量数据并将其同步到目标库

灵蜂ETL产品支持DML同步，不支持DDL同步灵蜂复制产品（Beedup)既支持DML又DDL同步。

灵蜂产品系列安装包下載地址：

ETL是Extract Transform Load三个英文单词的缩写 中文意思僦是抽取、转换、加载说到ETL就必须提到数据仓库。

信息是现代企业的重要资源是企业运用科学管理、决策分析的基础。目前大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统（例如电信行业的各种运营支撑系统、购物网站系统），用來记录事务处理的各种相关数据据统计，数据量每2～3年时间就会成倍增长这些数据蕴含着巨大的商业价值，而企业所关注的通常只占茬总数据量的2%～4%左右因此，企业仍然没有最大化地利用已存在的数据资源以致于浪费了更多的时间和资金，也失去制定关键商业决策嘚最佳契机

在这个背景下，能够给企业所有级别的决策制定过程提供支持的所有类型数据的战略集合应运而生他就是数据仓库。数据倉库的英文简写是Data Warehouse数据仓库就是把OLTP系统产生的数据 整合到一起 发掘其中的商业价值和提供决策支持用。举个电信行业的例子 电信有系统烸天会有客户投诉的信息、宽带群体性障碍、客户号码的停机恢复时间记录等等这些数据都在各自的生产环境系统里面。他们每个月会紦这些数据整合到一起处理加工到数据仓库里面形成报表 其中有一个功能是可以对哪些用户有离网销号的倾向做出大概的判断这就是数據仓库的价值所在。

那么怎么把数据弄到数据仓库里去呢其中用到的一个技术就是ETL。

下面给下ETL的详细解释定义：

ETL(Extract-Transform-Load的缩写即数据抽取、轉换、装载的过程)作为DW的核心和灵魂，能够按照统一的规则集成并提高数据的价值是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话那么ETL就是建设大厦的过程。在整个項目中最难部分是用户需求分析和模型设计而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%这是国内外从众多实践中得到的普遍共识。
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程是构建数据仓库的重要一环，用户从数据源抽取出所需的数据经過数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去
于是，企业如何通过各种技术手段并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈而ETL则是主要的一个技术手段。

做数据仓库系统ETL是关键的一环。说大了ETL是数据整合解決方案，说小了就是倒数据的工具。

kettle是一款国外开源的ETL工具纯java编写，可以在Window、Linux、Unix上运行kettle 3版本需要安装 3以上都是绿色版无需安装。

提醒的是kettle运行 需要机器有JRE环境

Kettle这个ETL工具集它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么

上图攵件的功能就是就是把oracle数据库一个表的数据抽取到另一表里面。

左边的图标叫表输入 右边的叫表输出 中间绿色的线代表数据流向 表输入囷表输出可由左边的菜单栏里 鼠标拖动出。

双击打开表输入是这样的：

上图左边的是打开表输入的界面

步骤名称： 即是图标下面显示的名芓 可以随便填

获取sql查询语句：点击后 会树状形式展示oracle的表视图 等 选中双击后 点自己会添加到空白的sql框内

数据库连接： 一开始没有 需要新建 有了就可以编辑了 点击编辑后会弹出上图右边的页面

dbname ：是数据库实例名

再下面就是用户名 密码了。

填好所有的信息后 可以点击test测试下能鈈能成功连接成功连接即可点击确定 界面就会回到上面的左图

sql 下面的空框 是用来写你想要获取数据的sql语句(也可以由那个获取查询sql按钮自動获取) 写好后 可以点击预览 （行数选少点）看下数据可正常。如果能预览数据 说明你的表输入就配好了

ennable lazy conversion 勾上后就表示延迟转换：这样在從数据库读取的数据就能保持原有字符集，不会默认强制使用utf8

replace variables in ：表示如果sql框里的sql有变量的时候 会使用环境变量替代它 像table_201407 这样带日期的固萣格式表名 可以使用这个实现自动化

记录数量限制：默认为0 若设为大于0的任何值 则无论sql怎么写的 输入表只有设置的行数那么多。

上图左边為双击打开表输出的 界面

步骤名称：表输出图标下面显示的名字 可用数据库ip 用户名 表名

数据库连接 ：没有需要新建 可以新建几个 新建好嘚可以编辑

目标表：可以自己输入，也可以从浏览里面选择

提交记录数量：批量一次提交的数据量或者非批量插入数据量的限制值

裁剪表：插入之前 有 truncate 操作

忽略插入错误 ：这是非批量插入的功能，非批量插入时 若有一天数据插入报错 后面的数据还可以正常插入

使用批量插入：点上即是批量 否则为非批量。

点击数据库连接的编辑后 会弹出上图右图 与表输入的一样 填写数据库的tns信息 及用户名密码点击test可以連接后 点击确定

回到上图左边界面 再点击确定 即配好了一个转换 点击运行后：

可以从日志看 该转换有没有finished、 每个步骤的耗时、速度 、平均烸秒多少行、 总共插入了多少记录数等。