kettle中有源表和目标表,两个表的表输入的查询中的表名是一个变量,如何让源表中的数据更新到目标表中?

kettle中有源表和目标表,两个表的表输入的查询中的表名是一个变量,如何让源表中的数据更新到目标表中?

问题描述:

图片说明
如上图所示(不知道有没有显示出来,转换中有两个表输入,一个叫源表,一个叫目标表,他们来自两个不同的库,查询都是 select * from ${TABLENAME} )
那么,如何让源表中的数据插入或更新到目标表中呢?
尝试过的思路(PS:不可取的思路):
1、暴力操作:执行sql脚本(清空目标表数据)--> 表输入(获取源表数据)-->表输出(将源表数据插入到目标表中) 因为表输出可以不用指定数据库字段,因此能实现需求,但太暴力,boss明确说明,这样不可取。
2、合并记录: 合并记录需要关键字段和数据字段,而我两个表输入都是用的变量的方式,因此不知道数据字段,并且每个表的主键也不一样,关键字段也不好填写。不知道有没有方式能够取到关键字段和数据字段。
3、两个表输入都指向java代码,利用java代码实现比较,然后再更新目标表(没有尝试不知道可不可行)

            以上是尝试过的方法,以失败告终。不知道有没有好的方法能够解决这个问题。
            求,急

像Kattle这种用可视化的方式来进行配置以达到数据处理的目的,基本上是需要有明确的字段列表的,
而你想要做的是一个相对通用的过程,现有的控件基本上是无法达到要求的
你的第三种思路用java代码来分析进行更新理论上是可行的,
但是有一个前提条件,你想要的结果是有则更新,无则插入
这个判断是否存在,就要求必须有条件来识别是不是存在,大多数时候我们是用主键来判定的
不同的表主键字段很可能不同,又想要做到通用,就要去动态获取主键字段
这些用java代码去做肯定能做出来的,只是会比较麻烦。
达到这个目的差不多就全是代码干的活,你用不用kattle已经关系不大了

非常感谢你的回答
主要是公司的业务需求,数据要做到伪实时迁移(定时迁移,大概四五分钟),这样的数据量上级不想用java去实现(占用系统资源)。
其实如果查表不用变量的形式,很容易实现。但工作量太大了。上百张表,每张表做一个转换。想想就够了。
现在非常纠结.........