请问ETL高手,ETL工具,数据转换的中间数据该用什么方式存储,有什么比较成熟或优化的方案

请教ETL高手,ETL工具,数据转换的中间数据该用什么方式存储,有什么比较成熟或优化的方案?
请教ETL高手,ETL工具,数据转换的中间数据该用什么方式存储,有什么比较成熟或优化的方案?

公司正在研发一个内部使用的ETL工具,现在一个很大的问题,就是中间数据结果的存储和处理问题,如做大数据量的 排序,或比较,该使用什么样的处理方式来存储中间数据结果?

以下存储方式有什么优缺点:

a,在指定存储区,临时文件存储

b,临时数据库

c,小量数据的转换的 内存

请大家一起讨论!

------解决方案--------------------
回楼上,以下是我的个人意见:
如果你的源和目标都是同一个类型的数据库,你这种思路是可行的并且效率是很高的,但注意这个临时表最好不要用物理存在的表,比如若为oracle数据库的话最好使用create temporary table显示声明中间表是临时表(设为会话或事务);
如果在目标数据库可以建立源库的dblink视图,可以将你的工具定义好的转换映射过程全部转化为底层sql脚本,直接放到目标库中执行即可。
若数据源类型繁多,则使用内存来逐行处理比较可行。