在开发ds过程中遇到了关于sequential file的有关问题
在开发ds过程中遇到了关于sequential file的问题
我开发的job里边最后需要生成一个sequential file文件。编译运行之后,在log里发现系统有个warning,内容如下
sequential_file: When checking operator: A sequential operator cannot preserve the partitioning
of the parallel data set on input port 0. [api/operator_rep.C:3433]
这样的警告通常是什么原因造成的?又要怎么解决?
------解决方案--------------------
由于sequencial file 不支持分区,而之前的数据已经进行了分区,因此需要在前一个stage 的preserve partitioning 设为 clear
我开发的job里边最后需要生成一个sequential file文件。编译运行之后,在log里发现系统有个warning,内容如下
sequential_file: When checking operator: A sequential operator cannot preserve the partitioning
of the parallel data set on input port 0. [api/operator_rep.C:3433]
这样的警告通常是什么原因造成的?又要怎么解决?
DSsequential file
DATASTAGE
Sequential file
warning
operator_rep.C:3433
------解决方案--------------------
由于sequencial file 不支持分区,而之前的数据已经进行了分区,因此需要在前一个stage 的preserve partitioning 设为 clear