spark-sumbit返回状态为0的有关问题
spark-sumbit返回状态为0的问题
spark是一个实时的分布式计算引擎,在大叔据领域属于后起之秀,表现非凡,但是spark在使用的过程中也存在不少问题,这里主要说一下spark-sumbit的问题。
spark-sumbit是spark提交任务的一个脚本,这个脚本提交的任务可能失败也可能成功,但是spark-sumbit这个脚本总是执行成功的,也就是说我们不能根据spark-sumbit 来判断我们提交的任务是否成功了,这是个比较大的问题,官方描述如下:
https://issues.apache.org/jira/browse/SPARK-2167
spark-submit script and Java class should exit with 0 for success and non-zero with failure so that other command line tools and workflow managers (like oozie) can properly tell if the spark app succeeded or failed.
目前这个问题在新发布的spark1.1.1中已经解决具体解决的代码参考一下链接:
https://github.com/apache/spark/pull/1788/files