spark-submit提交application后执行的是之前的代码,不是最新代码
问题描述:
spark-submit提交application后执行的是之前的代码,不是最新代码:
通过yarn进行提交application
spark-submit --master yarn --queue myQueue --class com.xxx.MyClass /myApp.jar
之前修改代码生成jar后,提交执行的是最新修改后的代码,但从今天开始提交后执行的是之前的历史版本代码,不是最新的代码,代码被缓存了,这个如获清除?
提交命令写成下面这样:
spark-submit --master yarn --queue myQueue --class com.xxx.MyClass /NoExist.jar
其中NoExist.jar实际并不存在,日志显示NoExist.jar不存在skipping,但还是走到MyClass中了,执行了代码逻辑,说明MyClass 一直存在,怎么才能清除掉,能够执行最新的代码?