【Spark】SparkStreaming-如何使用checkpoint

相关推荐

• Spark性能优化：资源调优篇       在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如何设置合适的参数值。 1、Spark作业基本运行原理 2、资源参数调优 3、资源参数参考示例
• Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志
• spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以spark2.2.0源码包为例）（图文详解） 使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码（博主强烈推荐） 如何在IDEA里给大数据项目导入该项目的相关源码（博主推荐）（图文详解）
• Spark Mllib里如何对决策树二元分类和决策树多元分类的分类数目numClasses控制（图文详解） Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第17章 决策树多元分类UCI Covertype数据集
• Spark Mllib里使用贝氏二元分类时如何将数值特征字段用StandardScaler进行标准化（图文详解） Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第16章 朴素贝叶斯二元分类算法来预测分类StumbleUpon数据集
• SPARK如何使用AKKA实现进程、节点通信
• Spark Mllib里如何将预测结果如0或1，转换为文字描述来显示预测结果输出（图文详解） Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
• Spark Mllib里如何将trainDara训练数据的分类特征字段转换为数值字段（图文详解） Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
• Spark Mllib里如何将trainDara训练数据文件里提取第M到第N字段（图文详解） Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
• Spark Mllib里如何删除每一条数据中所有的双引号“”（图文详解） Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
• 【设计模式】单例模式-为什么是静态变量
• 【Java】Java-ShutDownHook-优雅关闭系统资源