您的位置: 首页  >  IT文章  >  Spark项目之电商用户行为分析大数据平台之（十）IDEA项目搭建及工具类介绍

Spark项目之电商用户行为分析大数据平台之（十）IDEA项目搭建及工具类介绍

分类: IT文章 • 2024-08-15 07:50:25

一、创建Maven项目

创建项目，名称为LogAnalysis

二、常用工具类

2.1　配置管理组建

ConfigurationManager.java

 1 import java.io.InputStream;
 2 import java.util.Properties;
 3 
 4 /**
 5  * 配置管理组件
 6  * 
 7  * 1、配置管理组件可以复杂，也可以很简单，对于简单的配置管理组件来说，只要开发一个类，可以在第一次访问它的
 8  *         时候，就从对应的properties文件中，读取配置项，并提供外界获取某个配置key对应的value的方法
 9  * 2、如果是特别复杂的配置管理组件，那么可能需要使用一些软件设计中的设计模式，比如单例模式、解释器模式
10  *         可能需要管理多个不同的properties，甚至是xml类型的配置文件
11  * 3、我们这里的话，就是开发一个简单的配置管理组件，就可以了
12  *
13  */
14 public class ConfigurationManager {
15     
16     // Properties对象使用private来修饰，就代表了其是类私有的
17     // 那么外界的代码，就不能直接通过ConfigurationManager.prop这种方式获取到Properties对象
18     // 之所以这么做，是为了避免外界的代码不小心错误的更新了Properties中某个key对应的value
19     // 从而导致整个程序的状态错误，乃至崩溃
20     private static Properties prop = new Properties();
21 
22     static {
23         try {
24             InputStream in = ConfigurationManager.class
25                     .getClassLoader().getResourceAsStream("conf.properties");
26             prop.load(in);
27         } catch (Exception e) {
28             e.printStackTrace();  
29         }
30     }
31     
32     /**
33      * 获取指定key对应的value
34      * 
35      * @param key 
36      * @return value
37      */
38     public static String getProperty(String key) {
39 
40         return prop.getProperty(key);
41     }
42     
43     /**
44      * 获取整数类型的配置项
45      * @param key
46      * @return value
47      */
48     public static Integer getInteger(String key) {
49         String value = getProperty(key);
50         try {
51             return Integer.valueOf(value);
52         } catch (Exception e) {
53             e.printStackTrace();
54         }
55         return 0;
56     }
57     
58     /**
59      * 获取布尔类型的配置项
60      * @param key
61      * @return value
62      */
63     public static Boolean getBoolean(String key) {
64         String value = getProperty(key);
65         try {
66             return Boolean.valueOf(value);
67         } catch (Exception e) {
68             e.printStackTrace();
69         }
70         return false;
71     }
72     
73     /**
74      * 获取Long类型的配置项
75      * @param key
76      * @return
77      */
78     public static Long getLong(String key) {
79         String value = getProperty(key);
80         try {
81             return Long.valueOf(value);
82         } catch (Exception e) {
83             e.printStackTrace();
84         }
85         return 0L;
86     }
View Code

2.2　常量的接口

Constants.java

 1 /**
 2  * 常量接口
 3  * @author Administrator
 4  *
 5  */
 6 public interface Constants {
 7 
 8     /**
 9      * 项目配置相关的常量
10      */
11     String JDBC_DRIVER = "jdbc.driver";
12     String JDBC_DATASOURCE_SIZE = "jdbc.datasource.size";
13     String JDBC_URL = "jdbc.url";
14     String JDBC_USER = "jdbc.user";
15     String JDBC_PASSWORD = "jdbc.password";
16     String JDBC_URL_PROD = "jdbc.url.prod";
17     String JDBC_USER_PROD = "jdbc.user.prod";
18     String JDBC_PASSWORD_PROD = "jdbc.password.prod";
19     String SPARK_LOCAL = "spark.local";
20     String SPARK_LOCAL_TASKID_SESSION = "spark.local.taskid.session";
21     String SPARK_LOCAL_TASKID_PAGE = "spark.local.taskid.page";
22     String SPARK_LOCAL_TASKID_PRODUCT = "spark.local.taskid.product";
23     String KAFKA_METADATA_BROKER_LIST = "kafka.metadata.broker.list";
24     String KAFKA_TOPICS = "kafka.topics";
25     
26     /**
27      * Spark作业相关的常量
28      */
29     String SPARK_APP_NAME_SESSION = "UserVisitSessionAnalyzeSpark";
30     String SPARK_APP_NAME_PAGE = "PageOneStepConvertRateSpark";
31     String FIELD_SESSION_ID = "sessionid";
32     String FIELD_SEARCH_KEYWORDS = "searchKeywords";
33     String FIELD_CLICK_CATEGORY_IDS = "clickCategoryIds";
34     String FIELD_AGE = "age";
35     String FIELD_PROFESSIONAL = "professional";
36     String FIELD_CITY = "city";
37     String FIELD_SEX = "sex";
38     String FIELD_VISIT_LENGTH = "visitLength";
39     String FIELD_STEP_LENGTH = "stepLength";
40     String FIELD_START_TIME = "startTime";
41     String FIELD_CLICK_COUNT = "clickCount";
42     String FIELD_ORDER_COUNT = "orderCount";
43     String FIELD_PAY_COUNT = "payCount";
44     String FIELD_CATEGORY_ID = "categoryid";
45     
46     String SESSION_COUNT = "session_count";
47     
48     String TIME_PERIOD_1s_3s = "1s_3s";
49     String TIME_PERIOD_4s_6s = "4s_6s";
50     String TIME_PERIOD_7s_9s = "7s_9s";
51     String TIME_PERIOD_10s_30s = "10s_30s";
52     String TIME_PERIOD_30s_60s = "30s_60s";
53     String TIME_PERIOD_1m_3m = "1m_3m";
54     String TIME_PERIOD_3m_10m = "3m_10m";
55     String TIME_PERIOD_10m_30m = "10m_30m";
56     String TIME_PERIOD_30m = "30m";
57     
58     String STEP_PERIOD_1_3 = "1_3";
59     String STEP_PERIOD_4_6 = "4_6";
60     String STEP_PERIOD_7_9 = "7_9";
61     String STEP_PERIOD_10_30 = "10_30";
62     String STEP_PERIOD_30_60 = "30_60";
63     String STEP_PERIOD_60 = "60";
64     
65     /**
66      * 任务相关的常量
67      */
68     String PARAM_START_DATE = "startDate";
69     String PARAM_END_DATE = "endDate";
70     String PARAM_START_AGE = "startAge";
71     String PARAM_END_AGE = "endAge";
72     String PARAM_PROFESSIONALS = "professionals";
73     String PARAM_CITIES = "cities";
74     String PARAM_SEX = "sex";
75     String PARAM_KEYWORDS = "keywords";
76     String PARAM_CATEGORY_IDS = "categoryIds";
77     String PARAM_TARGET_PAGE_FLOW = "targetPageFlow";
78     
79 }
View Code

2.3　时间日期工具类

DateUtils.java

  1 import java.text.ParseException;
  2 import java.text.SimpleDateFormat;
  3 import java.util.Calendar;
  4 import java.util.Date;
  5 
  6 /**
  7  * 时间日期工具类
  8  * */
  9 public class DateUtils {
 10 
 11     public static final SimpleDateFormat TIME_FORMAT =
 12             new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
 13     public static final SimpleDateFormat DATE_FORMAT =
 14             new SimpleDateFormat("yyyy-MM-dd");
 15     public static final SimpleDateFormat DATEKEY_FORMAT =
 16             new SimpleDateFormat("yyyyMMdd");
 17 
 18     /**
 19      * 判断第一个时间是否在第二个时间之前
 20      * */
 21     public static boolean before(String firstTime,String secondTime){
 22         try {
 23             Date first = TIME_FORMAT.parse(firstTime);
 24             Date second = TIME_FORMAT.parse(secondTime);
 25 
 26             if(first.before(second)){
 27                 return true;
 28             }
 29         } catch (ParseException e) {
 30             e.printStackTrace();
 31         }
 32         return false;
 33     }
 34 
 35     /**
 36      * 判断第一个时间是否在第二个时间之后
 37      * */
 38     public static boolean after(String firstTime,String secondTime){
 39         try {
 40             Date first = TIME_FORMAT.parse(firstTime);
 41             Date second = TIME_FORMAT.parse(secondTime);
 42 
 43             if(first.after(second)){
 44                 return true;
 45             }
 46         }catch (ParseException e){
 47             e.printStackTrace();
 48         }
 49         return false;
 50     }
 51 
 52     /**
 53      * 计算2个时间的差值(单位为秒)
 54      * */
 55     public static int minus(String firstTime,String secondTime){
 56         try {
 57             Date first = TIME_FORMAT.parse(firstTime);
 58             Date second = TIME_FORMAT.parse(secondTime);
 59             long millisecond = first.getTime() - second.getTime();
 60             return Integer.valueOf(String.valueOf(millisecond/1000));
 61         }catch (ParseException e){
 62             e.printStackTrace();
 63         }
 64         return 0;
 65     }
 66 
 67     /**
 68      * 获取年月日和小时
 69      * */
 70     public static String getDateHour(String datetime){
 71         String date = datetime.split(" ")[0];
 72         String hourMinuteSecond = datetime.split(" ")[1];
 73         String hour = hourMinuteSecond.split(":")[0];
 74         return date+"_"+hour;
 75     }
 76 
 77     /**
 78      * 获取当天的日期
 79      * */
 80     public static String getTodayDate(){
 81         return DATE_FORMAT.format(new Date());
 82     }
 83 
 84     /**
 85      * 获取昨天的日期
 86      * */
 87     public static String getYesterdayDate(){
 88         Calendar calendar = Calendar.getInstance();
 89         calendar.setTime(new Date());
 90         calendar.add(Calendar.DAY_OF_YEAR,-1);
 91 
 92         Date time = calendar.getTime();
 93         return DATE_FORMAT.format(time);
 94     }
 95 
 96     /**
 97      * 格式化日期（yyyy-MM-dd）
 98      */
 99     public static String formatDate(Date date) {
100         return DATE_FORMAT.format(date);
101     }
102 
103     /**
104      * 格式化时间（yyyy-MM-dd HH:mm:ss）
105      */
106     public static String formatTime(Date date) {
107         return TIME_FORMAT.format(date);
108     }
109 
110     /**
111      * 解析时间字符串
112      */
113     public static Date parseTime(String time) {
114         try {
115             return TIME_FORMAT.parse(time);
116         } catch (ParseException e) {
117             e.printStackTrace();
118         }
119         return null;
120     }
121 
122     /**
123      * 格式化日期key
124      */
125     public static String formatDateKey(Date date) {
126         return DATEKEY_FORMAT.format(date);
127     }
128 
129     /**
130      * 格式化日期key
131      */
132     public static Date parseDateKey(String datekey) {
133         try {
134             return DATEKEY_FORMAT.parse(datekey);
135         } catch (ParseException e) {
136             e.printStackTrace();
137         }
138         return null;
139     }
140 
141     /**
142      * 格式化时间，保留到分钟级别
143      */
144     public static String formatTimeMinute(Date date) {
145         SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMddHHmm");
146         return sdf.format(date);
147     }
148 }
View Code

2.4　数字格式化工具类

NumberUtils.java

 1 import java.math.BigDecimal;
 2 
 3 /**
 4  * 数字格式化工具类
 5  * @author Administrator
 6  *
 7  */
 8 public class NumberUtils {
 9 
10     /**
11      * 格式化小数
12      * @param num 字符串
13      * @param scale 四舍五入的位数
14      * @return 格式化小数
15      */
16     public static double formatDouble(double num, int scale) {
17         BigDecimal bd = new BigDecimal(num);  
18         return bd.setScale(scale, BigDecimal.ROUND_HALF_UP).doubleValue();
19     }
20     
21 }
View Code

2.5　参数工具类

ParamUtils.java

 1 import com.alibaba.fastjson.JSONArray;
 2 import com.alibaba.fastjson.JSONObject;
 3 import com.bw.conf.ConfigurationManager;
 4 import com.bw.constant.Constants;
 5 
 6 
 7 /**
 8  * 参数工具类
 9  * @author Administrator
10  *
11  */
12 public class ParamUtils {
13 
14     /**
15      * 从命令行参数中提取任务id
16      * @param args 命令行参数
17      * @return 任务id
18      */
19     public static Long getTaskIdFromArgs(String[] args, String taskType) {
20         boolean local = ConfigurationManager.getBoolean(Constants.SPARK_LOCAL);
21         
22         if(local) {
23             return ConfigurationManager.getLong(taskType);
24         } else {
25             try {
26                 if(args != null && args.length > 0) {
27                     return Long.valueOf(args[0]);
28                 }
29             } catch (Exception e) {
30                 e.printStackTrace();
31             }
32         }
33         
34         return null;
35     }
36     
37     /**
38      * 从JSON对象中提取参数
39      * @param jsonObject JSON对象
40      * @return 参数
41      */
42     public static String getParam(JSONObject jsonObject, String field) {
43         JSONArray jsonArray = jsonObject.getJSONArray(field);
44         if(jsonArray != null && jsonArray.size() > 0) {
45             return jsonArray.getString(0);
46         }
47         return null;
48     }
49     
50 }
View Code

2.6　字符串工具类

StringUtils.java

  1 /**
  2  * 字符串工具类
  3  * @author Administrator
  4  *
  5  */
  6 public class StringUtils {
  7 
  8     /**
  9      * 判断字符串是否为空
 10      * @param str 字符串
 11      * @return 是否为空
 12      */
 13     public static boolean isEmpty(String str) {
 14         return str == null || "".equals(str);
 15     }
 16     
 17     /**
 18      * 判断字符串是否不为空
 19      * @param str 字符串
 20      * @return 是否不为空
 21      */
 22     public static boolean isNotEmpty(String str) {
 23         return str != null && !"".equals(str);
 24     }
 25     
 26     /**
 27      * 截断字符串两侧的逗号
 28      * @param str 字符串
 29      * @return 字符串
 30      */
 31     public static String trimComma(String str) {
 32         if(str.startsWith(",")) {
 33             str = str.substring(1);
 34         }
 35         if(str.endsWith(",")) {
 36             str = str.substring(0, str.length() - 1);
 37         }
 38         return str;
 39     }
 40     
 41     /**
 42      * 补全两位数字
 43      * @param str
 44      * @return
 45      */
 46     public static String fulfuill(String str) {
 47         if(str.length() == 2) {
 48             return str;
 49         } else {
 50             return "0" + str;
 51         }
 52     }
 53     
 54     /**
 55      * 从拼接的字符串中提取字段
 56      * @param str 字符串
 57      * @param delimiter 分隔符 
 58      * @param field 字段
 59      * @return 字段值
 60      */
 61     public static String getFieldFromConcatString(String str, 
 62             String delimiter, String field) {
 63         try {
 64             String[] fields = str.split(delimiter);
 65             for(String concatField : fields) {
 66                 // searchKeywords=|clickCategoryIds=1,2,3
 67                 if(concatField.split("=").length == 2) {
 68                     String fieldName = concatField.split("=")[0];
 69                     String fieldValue = concatField.split("=")[1];
 70                     if(fieldName.equals(field)) {
 71                         return fieldValue;
 72                     }
 73                 }
 74             }
 75         } catch (Exception e) {
 76             e.printStackTrace();
 77         }
 78         return null;
 79     }
 80     
 81     /**
 82      * 从拼接的字符串中给字段设置值
 83      * @param str 字符串
 84      * @param delimiter 分隔符 
 85      * @param field 字段名
 86      * @param newFieldValue 新的field值
 87      * @return 字段值
 88      */
 89     public static String setFieldInConcatString(String str, 
 90             String delimiter, String field, String newFieldValue) {
 91         String[] fields = str.split(delimiter);
 92         
 93         for(int i = 0; i < fields.length; i++) {
 94             String fieldName = fields[i].split("=")[0];
 95             if(fieldName.equals(field)) {
 96                 String concatField = fieldName + "=" + newFieldValue;
 97                 fields[i] = concatField;
 98                 break;
 99             }
100         }
101         
102         StringBuffer buffer = new StringBuffer("");
103         for(int i = 0; i < fields.length; i++) {
104             buffer.append(fields[i]);
105             if(i < fields.length - 1) {
106                 buffer.append("|");  
107             }
108         }
109         
110         return buffer.toString();
111     }
112     
113 }
View Code

2.7　校验工具类

ValidUtils.java

  1 /**
  2  * 校验工具类
  3  * @author Administrator
  4  *
  5  */
  6 public class ValidUtils {
  7     
  8     /**
  9      * 校验数据中的指定字段，是否在指定范围内
 10      * @param data 数据
 11      * @param dataField 数据字段
 12      * @param parameter 参数
 13      * @param startParamField 起始参数字段
 14      * @param endParamField 结束参数字段
 15      * @return 校验结果
 16      */
 17     public static boolean between(String data, String dataField, 
 18             String parameter, String startParamField, String endParamField) {
 19         String startParamFieldStr = StringUtils.getFieldFromConcatString(
 20                 parameter, "\|", startParamField);
 21         String endParamFieldStr = StringUtils.getFieldFromConcatString(
 22                 parameter, "\|", endParamField); 
 23         if(startParamFieldStr == null || endParamFieldStr == null) {
 24             return true;
 25         }
 26         
 27         int startParamFieldValue = Integer.valueOf(startParamFieldStr);
 28         int endParamFieldValue = Integer.valueOf(endParamFieldStr);
 29         
 30         String dataFieldStr = StringUtils.getFieldFromConcatString(
 31                 data, "\|", dataField);
 32         if(dataFieldStr != null) {
 33             int dataFieldValue = Integer.valueOf(dataFieldStr);
 34             if(dataFieldValue >= startParamFieldValue &&
 35                     dataFieldValue <= endParamFieldValue) {
 36                 return true;
 37             } else {
 38                 return false;
 39             }
 40         }
 41         
 42         return false;
 43     }
 44     
 45     /**
 46      * 校验数据中的指定字段，是否有值与参数字段的值相同
 47      * @param data 数据
 48      * @param dataField 数据字段
 49      * @param parameter 参数
 50      * @param paramField 参数字段
 51      * @return 校验结果
 52      */
 53     public static boolean in(String data, String dataField, 
 54             String parameter, String paramField) {
 55         String paramFieldValue = StringUtils.getFieldFromConcatString(
 56                 parameter, "\|", paramField);
 57         if(paramFieldValue == null) {
 58             return true;
 59         }
 60         String[] paramFieldValueSplited = paramFieldValue.split(",");  
 61         
 62         String dataFieldValue = StringUtils.getFieldFromConcatString(
 63                 data, "\|", dataField);
 64         if(dataFieldValue != null) {
 65             String[] dataFieldValueSplited = dataFieldValue.split(",");
 66             
 67             for(String singleDataFieldValue : dataFieldValueSplited) {
 68                 for(String singleParamFieldValue : paramFieldValueSplited) {
 69                     if(singleDataFieldValue.equals(singleParamFieldValue)) {
 70                         return true;
 71                     }
 72                 }
 73             }
 74          }
 75         
 76         return false;
 77     }
 78     
 79     /**
 80      * 校验数据中的指定字段，是否在指定范围内
 81      * @param data 数据
 82      * @param dataField 数据字段
 83      * @param parameter 参数
 84      * @param paramField 参数字段
 85      * @return 校验结果
 86      */
 87     public static boolean equal(String data, String dataField, 
 88             String parameter, String paramField) {  
 89         String paramFieldValue = StringUtils.getFieldFromConcatString(
 90                 parameter, "\|", paramField);
 91         if(paramFieldValue == null) {
 92             return true;
 93         }
 94         
 95         String dataFieldValue = StringUtils.getFieldFromConcatString(
 96                 data, "\|", dataField);
 97         if(dataFieldValue != null) {
 98             if(dataFieldValue.equals(paramFieldValue)) {
 99                 return true;
100             }
101          }
102         
103         return false;
104     }
105     
106 }
View Code

相关推荐