大数据知识普及 2015年提出基于在线实时和离线计算的云计算在线直播系统 1.什么是大数据 2.大数据的组件运用 Flume+Kafka+Spark Streaming实现大数据实时流式数据采集 阿里的odps-maxCompute 3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

ArcSoft介绍:你们没听过这家公司,但是你们肯定用过他的服务。(三星、小米、vivo  oppo   还有最著名的苹果第一个提出人脸识别 face id  只要用到手机摄像头、需要美颜的都有他的存在)

1.什么是大数据

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

2.大数据的组件运用

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

需求点:基于在线实时和离线计算的云计算在线直播系统

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

目前主流技术:

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

阿里提供服务插件:

阿里的odps-maxCompute

1.实时nosql比较

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

Hbase :  https://www.cnblogs.com/jay-wu/p/12559467.html

2.new sql  =>tidb数据库

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

3.大数据一般企业用在哪些业务上?

pay 简单日志数据分析 ELK 统计:支付国家、地区、币种、百分比

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

同盾risk风控(国内标杆):按用户统计行为,一个月交易次数、交易国家、命中策略,打分策略,决策树(打篮球=》温度、湿度、天气=》决定你今天是否打球因子)

VISA CyberSource系统(国际标杆):支付次数、黑名单、device id、购物国家、国籍、地址、merchantId、打分策略

jollchic大数据: 标签、推送类型、行为特征

数梦工场、袋鼠云:FlinkX、数据抽取(Msql、Oracle、Hbase、txt)、聚合。给BI提供可视化界面 

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

大数据知识普及
2015年提出基于在线实时和离线计算的云计算在线直播系统
1.什么是大数据
2.大数据的组件运用
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里的odps-maxCompute
3.大数据一般企业用在哪些业务上?

--下期阿里集成组件nacos 、阿里Spring Cloud Alibaba框架 、以及蚂蚁金服 sofa框架