25 友盟项目--sqoop从hive导出数据到mysql
sqoop导出数据到mysql
需要启动yarn start-yarn.sh
sqoop导出hive统计数据到mysql
----------------------------
1.复制mysql驱动程序到sqoop/lib下
----------------------------
1.复制mysql驱动程序到sqoop/lib下
2.在mysql中创建表
create table stat_act_day(
day varchar(50),
appid varchar(50),
appplatform varchar(50),
brand varchar(50),
devicestyle varchar(50),
ostype varchar(50),
appversion varchar(50),
cnt int) ;
create table stat_act_day(
day varchar(50),
appid varchar(50),
appplatform varchar(50),
brand varchar(50),
devicestyle varchar(50),
ostype varchar(50),
appversion varchar(50),
cnt int) ;
查看hive的字段
2.导出命令
sqoop-export --driver com.mysql.jdbc.Driver --connect jdbc:mysql://192.168.231.1:3306/big12 --username root --password root --columns day,appid,appplatform,brand,devicestyle,ostype,appversion,cnt --table stat_act_day --export-dir /user/hive/warehouse/big12_umeng.db/stat_act_day -m 3
详解
sqoop-export
sqoop-export
--driver com.mysql.jdbc.Driver //驱动
--connect jdbc:mysql://192.168.231.1:3306/big12_umeng //数据库链接
--username root --password root //数据库名 密码
--columns day,appid,appplatform,brand,devicestyle,ostype,appversion,cnt // 导出hive表哪些列
--table stat_act_day //导到哪张表
--export-dir /user/hive/warehouse/big12_umeng.db/stat_act_day //从哪里导出，导出目录（hive表在hdfs上的目录）
-m 3 //并行导出 map数为3