Apache CarbonData 2.0 开发实用系列之一：与Spark SQL集成使用

【摘要】 在Spark SQL中使用CarbonData

【准备CarbonData】

在浏览器地址栏输入以下链接,点击"download"按钮下载已经准备好的CarbonData jar包

链接：https://github.com/QiangCai/carbonjars/blob/master/master/apache-carbondata-2.1.0-SNAPSHOT-bin-spark2.4.5-hadoop2.7.2.jar

或者按以下指南编译carbondata源码

  1. 下载源码

git clone https://github.com/apache/carbondata.git

  2. 编译源码

  参考：https://github.com/apache/carbondata/blob/master/build/README.md

  3. 编译完成后可以在如下目录找到CarbonData包

./assembly/target/scala-2.1x/apache-carbondata*.jar

【准备Spark】

  1. 下载spark 2.4.5

  下载页面：https://spark.apache.org/downloads.html

  2. 本地启动spark-sql

./bin/spark-sql 
--conf spark.sql.extensions=org.apache.spark.sql.CarbonExtensions 
--jars <CarbonData jar 包路径>

【使用CarbonData】

  1. 创建database 

CREATE DATABASE carbondb location '<指定的database目录>';

  2. 设置为当前database

USE carbondb;

  3. 创建CarbonData表（使用TPC-H lineitem表举例）

  创建lineitem在线商品信息表，在OPTIONS中sort_scope使用global_sort,并将sort_columns设置l_shipdate

  更多相关资料参考：https://github.com/apache/carbondata/blob/master/docs/ddl-of-carbondata.md

CREATE TABLE IF NOT EXISTS lineitem(
  l_orderkey INT,
  l_partkey INT ,
  l_suppkey STRING,
  l_linenumber INT,
  l_quantity DOUBLE,
  l_extendedprice DOUBLE,
  l_discount DOUBLE,
  l_tax DOUBLE,
  l_returnflag STRING,
  l_linestatus STRING,
  l_shipdate DATE,
  l_commitdate DATE,
  l_receiptdate DATE,
  l_shipinstruct STRING,
  l_shipmode STRING,
  l_comment STRING) 
USING carbondata
OPTIONS('sort_scope'='global_sort', 'sort_columns'='l_shipdate');

  4. 入库数据

  支持直接入库TPC-H dbgen生成的CSV格式的数据文件lineitem.tbl

  或者直接使用本文附件中的lineitem.txt文件，包含了1000条样例数据；

  入库期间将使用表属性sort_scope和sort_columns的信息对输入数据进行排序处理。

  更多相关资料参考：https://github.com/apache/carbondata/blob/master/docs/dml-of-carbondata.md

LOAD DATA INPATH 'lineitem.tbl/txt文件路径' INTO TABLE lineitem OPTIONS('delimiter'='|', 'header'='false');

  5. 查询

  TPC-H的query1语句查询指定发货日期之前的定价汇总报告；语句中含有l_shipdate的过滤操作，由于入库时已按该列对数据进行排序，因此查询时在driver侧通过索引能精确定位出含有过滤条件的数据块，减少了扫描的数据块数量。

  另外，carbondata列式存储格式支持push down projection，仅需要扫描语句中使用了的列数据；同时又支持push down filter, 仅需要扫描符合过滤条件的列数据，进一步减少扫描的数据量。

SELECT 
  l_returnflag,
  l_linestatus,
  sum(l_quantity) AS sum_qty,
  sum(l_extendedprice) AS sum_base_price,
  sum(l_extendedprice*(1-l_discount)) AS sum_disc_price,
  sum(l_extendedprice*(1-l_discount)*(1+l_tax)) AS sum_charge,
  avg(l_quantity) AS avg_qty,
  avg(l_extendedprice) AS avg_price,
  avg(l_discount) AS avg_disc,
  count(*) AS count_order
FROM lineitem
WHERE l_shipdate <= date('1993-09-02')
GROUP BY l_returnflag, l_linestatus
ORDER BY l_returnflag, l_linestatus;

  

 lineitem.txt

点击这里，了解更多精彩内容