环境要求: 相关环境完善例,如:hive prosto集群, 还有你的presto的hive以及mysql的连接器配置完成
脚本用于从hive导出到mysql, 脚本名字 hive-to-mysql.sql
-- 创建mysql中的表
-- tb_grouping表结构 请查看 http://www.suntao.site/blog/detail/grouping-sets-ce-shi-shu-ju.html/
drop table mysql.test.tb_grouping; -- 删除测试表
create table mysql.test.tb_grouping -- 创建测试表
(
dt varchar, -- varchar 对应的是hive中的string 对应的mysql中的是longText
brand varchar,
city varchar,
sales_sum int,
order_num int,
group_type varchar
);
-- 将数据从hive中导入到mysql中
insert into mysql.test.tb_grouping
select dt ,
brand,
city,
sales_sum,
order_num,
group_type
from hive.test.tb_grouping;这里仅仅是一个简单的使用实例 实际开发我们一般写的是shell的调度脚本,配置调度工具oozie DolphinScheduler airflow 等调度工具完成任务调度
# presto是指的presto-cli客户端
# --server 指定你的presto服务地址
# -f 指定presto sql脚本
# --execute 可以指定执行的presto sql命令
/export/server/presto/presto --server http://node1:8090 -f /test/data/hive-to-mysql.sql0