大数据

cdh presto 插入数据 hive不能访问问题

文 / sptk 来源 / 原创 阅读 / 29 1月前

1. 环境说明

大数据CDH6.2.1 hive版本2.1.x版本 presto 0.279版本

2. 场景描述

在hive中创建orc表,使用presto分析插入数据后,hive不能访问问题

3. 问题描述

ava.sql.SQLException: java.io.IOException: java.lang.RuntimeException: ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 6 at org.apache.hive.service.cli.operation.SQLOperation.getNextRowSet(SQLOperation.java:496)

4. 解决方案

原因以及解方案请参考这个两个帖子 : https://blog.csdn.net/lixiaoksi/article/details/106855509 https://juejin.cn/post/7100754613653602340

  1. 下载重新编译的jar包 下载地址: 链接:https://pan.baidu.com/s/1MwX_yB0MOg13Z_YqCRlgyA?pwd=dmy5 提取码:dmy5
  2. 替换cdh中的3个路径下的jar包: /opt/cloudera/parcels/CDH/lib/hive/lib/hive-exec-2.1.1-cdh6.2.1.jar /opt/cloudera/parcels/CDH/jars/hive-exec-2.1.1-cdh6.2.1.jar /opt/cloudera/parcels/CDH/lib/spark/hive/hive-exec-2.1.1-cdh6.2.1.jar 注意我们替换前对原始文件做个备份 防止出现问题

  3. 重启我们的hive 再进行测试

5. 请大家 遇到问题多搜索 多测试

0

站点声明:站点主要用于个人技术文章。

冀ICP备19037883号
相关侵权、举报、投诉及建议等,请发E-mail:804330969@qq.com