hive

勇敢的做自己,如果他们不能接受最差的你,也不配拥有最好的你!

使用环境CDH5.16.1 1.建立一个Hive管理Hbase表的外部表 下面是demo: //切换到hive用户 sudo hive create EXTERNAL table v2_mdt_grid_date_gh_cgi ( key String, cgi String, gh String, cnt_...

发布 0 条评论

这篇文章在:Tez-On-Hive环境搭建手札的基础上新增了安全和权证认证。 具体想看的话,下载一下吧,因为贼长就放到word文档里面吧 下载地址1:hadoop+hive+tez+kerberos安装配置(七牛云下载) 下载地址2:本地下载

发布 0 条评论

应该都指定hvie默认列分隔符为:‘/001’,有时候导出ua数据,会出现乱码或者包含了默认分隔符;再或者我们需要导出数据时,想用自己指定的分隔符.... 应该可以用这个了... 把文件导出到hdfs随便的目录? insert overwrite directory '/...

发布 0 条评论

今天就说说hive多个分隔符的问题。 多分隔符(列)这个问题,也是之前同事给我一份文件我才发现的... 这份文件上列分隔符是@#| hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|,发现输出的字段和文件不一致。 C...

发布 0 条评论

hive环境下复制整段语句时,出现 非常多Display all xxx(多少行数字) possibilities? (y or n)错误的时候. 是因为SQL语句中存在tab键导致,tab键在linux系统中是有特殊含义的。所以hive环境才会N多提示... 结论:hive环境中SQL执行语...

发布 0 条评论

Hive计算天数时间差,有官方封装好的datediff函数. 在Hive上输入:desc function extended datediff;即可查看此函数介绍。 OK datediff(date1, date2) - Returns the number of days between date1 and date2 date1 and date2 are...

发布 0 条评论

感觉用多了case when 的语句,会把以下两种语法混淆。现在总结一下吧。 以下的两种方法是等效的。 方法一:Case搜索函数(我的常用) Case搜索函数 case when tb1.language = 'java' then 'java' when ...

发布 1 条评论

好了,终于说到这个。 是不是都觉得ctrl+c后退出hive窗口后就不会执行了?too young!!!!!! 在hive运行的过程中,采用 ctrl + c 的方法只是退出客户端,hive的job仍是在集群后台运行的!!!因为我就出现过一次,年轻阿程序在后台执行了一天...

发布 5 条评论

hive在group by xx having count()是不支持去重计数的。 不信的话,你们可以试下类似的代码? SELECT IMEI,IP,FT,LT,CASE WHEN FT = LT THEN 1 ELSE 0 END IS_O_DAY FROM temp_gz23g_IP_1878910_2 b WHE...

发布 0 条评论

SELECT * FROM TABLE1 A LEFT OUTER JOIN TABLE2 B ON A.XX LIKE CONCAT('%' , B.YY , '%') 这个语句在oralce 或者mysql 都可以执行 可是用以上代码放到HIVE中执行,发现报错,原因是HIVE不支持非等值连接。 所以还是用最老套的办法...

发布 1 条评论