hive

记录成长、记录坎坷、记录生活,最后成为记忆。

使用环境CDH5.16.1 1.建立一个Hive管理Hbase表的外部表 下面是demo: //切换到hive用户 sudo hive create EXTERNAL table v2_mdt_grid_date_gh_cgi ( key String, cgi String, gh String, cnt_...

发布 0 条评论

这篇文章在:Tez-On-Hive环境搭建手札的基础上新增了安全和权证认证。 具体想看的话,下载一下吧,因为贼长就放到word文档里面吧 下载地址1:hadoop+hive+tez+kerberos安装配置(七牛云下载) 下载地址2:本地下载

发布 0 条评论

应该都指定hvie默认列分隔符为:‘/001’,有时候导出ua数据,会出现乱码或者包含了默认分隔符;再或者我们需要导出数据时,想用自己指定的分隔符.... 应该可以用这个了... 把文件导出到hdfs随便的目录? insert overwrite directory '/...

发布 0 条评论

今天就说说hive多个分隔符的问题。 多分隔符(列)这个问题,也是之前同事给我一份文件我才发现的... 这份文件上列分隔符是@#| hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|,发现输出的字段和文件不一致。 C...

发布 0 条评论

hive环境下复制整段语句时,出现 非常多Display all xxx(多少行数字) possibilities? (y or n)错误的时候. 是因为SQL语句中存在tab键导致,tab键在linux系统中是有特殊含义的。所以hive环境才会N多提示... 结论:hive环境中SQL执行语...

发布 0 条评论

Hive计算天数时间差,有官方封装好的datediff函数. 在Hive上输入:desc function extended datediff;即可查看此函数介绍。 OK datediff(date1, date2) - Returns the number of days between date1 and date2 date1 and date2 are...

发布 0 条评论

感觉用多了case when 的语句,会把以下两种语法混淆。现在总结一下吧。 以下的两种方法是等效的。 方法一:Case搜索函数(我的常用) Case搜索函数 case when tb1.language = 'java' then 'java' when ...

发布 1 条评论

好了,终于说到这个。 是不是都觉得ctrl+c后退出hive窗口后就不会执行了?too young!!!!!! 在hive运行的过程中,采用 ctrl + c 的方法只是退出客户端,hive的job仍是在集群后台运行的!!!因为我就出现过一次,年轻阿程序在后台执行了一天...

发布 5 条评论

hive在group by xx having count()是不支持去重计数的。 不信的话,你们可以试下类似的代码? SELECT IMEI,IP,FT,LT,CASE WHEN FT = LT THEN 1 ELSE 0 END IS_O_DAY FROM temp_gz23g_IP_1878910_2 b WHE...

发布 0 条评论

SELECT * FROM TABLE1 A LEFT OUTER JOIN TABLE2 B ON A.XX LIKE CONCAT('%' , B.YY , '%') 这个语句在oralce 或者mysql 都可以执行 可是用以上代码放到HIVE中执行,发现报错,原因是HIVE不支持非等值连接。 所以还是用最老套的办法...

发布 1 条评论

人生就是不断的挖坑;而我也不例外。 写惯了ORACLE语句的童鞋,坑爹对with as语句不陌生吧。简单的说with as 语句也可以说是子查询语句。 首先,我们先来一个栗子(例子)吧。 CREATE TABLE TABLE_A AS ...

发布 1 条评论

最近经常在Hive上跑oralce 语句,虽然Hive执行语句大致相同,可是也有一些大坑..比如就是空值和null判断 在oralce 判断是否为空直接可以 xxx is null / xxx is not null; 而在Hive上是这种方式是不对的。得到的结果一定是错的。 hive...

发布 0 条评论

一、unix_timestamp函数用法 1、unix_timestamp() 得到当前时间戳 2、如果参数date满足yyyy-MM-dd HH:mm:ss形式,则可以直接unix_timestamp(string date) 得到参数对应的时间戳 3、如果参数date满足yyyy-MM-dd HH:mm:ss形式,则我们...

发布 0 条评论