使用环境CDH5.16.1 1.建立一个Hive管理Hbase表的外部表 下面是demo: //切换到hive用户 sudo hive create EXTERNAL table v2_mdt_grid_date_gh_cgi ( key String, cgi String, gh String, cnt_cm String, cnt_ct St…

这篇文章在：Tez-On-Hive环境搭建手札的基础上新增了安全和权证认证。 具体想看的话，下载一下吧，因为贼长就放到word文档里面吧 下载地址1:hadoop+hive+tez+kerberos安装配置(七牛云下载) 下载地址2：本地下载

应该都指定hvie默认列分隔符为：‘/001’，有时候导出ua数据，会出现乱码或者包含了默认分隔符；再或者我们需要导出数据时，想用自己指定的分隔符.... 应该可以用这个了... 把文件导出到hdfs随便的目录？ insert overwrite directory '/user/jfa5d/glj_test/pushFile' row forma…

今天就说说hive多个分隔符的问题。 多分隔符(列)这个问题，也是之前同事给我一份文件我才发现的... 这份文件上列分隔符是@#| hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|，发现输出的字段和文件不一致。 CREATE EXTERNAL TABLE IF NOT EX…

hive环境下复制整段语句时，出现 非常多Display all xxx(多少行数字) possibilities? (y or n)错误的时候. 是因为SQL语句中存在tab键导致，tab键在linux系统中是有特殊含义的。所以hive环境才会N多提示... 结论：hive环境中SQL执行语句中应避免使用tab键。SQL语句也建议先处理好格式再去…

Hive计算天数时间差，有官方封装好的datediff函数. 在Hive上输入:desc function extended datediff;即可查看此函数介绍。 OK datediff(date1, date2) - Returns the number of days between date1 and date2 date1 and dat…

感觉用多了case when 的语句，会把以下两种语法混淆。现在总结一下吧。 以下的两种方法是等效的。 方法一：Case搜索函数(我的常用) Case搜索函数 case when tb1.language = 'java' then 'java' when tb1.language = 'php' then 'php' else 'qita' en…

好了，终于说到这个。 是不是都觉得ctrl+c后退出hive窗口后就不会执行了?too young!!!!!! 在hive运行的过程中，采用 ctrl + c 的方法只是退出客户端，hive的job仍是在集群后台运行的!!!因为我就出现过一次,年轻阿程序在后台执行了一天还在跑，因为那数据有连表之后有100E左右。使用的资源也占了鸡巴多.. 想要真正…

hive在group by xx having count()是不支持去重计数的。 不信的话，你们可以试下类似的代码? SELECT IMEI,IP,FT,LT,CASE WHEN FT = LT THEN 1 ELSE 0 END IS_O_DAY FROM temp_gz23g_IP_1878910_2 b WHERE b.IP IN ( SE…

SELECT * FROM TABLE1 A LEFT OUTER JOIN TABLE2 B ON A.XX LIKE CONCAT('%' , B.YY , '%') 这个语句在oralce 或者mysql 都可以执行 可是用以上代码放到HIVE中执行，发现报错，原因是HIVE不支持非等值连接。 所以还是用最老套的办法 SELECT * FRO…

人生就是不断的挖坑;而我也不例外。 写惯了ORACLE语句的童鞋，坑爹对with as语句不陌生吧。简单的说with as 语句也可以说是子查询语句。 首先，我们先来一个栗子(例子)吧。 CREATE TABLE TABLE_A AS WITH TEMP_A AS ( SELECT TIME,IOT_ID,NAME FROM IOT_XX_A ),…

最近经常在Hive上跑oralce 语句，虽然Hive执行语句大致相同，可是也有一些大坑..比如就是空值和null判断 在oralce 判断是否为空直接可以 xxx is null / xxx is not null; 而在Hive上是这种方式是不对的。得到的结果一定是错的。 hive中空值判断基本分两种 1.NULL 与 \N(当字段为NULL时…

一、unix_timestamp函数用法 1、unix_timestamp() 得到当前时间戳 2、如果参数date满足yyyy-MM-dd HH:mm:ss形式，则可以直接unix_timestamp(string date) 得到参数对应的时间戳 3、如果参数date满足yyyy-MM-dd HH:mm:ss形式，则我们需要指定date的形式，…