HBASE导出数据到本地服务器 1.连接hbase hbase shell 2.查看Hbase中的表 list 3.获取hbase表的数据 扫描1条数据 scan 'PM_NR_SA_NRCELLDU_HOUR',{LIMIT=>1} 范围查询 scan 'PM_NR_SA_NRCELLDU_HOUR',{LIMIT=>1,STARTR…
使用环境CDH5.16.1 1.建立一个Hive管理Hbase表的外部表 下面是demo: //切换到hive用户 sudo hive create EXTERNAL table v2_mdt_grid_date_gh_cgi ( key String, cgi String, gh String, cnt_cm String, cnt_ct St…
这篇文章在：Tez-On-Hive环境搭建手札的基础上新增了安全和权证认证。 具体想看的话，下载一下吧，因为贼长就放到word文档里面吧 下载地址1:hadoop+hive+tez+kerberos安装配置(七牛云下载) 下载地址2：本地下载
今天就说说hive多个分隔符的问题。 多分隔符(列)这个问题，也是之前同事给我一份文件我才发现的... 这份文件上列分隔符是@#| hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|，发现输出的字段和文件不一致。 CREATE EXTERNAL TABLE IF NOT EX…
hive环境下复制整段语句时，出现 非常多Display all xxx(多少行数字) possibilities? (y or n)错误的时候. 是因为SQL语句中存在tab键导致，tab键在linux系统中是有特殊含义的。所以hive环境才会N多提示... 结论：hive环境中SQL执行语句中应避免使用tab键。SQL语句也建议先处理好格式再去…
如果使用过sqoop工具，把关系型数据库(ORACLE/Mysql)的数据导入到hdfs时，应该也会出现一些问题..如果还不知道的话，可以先到https://199604.com/1102( sqoop的简单用法)，我这篇文章简单入门。 最近，出现最多的问题，应该是报这个错--> ERROR tool.ImportTool: Error du…
emmmmm，为了阐述写这次文章的理由是什么的话?那可能就是最近我那么分析大佬们，天天要我导数据，oracle<---->hive/hdfs，贼浪费我时间!然后哪位拆一代的卢胖子，想教会他自己导，居然不学、不看、不动...这里强烈的谴责! 好了不BB...下面应该是我自己笔记，内容有错的话，自己去看书-->Hadoop大数据挖掘从…
emmm怎么说好呢,感觉-getmerge是真的好用 使用方法：hadoop fs -getmerge <src> <localdst> [addnl] 说白了就是：hadoop fs -getmerge hdsf目录 linux目录 例子:hadoop fs -getmerge /user/jfa5d/glj_test/p…
fs最常用命令 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path //删除HDFS上的文件 bin/hadoop fs -rmr hdfs_path //删除H…