hadoop

勇敢的做自己,如果他们不能接受最差的你,也不配拥有最好的你!

这篇文章在:Tez-On-Hive环境搭建手札的基础上新增了安全和权证认证。 具体想看的话,下载一下吧,因为贼长就放到word文档里面吧 下载地址1:hadoop+hive+tez+kerberos安装配置(七牛云下载) 下载地址2:本地下载

发布 0 条评论

今天就说说hive多个分隔符的问题。 多分隔符(列)这个问题,也是之前同事给我一份文件我才发现的... 这份文件上列分隔符是@#| hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|,发现输出的字段和文件不一致。 C...

发布 0 条评论

hive环境下复制整段语句时,出现 非常多Display all xxx(多少行数字) possibilities? (y or n)错误的时候. 是因为SQL语句中存在tab键导致,tab键在linux系统中是有特殊含义的。所以hive环境才会N多提示... 结论:hive环境中SQL执行语...

发布 0 条评论

如果使用过sqoop工具,把关系型数据库(ORACLE/Mysql)的数据导入到hdfs时,应该也会出现一些问题..如果还不知道的话,可以先到http://199604.com/1102( sqoop的简单用法),我这篇文章简单入门。 最近,出现最多的问题,应该是报这个错...

发布 0 条评论

emmmmm,为了阐述写这次文章的理由是什么的话?那可能就是最近我那么分析大佬们,天天要我导数据,oracle<---->hive/hdfs,贼浪费我时间!然后哪位拆一代的卢胖子,想教会他自己导,居然不学、不看、不动...这里强烈的谴责! 好了...

发布 1 条评论

emmm怎么说好呢,感觉-getmerge是真的好用 使用方法:hadoop fs -getmerge <src> <localdst> [addnl] 说白了就是:hadoop fs -getmerge hdsf目录 linux目录 例子:hadoop fs -getmerge /user/jfa5d/glj_test/pushFile/* /ho...

发布 0 条评论

fs最常用命令 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path //删除HDFS上的文件 bin/ha...

发布 2 条评论