小白记录吧...因为自己之前可以搞过，最近弄了kafka消费的东西，程序消费失败，看了报错日志是认证过期，然后手动认证。于是乎就有了... kinit -kt 认证的时候 直接报错： kinit: Clock skew too great while getting initial credentials 然后查看了linux的时间相差有点大--&…
应该都指定hvie默认列分隔符为：‘/001’，有时候导出ua数据，会出现乱码或者包含了默认分隔符；再或者我们需要导出数据时，想用自己指定的分隔符.... 应该可以用这个了... 把文件导出到hdfs随便的目录？ insert overwrite directory '/user/jfa5d/glj_test/pushFile' row forma…
今天就说说hive多个分隔符的问题。 多分隔符(列)这个问题，也是之前同事给我一份文件我才发现的... 这份文件上列分隔符是@#| hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|，发现输出的字段和文件不一致。 CREATE EXTERNAL TABLE IF NOT EX…
最近遇到一个这样的需求，在不考虑性能的前提下，感觉还行吧... public static String[] insert(String[] arr,int i,String l){ //新建数组,对原数组扩容 String[] arr1 = new String[arr.length+1]; //将原数组数据赋值给新数组 for(int j = …
hive环境下复制整段语句时，出现 非常多Display all xxx(多少行数字) possibilities? (y or n)错误的时候. 是因为SQL语句中存在tab键导致，tab键在linux系统中是有特殊含义的。所以hive环境才会N多提示... 结论：hive环境中SQL执行语句中应避免使用tab键。SQL语句也建议先处理好格式再去…
利用jq插件(Table2excel)table转excel，其实说白了就是有现成的轮子为什么还要自己去写脚本呢?(自己懒吧) jquery-table2excel 是一款可以将 HTML 表格的内容导出到微软 Excel 电子表格中的 jQuery 插件。该插件可以根据你的需要导出表格中的内容，不需要的行可以不导出。它文件体积小，使用非常方便。注…
如果使用过sqoop工具，把关系型数据库(ORACLE/Mysql)的数据导入到hdfs时，应该也会出现一些问题..如果还不知道的话，可以先到https://199604.com/1102( sqoop的简单用法)，我这篇文章简单入门。 最近，出现最多的问题，应该是报这个错--> ERROR tool.ImportTool: Error du…
emmmmm，为了阐述写这次文章的理由是什么的话?那可能就是最近我那么分析大佬们，天天要我导数据，oracle<---->hive/hdfs，贼浪费我时间!然后哪位拆一代的卢胖子，想教会他自己导，居然不学、不看、不动...这里强烈的谴责! 好了不BB...下面应该是我自己笔记，内容有错的话，自己去看书-->Hadoop大数据挖掘从…
最近这一段时间，已经被阿里提示3次，因过度消耗资源暂时无法访问了？ 但想想我这一个发牢骚的小博客，咋会过度消耗资源? 然后想了下之前阿里有个客服打电话让我上ESC的时候？ 我是不是想到了一些啥？ 不可能的，然后就看了下日志?给人恶意CC？ 突然多了很多奇奇怪怪的URI，强行访问导致的? emmmm，想了下，我还是备份关站吧.刚好博客主机到期还有10…
因为最近都一直没有用thymeleaf，于是温习了一下，但还是th:onclick()传参直接报错。 于是乎csdn普遍都是在调用之前添加javascript申明? <button class="btn" th:onclick="'javascript:functionName(\''+${xx.xx}+'\');'">（spring …
Hive计算天数时间差，有官方封装好的datediff函数. 在Hive上输入:desc function extended datediff;即可查看此函数介绍。 OK datediff(date1, date2) - Returns the number of days between date1 and date2 date1 and dat…
凡是新的事情在起头总是这样一来的，起初热心的人很多，而不久就冷淡下去，撒手不做了，因为他已经明白，不经过一番苦工是做不成的，而只有想做的人，才忍得过这番痛苦。 2013-02-07至2019-02-07
自从前几个星期升级了wp，升级之后的编辑器一点儿也不习惯，导致又不想写记录了哎...这不是借口!!! 好了，入正题。 首先作为会复制粘贴的搬运工，对写空指针一点也不陌生吧。空指针是我们这些搬运工经常遇到的一个基本异常吧？不服?那我真的没办法。 什么？我自己也不知道空指针是什么? emmm，我这么解释好了： 当我们定义了一个变量的值为 null 时，…
最近在开发中用的比较多的是xml和properties这两种配置的格式文件，而yml暂时我还真的很少用，就学习spring Boot的时候用过，在现在公司开发小的工具程序都基本上用xml和properties。 但是现在感觉自己更倾向于用properties,但最近也还是在用xml写小程序，可能是习惯来得快? 接下来就写一下xml和properti…
今天在在本地连接linux虚拟机测试代码时，遇到了java.security.NoSuchAlgorithmException: Algorithm DH not available的错误。 原因： DH算法无效。 网上的解决办法为： 1. 修改java.security文件(我自己觉得不推荐，因为机器不是你的呢?) JDK路径\jre\lib\s…
今晚学习了java->Timer 类的使用 然后回想了之前是用java->Quartz 定时执行，然后今天写了一个小程序是用Timer类，感觉还行，这个小程序我也可以后期做第二次开发嘻嘻 记录一下。 小程序就几个类而已; pox.xml <project xmlns="http://maven.apache.org/POM/4.0…
因为需求原因，要每天定时去删除指定目录下超过5天的文件。 刚开始我想用java，因为本职就是写java的，但是梳理了一下，卧槽java写删除文件居然要那么多(主要是懒)..... 于是乎，想到了shell，emmm，这问题来了，自己又不会，也没有学过shell，辣鸡学校出来的大专鸡那也只能自己厚着脸，自己去写，花了一下午百度+实践初成品的代码思路：…
我又遇到了问题了... 当遇到数据量大但是又要考虑效率和资源消耗问题时，我还是会从查的效率去改善,然后再到程序，毕竟你load数据时间也过长的话，那么程序等待数据也是一部分吧? 以下总结都是扯淡，请勿相信.. 前两天有一个开发java小程序的需求，需要到全量话单数据里面抽出某几款的数据,因为等待结果时间比较长，前前后后优化了几次...因为全量话单数…
最近半年内老是遇到这个坑，每次遇到都不记得之前是怎么解决的..这次就总结一下吧? 以下总结都是扯淡，所有都是假的，请勿相信.. 如果是遇到报错:Algorithm negotiation fail(什么鬼算法不对导致的错误) 我这边的服务器基本上都是sshOpne 7.5导致的 然后按照大神(百度的方法1)先升级JAR包,我这个方法是没有解决。 但…
感觉用多了case when 的语句，会把以下两种语法混淆。现在总结一下吧。 以下的两种方法是等效的。 方法一：Case搜索函数(我的常用) Case搜索函数 case when tb1.language = 'java' then 'java' when tb1.language = 'php' then 'php' else 'qita' en…