记忆角落

  • {{ item.name }}
  • sqoop操作--从Oracle导入到HDFS
  • sqoop操作--从HDFS导到ORACLE
  • 注意问题
  • 首页
  • 关于
  • 归档
  • 邻居
  • 捐赠

sqoop的简单用法

  • 郭良俊只狗
  • 2019-05-20
  • 0

emmmmm,为了阐述写这次文章的理由是什么的话?那可能就是最近我那么分析大佬们,天天要我导数据,oracle<---->hive/hdfs,贼浪费我时间!然后哪位拆一代的卢胖子,想教会他自己导,居然不学、不看、不动...这里强烈的谴责!

好了不BB...下面应该是我自己笔记,内容有错的话,自己去看书-->Hadoop大数据挖掘从入门到跑路..


这个用的应该是sqoop..它是hadoop生态圈的一员吧,剩下的自己百度,因为我也是辣鸡的小白,之前教我的大佬走了.不然你们可以坑他一逼(此处要有滑稽脸?)

sqoop操作--从Oracle导入到HDFS

先上导出脚本

sqoop import -Dmapred.job.queue.name=jfa5d_queue --connect jdbc:oracle:thin:@10.201.xx.xx:1522/mmds --username 你数据库账号 --password 数据库密码 --table TEMP_HJX_XL_TT --columns "COMPANY,MSISDN,IMEI,TAC" --target-dir /user/jfa5d/glj_test/TEMP_HJX_XL_TT/ --fields-terminated-by ',' --lines-terminated-by '\n' --null-string '' --null-non-string '0' -m 2;

说明:

-Dmapred.job.queue.name=jfa5d_queue:为指定的资源池/指定队列

--connect jdbc:oracle:thin:@//10.201.29.41:1522/mmds :指定JDBC连接字符串

--username、--password:就是数据库的账号密码啦..

--table :数据库表名

--columns :需要导出的字段,逗号分隔(没有这个参数就是全表字段导出)

--target-dir :导入HDFS的目标路径,如果目录已经存在,则报错;需要先删除你要上传的目录:hadoop fs -rmr /user/hadoop/xxxxx,建议自己先建以自己名字首字母的目录,不然删错了别人了,你跪键盘吧

--fields-terminated-by:字段之间采用什么分隔符,我这里是用逗号

--lines-terminated-by :行之间采用啥分隔符号,我这里用回车..

--null-string:当string类型的字段为空时,使用''代替

--null-non-string :当非string类型的字段为空时,使用0代替

-m n或者--num-mappers n :n为数字,代码启动建立n个并发执行任务

sqoop操作--从HDFS导到ORACLE

也是先上脚本,然后自己分析吧

sqoop export -Dmapred.job.queue.name=jfa5d_queue --connect jdbc:oracle:thin:@//10.201.xxx.xxx:1522/mmds --username xxx --password xxx --table temp_hjx_xl_tt --columns "COMPANY,MSISDN,IMEI,TAC" --export-dir /user/jfa5d/glj_test/pushFile/ --input-fields-terminated-by '\001' --input-lines-terminated-by '\n' --input-null-string '\\N' --input-null-non-string '\\N'  --num-mappers 8

脚本基本上一样,就是参数分别为:export、import,相同的参数我就不再解释

--export-dir:导出数据的HDFS目录。

--input-fields-terminated-by:文件的分隔符,如果是hive自动生成默认为\001

--input-lines-terminated-by:行之间的分隔符

--input-null-string:当非string类型的字段为空时,如果是hive自动生成默认为\N

--input-null-non-string:当非string类型的字段为空时,如果是hive自动生成默认为\N

-m n或者--num-mappers n :n为数字,代码启动建立n个并发执行任务

注意问题

1.分割符的方向问题:

首先sqoop的参数要小心, 如果是从数据库导出数据,写到HDFS的时候,字段分割符号和行分割符号必须要用

--fields-terminated-by 和 --lines-terminated-by

而不是有input的:

--input-fields-terminated-by和 --input-fields-terminated-by的

--input前缀的使用于读文件的分割符号,便于解析文件,所以用于从HDFS文件导出到数据库,两个用法方向不一样。

emmm.快两点了,好了不写了,我的午休时间没有了...如有错误,都是我水平不够,但我不听。


--delete-target-dir  删除目标文件夹(建议少用自己手动删一下)

--where 按条件导入数据  -->--where 'id<3'

--query  按照sql语句进行导入ps:使用--query关键字,就不能使用--table和--columns,自定义sql语句的where条件中必须包含字符串 $CONDITIONS,$CONDITIONS是一个变量,用于给多个map任务划分任务范围 -->--query "select * from user where id>1 and \$CONDITIONS"
(或者quer使用这种格式:--query 'select * from user where id>1 and $CONDITIONS')


© 2012 - 2023 记忆角落 网站统计
Theme by Wing
粤ICP备14056850号-1 又拍云CDN赞助