Sqoop基本语法简介


简介:
本篇文章主要介绍sqoop的基本语法及简单使用方法。(默认导入当前用户目录下/user/用户名/表名)
说到这里扩展一个小知识点:这时很可能会出现这个错误
Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
这里我们需要导入java-json.jar包 下载地址 把java-json.jar添加到../sqoop/lib目录下即可我们还可以加一些其他参数 使导入过程更加可控-m 指定启动map进程个数,默认是4个
--delete-target-dir 删除目标目录
--mapreduce-job-name 指定mapreduce的job的名字
--target-dir 导入到指定目录
--fields-terminated-by 指定字段之间的分隔符
--null-string 含义是 string类型的字段,当Value是NULL,替换成指定的字符
--null-non-string 含义是非string类型的字段,当Value是NULL,替换成指定字符
--columns 导入表中的部分字段
--where 按条件导入数据
--query 按照sql语句进行导入 使用–query关键字,就不能使用–table和–columns
--options-file 在文件中执行查看帮助命令对与该命令的解释为: Evaluate a SQL statement and display the results,也就是说执行一个SQL语句并查询出结果。常用参数:--table 指定导出表的名称
--input-fields-terminated-by 指定hdfs上文件的分隔符,默认是逗号
--export-dir 导出数据的目录
--columns 指定导出的字段在执行导出语句前mysql要先创建表(不创建表会报错):如果再导入一次会追加在表中常用参数:--create-hive-table 创建目标表,如果有会报错
--hive-database 指定hive数据库
--hive-import 指定导入hive(没有这个条件导入到hdfs中)
--hive-overwrite 覆盖
--hive-table 指定hive中表的名字,如果不指定使用导入的表的表名
--hive-partition-key 指定Hive分区表字段
-- 香港云主机hive-partition-value 指定导入的分区值首次导入可能会报错如下:
18/07/04 15:06:26 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
18/07/04 15:06:26 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

解决方法:到hive目录的lib下拷贝几个jar包,问题就解决了建议:导入Hive不建议大家使用–create-hive-table参数,建议事先创建好hive表;因为自动创建的表字段类型可能并不是我们想要的。sqoop job可以将执行的语句变成一个job,并不是在创建语句的时候执行,你可以查看该job,可以任何时候执行该job,也可以删除job,这样就方便我们进行任务的调度。--create 创建一个新的job.
--delete 删除job
--exec 执行job
--show 显示job的参数
--list 列出所有的job
我们发现执行person_job的时候,需要输入数据库的密码,怎么样能不输入密码呢
配置sqoop-site.xml即可解决参考文章:https://blog.csdn.net/yu0_zhang0/article/details/79069251

相关推荐: 笔记本电脑如何关闭系统错误提示

小编给大家分享一下笔记本电脑如何关闭系统错误提示,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!1.使用win7的快捷组合键“win+r”打开运行窗口,在打开的窗口中输入“gpedit…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/23 18:11
下一篇 07/23 18:11

相关推荐