内容简介：Sqoop主要通过JDBC和关系数据库进行交互。理论上支持JDBC的Database都可以使用Sqoop和HDFS进行数据交互。Sqoop有两个版本，他们之间的差异见下表：
Sqoop用来在关系型数据库与HDFS（Hive、HBase）之间导入和导出数据，其既可以作为ETL抽数据到DW的工具，又可以作为对DM处理好的数据导出到业务数据库的工具，其地位如下图所示：
Sqoop主要通过JDBC和关系数据库进行交互。理论上支持JDBC的Database都可以使用Sqoop和HDFS进行数据交互。
原理
Sqoop有两个版本，他们之间的差异见下表：
我们这里重点将下Sqoop2的架构
导入到HDFS
- 在导入前，Sqoop使用JDBC来检查将要导入的数据表;
- Sqoop检索出表中所有的列以及列的 SQL 数据类型;
- 把这些SQL类型的映射到 java 数据类型，例如（VARCHAR、INTEGER）->（String，Integer）;
- 在MapReduce应用中将使用这些对应的java类型来保存字段的值;
- Sqoop的代码生成器使用这些信息来创建对应表的类，用于保存从表中抽取的记录。
导出到JDBC
- 在导出前，sqoop会根据数据库连接字符串来选择一个导出方法(对于大部分系统来说，sqoop会选择JDBC);
- Sqoop会根据目标表的定义生成一个java类;
- 这个生成的类能够从文本中解析出记录，并能够向表中插入类型合适的值（除了能够读取ResultSet中的列）;
- 然后启动一个MapReduce作业，从HDFS中读取源数据文件;
- 使用生成的类解析出记录，并且执行选定的导出方法。
实践时间
将 MySQL 数据库的表dept导入HDFS
sqoop import --connect jdbc:mysql://10.10.75.100:3306/sqoopdemo -- username root --password root123 - table dept -m 1 -target-dir /user/dept
将数据从HDFS导出到MySQL数据库的表dept
sqoop export --connect jdbc :mysql://10.10.75.100:3306/sqoopdemo --username root --password root123 --table dept -m 1 --export-dir /user/dept # Mysql->hive sqoop import --connect jdbc:mysql://10.10.75.100:3306/sqoopdemo --username root --password root123 --table dept -m 1 --hive-import # Hive->mysql sqoop export --connect jdbc:mysql://10.10.75.100:3306/sqoopdemo --username root --password root123 -table dept -m 1 --export-dir /user/hive/warehouse/dept --input-fields-terminated-by '\0001' # Mysql->hbase sqoop import --connect jdbc:mysql://10.10.75.100:3306/sqoopdemo --username root --password rootl23 --table dept 一-hbase-create-table --hbase- table hbase dept --column-family colfamily --hbase-row-key id
更多操作方面的内容可以参考这篇 Sqoop架构以及应用介绍 。
以上所述就是小编给大家介绍的《Sqoop学习》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
JSP & Servlet学习笔记
【台湾】林信良 / 清华大学出版社 / 2012-5 / 58.00元
本书是作者多年来教学实践经验的总结，汇集了教学过程中学生在学习JSP & Servlet时遇到的概念、操作、应用或认证考试等问题及解决方案。 本书针对Servlet 3.0的新功能全面改版，无论是章节架构与范例程序代码，都做了全面更新。书中详细介绍了Servlet/ JSP与Web容器之间的关系，必要时从Tomcat源代码分析，了解Servlet/ JSP如何与容器互动。本书还涵盖了文本处理......一起来看看 《JSP & Servlet学习笔记》 这本书的介绍吧!
