sqoop使用文档

1

sqoop tool-name [tool-arguments]

1
2
3
4
5
6
7
8
9

--column-family <family>    设置导入的目标列族
--hbase-create-table    如果指定，则创建缺失的 HBase 表
--hbase-row-key <col>   指定使用哪个输入列作为行键
	如果输入表包含复合
	则 <col> 必须采用
	逗号分隔的复合键列表
	属性
--hbase-table <table-name>  指定要用作目标的 HBase表（而不是 HDFS）
--hbase-bulkload    启用批量加载

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

sqoop import --connect jdbc:mysql://192.168.8.1:3306/{mysql_db}?tinyInt1isBit=false \ 
--username user001 \  
--password passwd001 \  
--query "{query}" \  
--fields-terminated-by ',' \  
--hive-drop-import-delims \  
--null-string '\\\\N'   \  
--null-non-string '\\\\N'  \  
--lines-terminated-by "\\n" \  
--hive-overwrite \  
--hive-import \  
--target-dir /tmp/{hive_table} \  
--delete-target-dir \  
# 分区相关
--hive-partition-key {partition_key} \  
--hive-partition-value {partition_value} \  
--hive-database {hive_db} \  
--hive-table {hive_table} \  
--split-by '{split}' \  
-m {m} \

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

sqoop import -D mapred.job.name=ETL-${table_name} \
  --connect jdbc:mysql://192.168.8.61:3306/CN_Proj_DB?tinyInt1isBit=false  \
 --username user001 \
 --password  passwd001 \
 --query "select * from ${table_name} where 1=1 and \$CONDITIONS" \
 --fields-terminated-by '\001' \
 --hive-drop-import-delims \
 --delete-target-dir  \
 --null-string '\\N'   \
 --null-non-string '\\N'  \
 --lines-terminated-by "\n"  \
 --target-dir /yyq_test/${table_name}  \
 --hive-import \
 --hive-database bigworktest \
 --hive-table ${table_name}  \
 --split-by id \
 -m 3 \
 # 压缩格式 parquet文件
 --compress \
 --compression-codec org.apache.hadoop.io.compress.SnappyCodec \
 --hive-overwrite \
 --as-parquetfile

1
2
3
4
5
6
7
8
9

sqoop import \
--connect jdbc:mysql://192.168.109.1:3306/userdb \
--username root \
--password root \
--delete-target-dir \
--fields-terminated-by '\t'  # 分隔符
--target-dir /sqoopresult \  # 导入的hdfs目录
--table emp 
--m 1

1
2
3
4
5
6
7
8

sqoop import \
--connect jdbc:mysql://192.168.109.1:3306/userdb \
--username root  --password root \
--table emp --m 1 \
--target-dir /appendresult \
--incremental append \
--check-column id \  # 主键
--last-value  1205  # 追加的id

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

sqoop import \
--connect jdbc:mysql://192.168.109.1:3306/userdb \
--username root \
--password root \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-09-03 22:59:45" \
--m 1 \
# --merge-key id 修改旧的，新增新的
--append

1

sqoop import-all-tables (generic-args) (import-args)

1

sqoop export (generic-args) (export-args)

1
2
3
4
5
6

sqoop export \
--connect jdbc:mysql://192.168.109.1:3306/userdb \
--username root \
--password root \
--table employee \
--export-dir /emp/emp_data

1
2
3
4
5
6
7
8

sqoop export \
--connect jdbc:mysql://192.168.109.1:3306/userdb \
--username root --password root \
--table updateonly \
--export-dir /updateonly_2/ \
# 更新导出
--update-key id \
--update-mode updateonly  # 只更新操作

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

sqoop export \
--connect jdbc:mysql://192.168.8.108:3306/ipv6_locate?serverTimezone=Asia/Shanghai\&useUnicode=true\&characterEncoding=utf8\&autoReconnect=true\&failOverReadOnly=false \ # 有时候可能会出现中文乱码问题，需要添加编码集
--username root \
--password passwd01 \
--table mall_rpt_ip_with_scene \  # 目标mysql中的表名
--update-key "id" \   # 指定目标表的主键
--update-mode allowinsert \  # 指定目标表的更新模式
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--input-fields-terminated-by '\001' \	# hive中字段间的分隔符
--input-lines-terminated-by "\n" \		# hive中行与行之间的分隔符	
--export-dir hdfs://cdh1.host.com:8020/user/hive/warehouse/wsp_test.db/mall_rpt_ip_with_scene \  # hive表存放的位置
--m 1  # 并行度