sqoop导入导出Mysql

hive命令

show databases;     # 查看某个数据库
use 数据库;            # 进入某个数据库
show tables;        # 展示所有表
desc 表名;            # 显示表结构
show partitions 表名; # 显示表名的分区
show create table_name;   # 显示创建表的结构
truncate table 表名;      #表名;仅删除表中数据，保留表结构
drop table 表名;          #删除表

// 创建hive表
create table travel_config_spider(
    id      int
   ,pid     int
   ,province    string
   ,city   string
   ,scenic_spot     string
   ,url    string
   ,url_params    string
)
row format delimited
fields terminated by '\t'
;

用sqoop将mysql的数据导入到hive表中

sqoop import \
--connect 'jdbc:mysql://ip:port/data_acquisition?useUnicode=true&characterEncoding=utf-8' \
--username root \
--password 123456 \
--table  travel_config_spider \
--columns id,pid,province,city,scenic_spot,url,url_params \
--fields-terminated-by "\t" \
--hive-import \
--hive-table colinhive.travel_config_spider \
--target-dir /tmp/colinhive/ \
;

// 另一种参数
sqoop import \
--connect 'jdbc:mysql://ip:port/data_acquisition?useUnicode=true&characterEncoding=utf-8' \
--username root \
--password 123456 \
--query "SELECT id,pid,province,city,scenic_spot,url,url_params from travel_config_spider where 1=1 and \$CONDITIONS" \
--split-by id --columns id,pid,province,city,scenic_spot,url,url_params \
--hive-import \
--fields-terminated-by "\t" \
--hive-table colinhive.travel_config_spider \
--target-dir /tmp/colinhive/ \
;

用sqoop将hive的数据导入到mysql表中

sqoop export \
--connect 'jdbc:mysql://ip:port/data_acquisition?useUnicode=true&characterEncoding=utf-8' \
--username root \
--password 123456 \
--table newtab \
--export-dir /opt/hive/warehouse/colinhive.db/newtab \
--columns id,source_name1,url1,url2,url_params2 \
--input-fields-terminated-by '\t'
;