sqoop笔记——一次从Hive到PostgreSql的数据迁移

-- 使用Sqoop将Hive中的数据表'hive_table_name'迁移到PostgreSQL的'pg_table_name'表中
-- 注意：以下命令需要在命令行中执行，确保Sqoop已经安装并配置好
 
sqoop eval --connect jdbc:postgresql://hostname:5432/database_name --username db_user \
  --password db_password \
  --query "TRUNCATE TABLE pg_table_name;"
 
sqoop import --connect "jdbc:postgresql://hostname:5432/database_name" \
  --username db_user --password db_password \
  --table pg_table_name --driver org.postgresql.Driver \
  --hive-import \
  --hive-table hive_table_name \
  --fields-terminated-by ',' \
  --lines-terminated-by '\n'

这个例子展示了如何使用Sqoop将Hive中的数据表迁移到PostgreSQL中。首先，使用sqoop eval执行了一个SQL语句来清空目标表，然后使用sqoop import命令来执行实际的数据迁移。这里的参数包括数据库的连接信息、驱动类、表名、以及Hive表的信息。