【数仓】DataX软件安装及配置，从mysql同步到hdfs

DataX 是一款由阿里巴巴开源的大数据同步工具，主要用于在各种异构数据源间高效地完成数据的同步工作。以下是如何安装和配置 DataX，以及如何使用 DataX 从 MySQL 同步数据到 HDFS 的简要步骤。

1. 安装 DataX

   • 下载地址：https://github.com/alibaba/DataX
   • 解压到指定目录

2. 配置 DataX

   • 在 datax/job/ 目录下创建一个新的配置文件，例如 mysql2hdfs.json
3. 编辑 mysql2hdfs.json 配置文件

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "your_mysql_username",
                        "password": "your_mysql_password",
                        "column": ["id", "name", "age"],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": ["your_table_name"],
                                "jdbcUrl": ["jdbc:mysql://your_mysql_host:3306/your_database"]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://your_hdfs_host:8020",
                        "fileType": "text",
                        "path": "/user/hive/warehouse/your_hdfs_target_table_path",
                        "fileName": "your_output_file_name",
                        "column": [
                            {
                                "name": "id",
                                "type": "int"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "age",
                                "type": "int"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": ","
                    }
                }
            }
        ]
    }
}

4. 运行 DataX

   • 在 DataX 的根目录下，使用以下命令运行：

python datax/bin/datax.py job/mysql2hdfs.json

确保在运行之前已经安装了 Python 环境，并且 MySQL 和 HDFS 服务是可用的。以上步骤和配置文件仅作为示例，实际使用时需要根据实际情况调整配置，例如数据库的用户名、密码、表名、HDFS 的地址和端口等。