电商数仓——DataX同步全量数据（同步MySQL数据到HDFS案例）

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "root",
            "column": ["id","username","password"],
            "splitPk": "id",
            "connection": [
              {
                "querySql": [
                  "select id, username, password from user"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://localhost:3306/db_user"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "hdfswriter",
          "parameter": {
            "defaultFS": "hdfs://node01:8020",
            "path": "/user/hive/warehouse/user",
            "fileName": "user",
            "column": [
              {
                "name": "id",
                "type": "bigint"
              },
              {
                "name": "username",
                "type": "string"
              },
              {
                "name": "password",
                "type": "string"
              }
            ],
            "writeMode": "append",
            "fieldDelimiter": "\t"
          }
        }
      }
    ]
  }
}

这个JSON配置文件定义了一个DataX作业，它从MySQL数据库读取数据，并将数据以\t作为字段分隔符同步到HDFS文件系统中。注意，在实际应用中，需要根据具体的数据库、HDFS和DataX版本调整配置参数。