datax详细介绍及使用

DataX 详细介绍及使用

DataX 是阿里巴巴开源的高效 ETL（Extract, Transform, Load）工具，广泛用于各种数据源和数据目标之间的数据迁移、同步与转换。它支持多种数据源，包括关系型数据库（MySQL、Oracle等）、大数据平台（如 Hadoop、HDFS）、文件（如 CSV、JSON、Excel 等），并且支持灵活的插件架构，易于扩展。

---

1. DataX 概述

1.1 功能特点

• 多数据源支持：支持包括 MySQL、PostgreSQL、Oracle、HDFS、Hive 等数据库和大数据存储。
• 高性能和高可用性：通过多线程并发处理，提供高效的数据读取和写入。
• 灵活的数据转换：支持 SQL 查询、数据预处理和后处理等操作。
• 易于扩展：可以通过插件机制增加自定义的Reader和Writer插件。
• 任务调度：支持任务执行监控、容错处理、日志输出等。

1.2 工作原理

DataX 的工作原理基于 Reader 和 Writer 插件来完成数据的读取和写入：

• Reader：从数据源读取数据，支持自定义 SQL 查询，或者读取文件中的数据。
• Writer：将数据写入目标数据源，可以是关系型数据库、大数据平台、文件等。
• Job：是数据读取、转换和写入的任务配置，通常由多个 Reader 和 Writer 配置组成。

---

2. 安装和配置 DataX

2.1 环境要求

• Java：需要 Java 1.8 或以上版本的 JDK 环境。
• Maven：用于构建 DataX（如果从源码构建）。
• Python：需要 Python 2.7 或 Python 3.x，用于执行任务。

2.2 下载 DataX

可以从 GitHub 下载 DataX 或通过 Git 克隆仓库：

git clone https://github.com/alibaba/DataX.git
cd DataX

2.3 构建 DataX

使用 Maven 构建 DataX：

mvn clean package -DskipTests

构建完成后，datax/target/datax/bin 下会生成执行文件。

2.4 配置环境变量

在配置 DataX 环境时，需要设置 JAVA_HOME 和 PATH 环境变量。

export JAVA_HOME=/path/to/jdk
export PATH=$JAVA_HOME/bin:$PATH

---

3. DataX 配置文件详解

DataX 的配置文件使用 JSON 格式，描述了从 Reader 到 Writer 的数据流转，包含了以下几部分：

• Reader 配置：定义了数据读取的方式和参数。
• Writer 配置：定义了数据写入的方式和参数。
• Job 配置：定义了任务设置，如任务执行速度、错误限制等。

以下是一个典型的 DataX 配置文件 job.json 的示例：

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      },
      "errorLimit": {
        "record": 100
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "password",
            "column": ["id", "name"],
            "splitPk": "id",
            "connection": [
              {
                "querySql": ["SELECT id, name FROM users"],
                "jdbcUrl": ["jdbc:mysql://localhost:3306/mydb"]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "root",
            "password": "password",
            "column": ["id", "name"],
            "preSql": ["DELETE FROM target_table"],
            "connection": [
              {
                "table": ["target_table"],
                "jdbcUrl": ["jdbc:mysql://localhost:3306/mydb"]
              }
            ]
          }
        }
      }
    ]
  }
}

3.1 核心参数说明

• reader：定义数据读取的方式。
  • name：指定使用的插件类型，mysqlreader 表示从 MySQL 读取数据。
  • parameter：Reader 的参数，具体根据数据源不同有所不同。
    • username、password：数据源的连接凭据。
    • column：指定需要读取的列。
    • querySql：定义查询 SQL，决定从数据源中读取哪些数据。
• writer：定义数据写入的方式。
  • name：指定使用的插件类型，mysqlwriter 表示将数据写入 MySQL。
  • parameter：Writer 的参数，具体根据目标数据源不同有所不同。
    • preSql：数据写入前执行的 SQL，如清理目标表。
    • connection：目标数据源的连接信息。
• setting：设置任务的一些全局参数，如任务速度、错误限制等。
  • speed：配置数据读取和写入的并发通道数，channel 表示并发任务数。
  • errorLimit：配置错误记录数的限制。

3.2 常见 Reader 和 Writer 插件

• Reader：
  • mysqlreader：从 MySQL 读取数据。
  • hdfsreader：从 HDFS 读取数据。
  • orcReader：从 Hive 读取数据。
  • fileReader：从本地文件系统读取数据。
• Writer：
  • mysqlwriter：将数据写入 MySQL。
  • hdfswriter：将数据写入 HDFS。
  • oraclewriter：将数据写入 Oracle。
  • fileWriter：将数据写入本地文件。

---

4. 执行 DataX 任务

4.1 启动任务

在命令行中通过 datax.py 启动 DataX 任务：

python datax.py job.json

其中 job.json 是你创建的任务配置文件。

4.2 监控任务

在执行过程中，DataX 会输出执行日志，你可以查看任务的执行状态。执行成功会显示类似如下内容：

2019-10-20 12:23:56.789 [main] INFO  c.a.d.p.m.MysqlReader - Start read data from MySQL.
2019-10-20 12:23:57.123 [main] INFO  c.a.d.p.m.MysqlReader - Read data from MySQL successfully.
2019-10-20 12:23:58.123 [main] INFO  c.a.d.p.m.MysqlWriter - Write data to MySQL successfully.

如果任务失败，DataX 会显示错误信息，你可以根据错误日志进行排查。

---

5. 高级功能

5.1 分区读取（分割键）

DataX 支持分区读取数据，能够分配多个线程并发读取数据。使用 splitPk 参数指定分割键（通常为主键或增量字段）。

"reader": {
  "name": "mysqlreader",
  "parameter": {
    "username": "root",
    "password": "password",
    "column": ["id", "name"],
    "splitPk": "id",
    "connection": [
      {
        "querySql": ["SELECT id, name FROM users"],
        "jdbcUrl": ["jdbc:mysql://localhost:3306/mydb"]
      }
    ]
  }
}

5.2 增量数据同步

可以通过配置 splitPk（分割键）和 where 参数来实现增量同步，即仅同步新增或更新的数据。

"reader": {
  "name": "mysqlreader",
  "parameter": {
    "username": "root",
    "password": "password",
    "column": ["id", "name"],
    "where": "update_time >= '2021-01-01'",
    "connection": [
      {
        "querySql": ["SELECT id, name FROM users WHERE update_time >= '2021-01-01'"],
        "jdbcUrl": ["jdbc:mysql://localhost:3306/mydb"]
      }
    ]
  }
}

5.3 数据转换

虽然 DataX 本身不支持复杂的内建数据转换，但你可以使用 SQL 或自定义插件实现数据清洗、转换等功能。

---

6. 总结

DataX 是一个非常灵活和高效的 ETL 工具，适用于各种数据源之间的数据迁移与同步。通过简单的 JSON 配置文件，你可以轻松配置和执行数据迁移任务。它支持多种常见的数据源和目标，并且通过插件机制易于扩展。

在使用 DataX 时，主要需要关注以下几个方面：

1. 配置正确的 Reader 和 Writer 插件。
2. 使用合适

的分区和并发配置，提高任务效率。
3. 通过 SQL 和插件实现数据的清洗和转换。

希望这篇教程能够帮助你快速入门 DataX，如果有更具体的问题，欢迎随时提问！