testing-dags – Airflow DAG 测试 Skill

Skill 详细介绍

astronomer/agents#testing-dags 是 Astronomer 官方 agents 仓库中面向 Apache Airflow DAG 测试的一个 Skill。它本身不是一个可独立运行的软件，而是一套随 Agent 加载的指令与方法论，用来指导 AI Agent 如何为 Airflow DAG 编写、组织和运行测试。

它解决什么问题

Airflow 的 DAG 测试有自己的特殊性：DAG 文件本质是 Python 脚本，但只有在被 Airflow 解析、实例化后才能真正验证结构、依赖和参数是否正确。很多测试失败并不是业务逻辑问题，而是 DAG 加载错误、导入错误或调度配置问题。这个 Skill 的价值在于把这套测试流程交给 Agent，让 Agent 按 Airflow 的规范去生成和组织测试代码，而不是随手写一个普通 pytest 文件。

核心用途

– 为 Airflow DAG 编写结构测试（例如 DAG 能否被正常解析、`dag_id` 是否正确、是否存在循环依赖）
– 编写任务级测试（任务数量、依赖关系、算子类型）
– 使用 Airflow 官方推荐的测试工具链来组织测试文件
– 在修改 DAG 后帮助检查是否引入了加载错误或调度问题

它不是什么

– 它不是一个 Airflow 运行环境，不会帮你启动 scheduler 或 webserver
– 它不是一个测试框架，实际执行仍然依赖 pytest 和 Airflow 自身的测试工具
– 它不负责部署 DAG，也不代替 CI/CD 流水线

适合谁

使用 Apache Airflow 管理数据管道的团队，尤其是已经用 AI Agent 辅助编写 DAG、希望顺带把测试一起规范化的用户。如果你的项目里根本没有 Airflow，这个 Skill 基本用不上。

Skill 安全评估

从来源看，它属于 Astronomer 官方 agents 仓库，可信度较高，不是第三方仿冒或重新打包的版本。

从行为看，这个 Skill 的工作方式是指导 Agent 生成和修改测试代码，因此真正需要关注的是 Agent 在执行时附带的能力，而不是 Skill 本身：

– 文件写入：Agent 需要向项目里创建或修改测试文件，这是正常且必需的。
– Shell 执行：跑 pytest、验证 DAG 是否能被解析，通常需要执行命令，这也是正常用途。
– 依赖安装：如果项目里没有 pytest、Airflow 测试工具，Agent 可能建议安装依赖，这会产生网络访问和包管理操作。
– 代码修改：Agent 可能会改动现有 DAG 或测试文件，存在误改风险。

实用建议：

1. 让 Agent 生成的测试先只写入新文件，不要直接覆盖已有测试。
2. 在跑测试前，先看一眼 Agent 打算执行的命令，尤其是涉及 `pip install`、`airflow` CLI 的部分。
3. 如果不希望 Agent 自动执行 Shell，可以关闭自动执行权限，让命令由你手动运行。
4. 不要把生产环境的 Airflow 连接信息、凭证直接暴露给 Agent 会话。

这个 Skill 不存在明显的凭证泄露、Prompt Injection 或公网监听风险，主要风险来自 Agent 自身的代码修改和命令执行能力，属于正常开发类 Skill 的范畴。

Skill 使用要求

一、Agent / 客户端

该 Skill 属于 Astronomer 官方 agents 仓库，面向 Claude Code 等支持 Skills 机制的 AI Agent。官方没有公布完整的第三方 Agent 兼容列表。从 Skill 的工作方式看，在支持自定义 Skill 或类似指令加载机制的环境中，通常也可以尝试在 Codex、Cursor、Trae、OpenClaw、WorkBuddy 中使用，不同 Agent 的加载方式和兼容程度可能不同，具体以对应 Agent 当前版本为准。

二、运行环境 / 依赖

| 项目 | 要求 |
|—|—|
| Agent | Claude Code 优先，其他兼容 Agent 可尝试 |
| Python | 需要，因为 Airflow DAG 是 Python |
| Apache Airflow | 需要，且版本要与项目一致 |
| pytest | 需要，用于运行测试 |
| 命令执行 | 需要执行 pytest 与 airflow 相关命令 |

具体 Airflow 版本、Python 版本以你实际项目为准，不要脱离项目环境单独安装另一套 Airflow。

三、权限

– 文件读取：必需，需要读取 DAG 文件
– 文件写入：必需，需要创建或修改测试文件
– Shell 执行：通常需要，用于运行测试
– 网络访问：可选，仅在需要安装依赖时

四、账号 / API Key

这个 Skill 本身不需要账号、API Key 或 Token。它不会调用第三方 API。

需要注意区分的是：你的 Airflow 项目在同一会话里可能会用到连接凭证、`AIRFLOW_HOME` 等配置，这些属于项目自身需求，不是这个 Skill 的要求。

最小使用条件

1. 一个支持 Skill 的 AI Agent
2. 一个已存在的 Airflow 项目
3. Python 与 Airflow 环境可用
4. 能执行 pytest

Skill 安装、使用与卸载教程

一、安装

可以直接复制本页面提供的 Skill 安装指令，粘贴到对应 Agent 或终端中执行。

如果不清楚自己的 Agent 如何安装 Skill，可以直接询问当前 AI Agent：

如何安装 astronomer/agents#testing-dags？

如何在 Claude Code 中安装 astronomer/agents#testing-dags？

如何在 Cursor 中安装 astronomer/agents#testing-dags？

让当前 Agent 根据自己的 Skill 加载与管理机制给出对应安装方式。

二、安装后如何使用

安装后，通常在涉及 Airflow DAG 测试的任务中自动生效，也可以显式点名调用。

适合交给它的任务：

– 为已有 DAG 补全测试
– 检查 DAG 是否存在加载错误或依赖问题
– 修改 DAG 后重新生成对应测试

自然语言使用示例：

使用 testing-dags，帮我为 dags/etl_daily.py 里的 DAG 补一套测试，覆盖 DAG 加载和任务依赖。

使用 testing-dags，检查我最近改的这几个 DAG 有没有可能导致解析失败或循环依赖。

使用 testing-dags，把我这个项目里的 DAG 测试整理成规范的 pytest 结构。

三、卸载

不同 Agent 的 Skill 安装位置和管理方式可能不同。通常可以直接：

– 使用对应 Agent / Skill 管理器提供的删除方式移除该 Skill
– 直接询问当前 Agent：

如何卸载 astronomer/agents#testing-dags？

如果没有统一卸载命令，直接让当前 Agent 帮你移除通常更稳妥。

常见问题

1. 没有 Airflow 项目能用吗？

价值有限。这个 Skill 的知识几乎都围绕 Airflow DAG 的测试规范，脱离 Airflow 项目基本用不上。

2. 可以同时安装到多个 Agent 吗？

可以。Skill 本质是随 Agent 加载的指令文件，安装到 Claude Code 和 Cursor 互不影响。不同 Agent 的加载机制不同，行为可能略有差异。

3. 安装后 Agent 没有识别到 Skill 怎么办？

先确认安装路径是否符合对应 Agent 的 Skill 目录规范，再确认会话是否需要重启或重新加载。可以直接问当前 Agent：“为什么没有识别到 astronomer/agents#testing-dags？”

4. Skill 更新后需要重新安装吗？

取决于你的安装方式。如果是本地复制或 clone 的方式，需要拉取最新内容；如果是通过 Agent 自身的 Skill 管理器安装，通常由管理器处理更新。

5. 会不会直接改动我现有的 DAG？

Agent 有能力修改文件。稳妥做法是明确告诉它只新增测试文件、不要改动 DAG 本身，或者先审查它的改动再接受。

6. 能替代 CI 里的 Airflow 测试吗？

不能。它帮助生成和组织测试，实际执行和把关仍然应该在 CI 或本地测试流程中完成。

7. 中国大陆使用有网络要求吗？

它本身不需要访问境外 API。是否能顺利使用，主要取决于你安装 Skill、拉取依赖时所在环境的网络情况，与 Skill 功能无关。