# AI Intelligent Testing Platform

**Repository Path**: gitavey/AI-Intelligent-Testing-Platform

## Basic Information

- **Project Name**: AI Intelligent Testing Platform
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: AFL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2026-06-17
- **Last Updated**: 2026-06-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🚀 UI 自动化智能测试平台 / AI-Powered UI Automation Platform

> 基于大语言模型与多模态 AI 的下一代自动化测试解决方案

---

## ✨ 产品简介

这是一个**企业级的 AI 驱动自动化测试平台**，核心目标是让测试工程师从"写脚本"升级到"描述需求"。

传统的测试流程需要：
1. 人工分析页面元素 → 编写 Xpath/CSS 选择器
2. 手工编写测试脚本 → 维护成本极高
3. 需求变更时脚本大面积失效 → 返工率高

我们的方案：
1. 上传页面截图或输入需求 → **AI 自动识别元素与测试场景**
2. 输入自然语言描述 → **自动生成 Playwright / YAML 测试脚本**
3. 解析已有的测试用例文档 → **自动转化为可执行脚本**
4. 一键运行 / 定时调度 → **自动生成可视化测试报告**

### 支持的测试类型

| 类型 | 说明 | AI 能力 |
|------|------|---------|
| 🖥️ Web UI 测试 | 基于 Playwright 的浏览器自动化 | 页面元素识别 + 脚本生成 |
| 🔌 API 测试 | RESTful API 自动化测试与断言 | 请求构造 + 智能断言 |
| 📋 测试用例生成 | 从需求描述自动生成结构化测试用例 | 需求理解 + 用例设计 |
| 📑 测试用例解析 | 从文档中提取测试步骤并转化为脚本 | NLP + 结构化理解 |
| 📊 测试报告 | 实时执行日志 + 可视化图表 + 失败定位 | 数据分析 + 可视化 |

---

## 🏗️ 系统架构

```
┌─────────────────────────────────────────────────────────────────────┐
│                        前端 (React 18 + Ant Design)                  │
│  ┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐   │
│  │ 仪表盘  │  │用例生成 │  │API测试  │  │脚本管理 │  │测试报告 │   │
│  └─────────┘  └─────────┘  └─────────┘  └─────────┘  └─────────┘   │
└────────────────────────────┬────────────────────────────────────────┘
                             │ SSE 实时流 / RESTful API
                             ▼
┌─────────────────────────────────────────────────────────────────────┐
│                    后端 (FastAPI + Python 异步)                       │
│  ┌────────────────────────────────────────────────────────────────┐ │
│  │                    智能体编排器 (Agent Orchestrator)            │ │
│  │  ┌───────┐ ┌───────┐ ┌───────┐ ┌───────┐ ┌───────┐ ┌───────┐   │ │
│  │  │页面分析│ │用例解析│ │YAML生成│ │PW生成  │ │脚本存储│ │描述生成│   │ │
│  │  │智能体 │ │智能体  │ │智能体 │ │智能体 │ │智能体 │ │智能体 │   │ │
│  │  └───────┘ └───────┘ └───────┘ └───────┘ └───────┘ └───────┘   │ │
│  └──────────────────────────────┬───────────────────────────────────┘ │
│                                 │ AutoGen 智能体框架               │
│                                 ▼                                    │
│  ┌────────────────────────────────────────────────────────────────┐ │
│  │           AI 模型层 (DeepSeek / Qwen-VL / UI-TARS)              │ │
│  │   文本大模型        视觉语言多模态        测试专用模型           │ │
│  └────────────────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────────┘
```

---

## 🛠️ 技术栈

### 后端

| 类别 | 技术 |
|------|------|
| Web 框架 | **FastAPI** (高性能异步) |
| 异步处理 | **asyncio** / **aiohttp** / **httpx** |
| ORM | **SQLAlchemy 2.0** (支持 SQLite/MySQL/PostgreSQL) |
| AI 框架 | **AutoGen** (微软智能体框架) |
| AI 模型 | **DeepSeek-VL** / **OpenAI GPT-4** / **Qwen-VL** / **UI-TARS** |
| 任务调度 | **APScheduler** |
| 实时通信 | **SSE (Server-Sent Events)** |
| 安全 | **JWT** + **bcrypt** 密码哈希 |

### 前端

| 类别 | 技术 |
|------|------|
| 框架 | **React 18** + **TypeScript** |
| UI 组件 | **Ant Design 5** |
| 图表 | **ECharts** + **D3.js** + **Three.js**（3D 力导向图） |
| 代码编辑器 | **Monaco Editor** |
| 构建工具 | **Vite** |
| 状态管理 | **React Query** + **Zustand** |
| 动画 | **Framer Motion** + **GSAP** |

### 测试与监控

| 类别 | 技术 |
|------|------|
| UI 自动化 | **Playwright**（跨浏览器） |
| 单元测试 | **pytest** + **pytest-asyncio** |
| 性能测试 | **Apache JMeter** |
| 监控 | **Prometheus** + **Grafana** |
| CI/CD | **GitHub Actions** |
| 容器化 | **Docker** + **Docker Compose** |

---

## 🚀 快速开始（3 分钟启动）

### 前置条件

- Python ≥ 3.9
- Node.js ≥ 18
- npm ≥ 9
- （可选）已配置的 AI 模型 API Key

### 一键启动（Windows）

```bash
# 1. 克隆项目
git clone <你的项目地址>
cd ui-automation-testing

# 2. 启动后端（PowerShell）
cd backend-后端代码\backend
python -m venv venv
.\venv\Scripts\activate
pip install -r requirements.txt
copy .env.example .env
# 编辑 .env，填入你的 API Key
python -m app.main
# 后端将在 http://127.0.0.1:8000 启动

# 3. 另开一个终端启动前端
cd frontend-前端代码\frontend
npm install
npm run dev
# 前端将在 http://localhost:3000 启动
```

### Docker 启动

```bash
docker-compose up -d
# 访问 http://localhost:3000
```

### 健康检查

启动后访问：
- **后端健康检查**：http://127.0.0.1:8000/api/v1/testcases/health
- **前端**：http://localhost:3000
- **API 文档**：http://127.0.0.1:8000/docs

---

## 🎯 核心功能详解

### 1️⃣ 智能页面分析

上传页面截图 → AI 自动识别页面元素并分类：

- 自动识别：按钮、输入框、下拉菜单、导航栏、表格、表单…
- 生成元素定位策略：CSS 选择器、XPath、文本定位
- 置信度评分：每个识别结果附准确率
- 批量处理：支持一次上传多张截图并发分析

**典型流程**：
```
上传截图 → [多模态 AI 分析] → 输出元素树 → 存储到数据库
                                      ↓
                                   生成测试脚本
```

### 2️⃣ 自然语言 → 测试脚本

用"人话"描述你的测试需求，系统自动生成可执行脚本：

**示例输入**：
```
测试用户登录功能：
1. 打开登录页面
2. 在用户名输入框中输入 "testuser"
3. 在密码输入框中输入 "Test@123"
4. 点击登录按钮
5. 验证成功跳转到首页并显示欢迎信息
```

**系统输出**：
- ✅ Playwright TypeScript 脚本（可直接运行）
- ✅ YAML 格式测试脚本（适合非技术人员维护）
- ✅ 元素定位信息
- ✅ 预估执行时间

### 3️⃣ 测试用例生成

输入一段需求描述，自动生成完整的测试用例：

- 前置条件分析
- 测试步骤分解（正向+反向+边界值）
- 测试数据建议
- 预期结果推导
- 导出为 Excel / JSON 格式

### 4️⃣ API 自动化测试

图形化配置接口测试：

- 请求配置：Method / URL / Headers / Body / 认证
- 智能断言：状态码、JSON 字段、响应时间、内容匹配
- 变量传递：前一个接口的响应字段作为后一个接口的入参
- 定时执行：Cron 表达式调度
- 可视化报告：成功率、响应时间趋势、错误分布

### 5️⃣ 测试执行与报告

- 实时日志流（SSE 推送）
- 截图 + 视频录制（失败自动捕获）
- 交互式仪表盘：通过率、失败 Top、执行时间趋势
- HTML 报告导出
- 历史记录回溯

### 6️⃣ 定时任务调度

- 可视化配置 Cron 表达式
- 支持间隔调度 / 每日固定时间 / 每周特定时间
- 任务失败自动重试
- 执行历史记录与运行状态监控

---

## 📦 项目结构

```
ui-automation-testing/
├── backend-后端代码/backend/
│   ├── app/
│   │   ├── agents/              # 9 种智能体实现
│   │   ├── api/v1/endpoints/    # 50+ RESTful API
│   │   ├── core/                # 配置、消息、监控
│   │   ├── database/            # 模型与 Repository
│   │   ├── services/            # 业务逻辑层
│   │   └── main.py              # 应用入口
│   ├── requirements.txt
│   └── Dockerfile
│
├── frontend-前端代码/frontend/
│   ├── src/
│   │   ├── pages/               # 各功能页面
│   │   ├── components/          # 可复用组件
│   │   ├── services/            # API 服务
│   │   └── App.tsx
│   ├── package.json
│   └── vite.config.ts
│
├── tests/                       # 完整测试套件
│   ├── api/                     # API 测试
│   ├── ui/                      # UI 测试 (Playwright)
│   └── performance/             # 性能测试 (JMeter)
│
├── docs/                        # 项目文档
├── tools/                       # JMeter 等工具
└── docker-compose.yml           # 一键部署
```

---

## 📊 量化指标

| 指标 | 数值 |
|------|------|
| **支持的智能体类型** | 9 种 |
| **API 接口数量** | 50+ |
| **UI 自动化测试用例** | 支持无限扩展 |
| **脚本平均生成时间** | 30-60 秒 |
| **支持的浏览器** | Chrome / Firefox / Edge / Safari |
| **支持的数据库** | SQLite / MySQL / PostgreSQL |
| **前后端代码量** | ~15,000+ 行 Python + TypeScript |
| **测试覆盖模块** | 全业务流程 |

---

## 🎯 适用场景

### 🏢 企业场景
- **测试团队**：降低测试脚本编写门槛，新手也能产出高质量自动化测试
- **开发团队**：快速生成单元测试、集成测试的用例设计
- **产品团队**：将需求文档一键转化为可验收的测试标准

### 💼 自由职业 / 外包
- 快速交付客户的自动化测试需求
- 形成标准化的测试方案，提升交付效率与报价竞争力

### 🧑‍🎓 个人学习
- 学习 AI + 自动化测试的最佳实践
- 理解 Agent 架构、多模态 AI 的工程落地
- 作为简历项目展示技术深度

---

## 🌟 技术亮点

1. **智能体工厂模式**：统一管理 9 种智能体，易扩展
2. **多模型路由**：自动选择最合适的 AI 模型处理不同任务
3. **流式响应**：SSE 实时推送进度，无需轮询
4. **多数据库支持**：SQLite 快速上手 / MySQL 生产部署 / PostgreSQL 企业级
5. **热插拔架构**：新智能体无需修改核心代码即可注册
6. **模板系统**：内置常见测试场景，一键生成
7. **CI/CD 就绪**：GitHub Actions 自动化测试和部署
8. **可视化监控**：Prometheus + Grafana 全链路可观测

---

## 📞 联系方式

- **项目类型**：企业级 AI 测试平台 / 开源作品 / 技术咨询项目
- **可提供服务**：
  - ✅ 企业定制部署
  - ✅ 自动化测试方案咨询
  - ✅ AI 测试工具定制开发
  - ✅ 技术培训与团队搭建

---

## 📜 许可证

本项目用于学习、研究和商业项目参考。

---

**⭐ 如果这个项目对你有帮助，欢迎点赞收藏！**