# wechat_article_collection

**Repository Path**: keyline/wechat_article_collection

## Basic Information

- **Project Name**: wechat_article_collection
- **Description**: 微信公众号文章采集
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2026-07-04
- **Last Updated**: 2026-07-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 微信公众号文章爬虫

一个基于浏览器自动化的微信公众号文章爬虫，使用 DrissionPage 框架模拟人工操作，从微信公众号平台爬取指定公众号的历史文章信息。

## 功能特性

- 自动登录微信公众号平台（需手动扫码）
- 支持批量爬取多个公众号的文章
- 自动提取文章标题、发布日期、文章链接
- 支持精确匹配和模糊匹配公众号名称
- 数据导出为 Excel 格式

## 环境要求

- Python 3.8+
- Chrome 浏览器
- Windows/macOS/Linux

## 安装依赖

```bash
pip install -r requirements.txt
```

## 使用方法

### 基本用法

```bash
# 运行默认账号（木木自由）
python wechat.py

# 指定单个公众号
python wechat.py --accounts "木木自由"

# 指定多个公众号（使用中文逗号分隔）
python wechat.py --accounts "木木自由，丁香医生"
```

### 首次使用流程

1. 运行脚本后，会自动打开 Chrome 浏览器并跳转到微信公众号平台登录页
2. 使用手机微信扫描二维码登录
3. 登录成功后，脚本会自动继续执行
4. 爬取完成后，数据将保存到 `data/` 目录

### 输出文件

爬取的数据将保存为 Excel 文件：

- 多账号爬取：`wechat_articles_YYYYMMDD_HHMMSS.xlsx`
- 单账号爬取：`文章列表_<账号名>_YYYYMMDD_HHMMSS.xlsx`

Excel 文件包含以下字段：
- `account`: 公众号名称
- `title`: 文章标题
- `date`: 发布日期
- `link`: 文章链接

## 项目结构

```
.
├── wechat.py           # 主爬虫脚本
├── requirements.txt    # 依赖文件
├── README.md          # 项目说明
├── data/              # 数据输出目录
└── CLAUDE.md          # 项目架构文档
```

## 技术实现

### 浏览器自动化

- 使用 `DrissionPage` 框架控制 Chrome 浏览器
- 模拟人工操作：点击、输入、滚动等
- 支持动态等待页面元素加载

### 数据提取

- 使用 XPath 定位页面元素
- 提取文章标题、日期、链接等信息
- 使用 pandas 导出为 Excel 格式

### 公众号匹配策略

1. 精确匹配：公众号名称与搜索词完全一致
2. 包含匹配：公众号名称包含搜索词（长度≥3时启用）
3. 微信号匹配：支持通过微信号搜索

## 注意事项

1. **登录状态**：首次使用需要扫码登录，登录状态会保持一段时间
2. **频率限制**：避免频繁爬取，建议适当控制爬取速度
3. **账号安全**：请妥善保管账号密码，不要泄露给他人
4. **数据使用**：爬取的数据仅供个人学习研究使用，请遵守相关法律法规

## 常见问题

### Q: 提示找不到 Chrome 浏览器？
A: 请确保 Chrome 浏览器已安装，并添加到系统环境变量。

### Q: 扫码登录后脚本没有继续执行？
A: 可能是页面加载超时，请检查网络连接，或尝试增加脚本中的等待时间。

### Q: 爬取的数据不完整？
A: 部分公众号可能有反爬虫机制，建议降低爬取频率，或分多次爬取。

## 许可证

本项目仅供学习研究使用，禁止用于商业用途。

## 更新日志

### 2024-03-03
- 初始版本发布
- 实现基本的公众号文章爬取功能
- 支持多账号批量爬取
- 数据导出为 Excel 格式