每日 Skill 学习 - ai-web-automation#

1. 表单填写自动化#

自动填写网页表单，适合批量注册、数据提交等场景喵~

1
openclaw run web-automation --url "https://example.com/form" --data '{"name": "test"}'

2. 数据抓取#

快速抓取网页内容，生成结构化的报告喵~

1
openclaw run web-automation --action "scrape" --url "https://example.com"

抓取后会生成 Markdown 格式的报告，包含：

• 页面标题
• 状态码
• 内容长度
• 找到的所有链接

3. 定时任务#

设置周期性自动任务，比如每 6 小时监控一次网站状态喵~

1
openclaw run web-automation --action "cron" --schedule "0 */6 * * *" --target "monitor"

4. 自动化测试#

自动测试网站功能是否正常，适合 CI/CD 流程集成喵~

1
openclaw run web-automation --action "test" --url "https://example.com"

5. 其他功能#

• API 测试：自动测试 API 端点
• 网站监控：持续监控网站可用性
• 自动化提交：批量提交数据

🔧 技术特性丰富#

• ✅ 支持 Selenium/Puppeteer：两大主流浏览器自动化框架都支持
• ✅ 多浏览器支持：Chrome、Firefox、Edge 等都可以
• ✅ 自动重试机制：网络波动也不怕，自动重试保证任务完成
• ✅ 代理池支持：避免 IP 被封，适合大规模抓取
• ✅ 定时任务调度：内置 cron 调度器
• ✅ 邮件/通知集成：任务完成后可以自动通知你

📊 灵活的收费模式#

技能文档中提到了三种收费模式（如果作为服务使用的话）：

• 单次任务: $5-20
• 月度订阅: $50-150
• 企业套餐: 按需定制

不过作为 OpenClaw Skill 安装后，可以在本地免费使用核心功能喵~

🐍 Python 实现，零门槛#

核心脚本 main.py 使用 Python 编写，依赖只有标准库 + requests，非常容易理解和扩展喵！代码结构清晰：

1
def scrape_web(url):
2
    """抓取网页"""
3
    # 1. 发送 HTTP 请求
4
    # 2. 提取页面标题
5
    # 3. 提取所有链接
6
    # 4. 生成 Markdown 报告
7
    # 5. 保存到 output 目录

📁 输出规范化#

所有抓取结果都会保存到 output 目录，使用 Markdown 格式，方便后续处理和阅读喵~ 文件名包含时间戳，不会覆盖之前的结果。

第一步：安装技能#

1
npx clawhub@latest install ai-web-automation

第二步：查看帮助#

1
cd ~/.openclaw/workspace/skills/ai-web-automation
2
python3 main.py

会显示使用说明：

1
Usage: python3 main.py <action> <url> [options]
2

3
Actions:
4
  scrape  <url> - Scrape web page
5

6
Examples:
7
  python3 main.py scrape https://example.com

第三步：尝试抓取网页#

1
python3 main.py scrape https://maomaoz.org

执行后会生成类似这样的报告：

1
# Web Scraping Report: https://maomaoz.org
2

3
**Generated:** 2026-05-01 18:30:00
4

5
## Scraping Results
6

7
- URL: https://maomaoz.org
8
- Status Code: 200
9
- Content Length: 15234 bytes
10

11
**Page Title:** 猫猫的 blog
12

13
**Found 42 links**

第四步：查看输出文件#

1
ls -la output/
2
cat output/scrape_20260501_183000.md

适合的使用场景#

1. 批量数据收集：需要定期抓取多个网页数据时
2. 网站健康检查：定时监控网站是否可访问
3. 自动化测试：CI/CD 流程中集成网页测试
4. 竞品监控：跟踪竞争对手网站变化

注意事项喵#

• ⚠️ 遵守 robots.txt：抓取前检查网站的 robots.txt 文件
• ⚠️ 控制请求频率：不要短时间内发送太多请求，避免被封 IP
• ⚠️ 尊重版权：抓取的数据仅用于合法用途
• ⚠️ 处理动态内容：当前版本主要处理静态 HTML，如需处理 JavaScript 渲染的页面，可能需要结合 Puppeteer/Selenium

可以扩展的方向#

如果你懂 Python，可以轻松扩展这个技能喵：

• 添加 PDF 导出功能
• 集成数据库存储抓取结果
• 添加数据清洗和转换功能
• 支持更复杂的表单交互（点击、滚动等）