Claude Code 全网爬取技能栈

Claude Code 配上这几个 Skill，基本能爬全网了。

1. 扒社媒（小红书 / X / 抖音 / YouTube / 公众号 / Reddit）

Agent-reach — 开源 AI 脚手架，支持多个平台通过 API 访问。安装 CLI 工具、配置搜索引擎，帮助 AI Agent 实现对各种平台的访问。

2. 批量抓数据 / 破反爬

Scrapling — 自适应网页抓取框架，支持从单次请求到全量爬取。内置静态、JS 渲染、反爬隐身三种抓取器，高速提取结构化数据、绕过 Cloudflare 等反爬，网页改版后能自动重新定位元素、不易失效。

3. 扒登录后的页面 / 让 AI 自己操作

Browser-use — 浏览器自动化框架，让 AI 像人一样操作网页。LLM 驱动，自主完成填表、点击、操作后台等多步任务，能复用 Chrome 里已登录的状态。

4. 要盯着它操作 / 复杂认证的页面

Claude in Chrome — Anthropic 官方浏览器扩展。把 Claude 装进真实的 Chrome，亲眼看着它在页面里点击、填写、操作，适合需要盯着、或认证特别复杂的页面。

5. 要全自动联网 / 接管日常 Chrome

Web-access — Agent 联网 Skill，覆盖从公开搜索到登录后操作的全场景。在 WebSearch / WebFetch / curl / CDP 之间自动择优，用 CDP 接管日常 Chrome（天然带登录态），还能检索本地浏览器的书签与历史。

核心原则

从轻到重，够用就停，能不开浏览器就别开。

实战案例：用这套扒一个课程网站，后台全流程把文档和视频扒下来、自动翻译加字幕、存进 Obsidian，非常丝滑。

---

来源: 0xEcho @ X