AI 爬虫与数据采集工具合集

海豚

🕷 🔁 AI 爬虫与数据采集工具合集

📦 网页抓取 ｜ AI Agent ｜ 反爬工具 ｜ 数据处理框架



🤖 browser-use
➤ AI浏览器代理，可点击/登录/填表/操作网页  
➤ 像真人一样执行复杂网页任务  
➤ ETH团队开发  
🔗 https://github.com/browser-use/browser-use  

———

🧱 Crawlee
➤ 生产级爬虫框架（Apify）  
➤ 支持代理轮换 / 自动重试 / 队列管理  
➤ 反封禁能力完善  
🔗 https://github.com/apify/crawlee  

———

🐍 Scrapy
➤ 工业级爬虫框架  
➤ 支持百万级网页抓取  
➤ 数据采集稳定成熟  
🔗 https://github.com/scrapy/scrapy  

———

📄 MarkItDown
➤ 多格式转 Markdown（网页/PDF/Office/图片）  
➤ AI数据处理标准化工具  
🔗 https://github.com/microsoft/markitdown  

———

🧠 Scrapling
➤ 自适应反爬框架  
➤ 自动适配网站结构变化  
➤ 提升稳定性  
🔗 https://github.com/D4Vinci/Scrapling  

———

📱 scrcpy
➤ 安卓远程控制工具  
➤ 用于移动端数据采集/自动化  
🔗 https://github.com/Genymobile/scrcpy  

———

🔍 AutoScraper
➤ 自动规则爬虫（无需写选择器）  
➤ 输入样本自动学习规则  
🔗 https://github.com/alirezamika/autoscraper  

———

🌐 curl_cffi
➤ 浏览器级HTTP请求库  
➤ 模拟真实Chrome指纹（TLS/JA3）  
➤ 反检测能力强  
🔗 https://github.com/lexiforest/curl_cffi  



📌 简单说：
👉 这是一整套从“AI自动操作网页”到“工业级爬虫与反反爬”的完整数据采集工具链。