Crawlee 是一個用于網絡爬蟲和瀏覽器自動化操作的庫，旨在幫助開發者構建可靠且高效的爬蟲系統。它支持多種編程語言，包括 JavaScript、TypeScript 和 Python，并提供了豐富的功能，如 HTTP 請求、無頭瀏覽器爬取、持久化隊列、數據存儲、代理輪換、自動擴展、錯誤處理等。

• Crawlee官網入口網址：https://crawlee.dev/
• Crawlee開源項目地址：https://github.com/apify/crawlee

Crawlee 的核心功能包括：

1. 統一接口：提供統一的接口用于 HTTP 請求和無頭瀏覽器（如 Playwright、Puppeteer）的爬取。
2. 持久化隊列：支持 URL 隊列的管理和持久化，確保爬取任務的可靠性和可恢復性。
3. 數據存儲：支持多種數據存儲方式，如文件存儲、數據庫存儲等。
4. 代理輪換：支持代理輪換和智能管理，以規避反爬蟲機制。
5. 自動擴展：支持自動擴展和資源優化，以適應不同規模的爬取任務。
6. 瀏覽器自動化：支持無頭和有頭模式，支持 JavaScript 渲染和動態內容處理。
7. 開發體驗：提供類型提示、代碼補全、錯誤檢測等功能，提升開發效率。

Crawlee 適用于多種應用場景，包括數據提取、網頁抓取、自動化任務等。它支持多種編程語言和工具鏈，如 Node.js、Python、Playwright、Puppeteer 等。

Crawlee 是一個功能強大且靈活的網絡爬蟲工具，適用于各種復雜的網絡爬取任務。