Midscene.js 是一款由人工智能驅動的自動化 SDK，旨在簡化 UI 自動化測試流程，提升測試效率和質量。它通過自然語言交互、多模態大語言模型（LLM）和可視化工具等核心功能，為開發者提供了一種高效、直觀的自動化測試解決方案。

Midscene.js官網入口網址：https://midscenejs.com/zh/index.html

Midscene.js開源項目地址：https://github.com/web-infra-dev/midscene

核心功能與特點

• 自然語言交互：用戶可以通過自然語言描述操作步驟，Midscene.js 將自動規劃并控制用戶界面。例如，用戶可以輸入“點擊登錄按鈕”，Midscene.js 會根據頁面內容自動執行點擊操作。支持對數據格式的提示，用戶可以要求以 JSON 格式返回預期結果，從而實現更精確的數據提取和斷言。
• 多模態大語言模型支持：Midscene.js 支持使用公共多模態 LLM（如 GPT-4）和開源模型（如 UI-TARS），無需自定義訓練即可快速上手。這種設計降低了使用門檻，使得非技術背景人員也能輕松參與測試工作。
• 直觀斷言：用戶可以用自然語言表達斷言，Midscene.js 基于 AI 理解并執行這些斷言，減少了編寫復雜斷言邏輯的需求，提高了測試的準確性和可靠性。
• 可視化報告與調試工具：Midscene.js 提供詳細的可視化報告，幫助用戶輕松理解和調試整個測試過程。報告中包含每個步驟的執行情況和結果，便于快速定位問題。內置 Playground 功能允許用戶在不重新加載頁面的情況下調整測試腳本，進一步提升了調試效率。
• 高集成性與靈活性：Midscene.js 支持與多種工具集成，包括 Puppeteer、Playwright 和 YAML 腳本等，適用于多種自動化測試場景。用戶可以選擇公共或私有部署模式，確保數據安全性和隱私保護。
• 開源與社區支持：Midscene.js 是一個開源項目，用戶可以在 GitHub 上獲取源碼并參與貢獻。官方網站提供了快速體驗指南、API 參考文檔和可視化工具，幫助用戶快速上手。

應用場景

Midscene.js 適用于多種自動化測試場景，包括但不限于：

• 自動化測試：通過自然語言描述測試步驟，Midscene.js 自動執行操作并生成測試報告。
• 數據抓取：從網頁中提取關鍵信息并以結構化格式輸出。
• 性能監控：實時監控網頁性能指標，及時發現潛在問題。
• 界面一致性檢查：確保網頁界面在不同設備和瀏覽器上的表現一致。

技術原理

Midscene.js 的技術原理基于自然語言處理（NLP）、界面理解技術和多模態大語言模型（LLM）。通過解析用戶的自然語言指令，Midscene.js 能夠理解用戶意圖并生成相應的操作步驟。這一過程涉及以下幾個關鍵步驟：

• 自然語言解析：將用戶的自然語言描述轉換為具體的操作指令。
• 界面理解：通過 AI 技術分析網頁內容，確定操作目標。
• 數據提取與斷言：根據用戶需求提取數據，并生成斷言以驗證測試結果。

使用方法

1. 安裝 Chrome 插件：用戶可以通過訪問 Midscene.js 官網下載并安裝 Chrome 插件。
2. 編寫測試腳本：在插件中輸入自然語言描述的操作步驟，Midscene.js 將自動執行并生成測試報告。
3. 調試與優化：利用可視化報告和 Playground 功能，用戶可以輕松調試和優化測試腳本。

Midscene.js 是一款革命性的 UI 自動化測試工具，通過 AI 技術簡化了測試流程，降低了學習曲線。它不僅提升了測試效率和準確性，還為非技術背景人員提供了參與測試的可能性。無論是自動化測試、數據抓取還是性能監控，Midscene.js 都能提供強大的支持。通過開源社區的支持和豐富的集成選項，Midscene.js 成為了開發者和測試工程師的理想選擇。