UI-TARS（UI-TARS）是一個由字節跳動（ByteDance）開發的開源多模態智能體模型，旨在實現自動化GUI交互和復雜任務處理。其核心目標是通過結合視覺語言模型與強化學習，提升在圖形界面（GUI）、游戲、代碼使用和工具操作等任務中的表現。UI-TARS不僅具備強大的推理能力，還支持多種任務場景的自動化處理，例如桌面操作、移動設備操作、游戲交互等。

• UI-TARS官網入口網址：https://seed-tars.com/
• UI-TARS開源項目地址：https://github.com/bytedance/UI-TARS

主要特點與功能

• 開源與部署：UI-TARS 提供開源模型（如 UI-TARS-1.5-7B），支持通過 Hugging Face 和 GitHub 部署。
• 模型能力：支持桌面操作（鼠標點擊、拖拽、鍵盤輸入）、移動設備操作（長按、打開應用等）以及輕量級任務輸出。
• 推理與推理能力：通過強化學習增強推理能力，提升性能和適應性。
• 評估與基準：在多個基準測試中表現優異，如 Windows Agent Arena、WebVoyager、Android World 等。
• 局限性：存在濫用風險、計算資源需求高、可能產生幻覺、模型規模限制等。

版本與更新

• UI-TARS-1.5：當前主要版本，具備增強的 GUI、游戲和工具使用能力。
• UI-TARS-2：重大升級版本，集成更多能力，支持更復雜的任務。
• UI-TARS-1.5-7B：開源模型，可在 Hugging Face 上獲取。

使用與部署

• 部署方式：支持本地部署、Hugging Face 端點部署。
• 代碼示例：提供 Python 示例代碼，用于解析模型輸出并生成操作代碼。
• 坐標處理：提供坐標處理指南和可視化工具。

UI-TARS 是一個強大的多模態代理模型，適用于 GUI 交互、游戲、自動化任務等場景，具備開源、可部署、可擴展的特點，適合研究和實際應用。