Claude Code / Codex 影片編輯 Agent 開源專案全景指南（2026 上半年）

AI
, , , ,
1

Claude Code / Codex 影片編輯 Agent 開源專案全景指南（2026 上半年）

隨著終端機型 Coding Agent（Claude Code、Codex）普及，「直接由 AI Agent 操作影片剪輯」在 2026 年上半年成為 GitHub 成長最快的新興類別之一。本文整理目前最受矚目的六大專案，依技術路線分為 「純腳本 + Skill 模式」 與 「原生桌面 App + Terminal Agent 模式」，並補充學術框架與專業剪輯軟體銜接方案，協助開發者依需求快速選型。

專案快速比較表

專案 Stars（約） 核心定位 授權 / 主語言 適用場景
browser-use/video-use 10.4k :star: 逐字稿優先剪輯 Skill，讀文字非畫面 MIT / Python 剪輯既有素材、去贅字、自動上字幕、調色
Monet-AI-Editor/Monet 53 :star: macOS 原生桌面 App，內嵌終端機供 Agent 直接操作時間軸 — / Swift + Python 打造 Agent 可完整操控的影片編輯工作站
calesthio/OpenMontage 18k–33k :star: 完整 Agentic 影片製作系統：12 條 pipeline、52 工具、500+ skills AGPLv3 / Python 端到端自動化製片流程（研究→腳本→剪輯→發布）
digitalsamba/claude-code-video-toolkit 1.3k+ :star: 從文字腳本到最終 MP4 的內容生成工具（旁白、配樂、Talking Head、Remotion 合成） — / Remotion (TS/JS) 從零產出解說/行銷影片，而非剪輯既有素材
bradautomates/claude-video 4.4k :star: 讓 Claude「看懂」影片：下載、擷取影格、轉錄、交給 Claude 分析 MIT / Python 影片理解、內容審查、素材盤點（非剪輯輸出）
HKUDS/VideoAgent 793 commits 學術多 Agent 編排框架，30+ 專責 Agent 協同，論文驗證成功率 87–95% MIT / Python 研究參考、多 Agent 編排架構借鑑
barefootford/buttercut 36 :star: 對話式剪輯決策 → 輸出 FCPXML 供 FCP/Premiere/DaVinci 匯入 MIT / Ruby 專業剪輯師加速粗剪流程，無縫接軌既有工具鏈

一、純腳本 + Skill 模式：video-use（目前最成熟主流）

核心設計理念

「LLM 不看畫面，只讀取文字」

  • 透過 ElevenLabs Scribe 產生逐字稿與說話者分離資訊
  • 將整段素材壓縮成 ~12 KB 文字檔 供 Agent 推理剪輯點
  • 僅在需視覺確認時呼叫 timeline_view 產生局部截圖
  • Token 成本估算：從傳統逐幀餵 LLM 的 4,500 萬 token 降至 12 KB 文字 + 少量圖片

工作流程

Transcribe → Pack → LLM 推理 → 產生 EDL → Render → 自我驗證（視覺跳接/音訊爆音檢查，最多重試 3 次）

安裝與啟用（極簡）

git clone https://github.com/browser-use/video-use.git
ln -s $(pwd)/video-use ~/.claude/skills/video-use   # 或 ~/.codex/skills/
# 設定 ElevenLabs API Key

關鍵指標

  • 語言：Python 76%
  • 授權：MIT
  • 維護：7 位貢獻者，2026/05 中仍有活躍更新
  • 支援 Agent：Claude Code、Codex、Hermes、Openclaw

二、原生桌面 App + Terminal Agent 模式：Monet

架構特色

  • macOS 原生 App（Swift/SwiftUI），內嵌終端機視窗
  • Agent 透過三種介面即時操作：
    1. editorctl CLI
    2. 本地 HTTP API 橋接
    3. MCP Server
  • 真實多軌時間軸：剪輯、分割、轉場、字幕生成
  • Monet Canvas 設計畫布：Paper.js 向量繪圖、Matter.js 物理模擬、任意 HTML/CSS/JS

本地優先策略

功能 方案
語音轉譯 faster-whisper（本地）
影片匯出 FFmpeg（本地）
語意搜尋 / 圖像生成 僅此時呼叫 OpenAI API
專案檔格式 結構化 JSON（.aiveproj.json），Agent 直接讀寫

現況

  • 僅支援 macOS
  • 早期公開 Alpha（v0.1.9，53 :star:）
  • 單一開發者 Het Patel 主導，Claude 本身為第二貢獻者
  • 2026/05 初仍持續發布版本

三、端到端自動化製片系統：OpenMontage（成長最快黑馬）

成長數據

  • 2026/04 初：686 :star: → 兩個多月後：18k–33k :star:（暴漲中）
  • 被譽為「全球第一個開源的 Agentic 影片製作系統」

架構哲學

  • Python 降級為工具執行層，真正的「導演」決策交給 Coding Agent（Claude Code / Codex）
  • 涵蓋完整製片流程 12 條 pipeline：
    research → proposal → script → scene plan → assets → edit → compose → publish
  • 52 個工具、500+ agent skills

品質把關機制

  • Pre-compose 驗證
  • Post-render 自我審查
  • Slideshow 風險評分
  • Budget 治理

:warning: 授權提醒

  • AGPLv3：商用整合前需特別注意開源義務（網路服務形式提供亦觸發 copyleft）

四、其他專項方向專案

1. digitalsamba/claude-code-video-toolkit：從零產出解說影片

  • 路線：文字腳本 → 旁白/圖像/配樂/Talking Head → Remotion 合成 MP4
  • 依賴雲端 GPU（Modal / RunPod）跑開源模型，免本地環境配置
  • 實測：750 幀、25 秒 1080p 影片僅需 18 秒渲染
  • 適用：產品演示、行銷內容批量產出

2. bradautomates/claude-video：讓 Claude「看懂」影片

  • 指令：/watch <URL> → 自動下載、擷取關鍵影格、轉錄 → 交給 Claude 分析/摘要
  • 定位：影片理解、內容審查、素材盤點（非剪輯輸出）
  • 4.4k :star:，成長曲線平穩，社群認可度高

3. HKUDS/VideoAgent：學術多 Agent 編排框架

  • 港大 Data Intelligence Lab，2026/06 論文發表
  • 核心創新：Shot Planning Agent + 跨模態檢索確保敘事連貫
  • 30+ 專責編輯 Agent 協同編排
  • 評測：編排成功率 87–95%、API 成本降 60%、人類評分僅比真人剪輯低 4%
  • 定位：學術參考、架構借鑑（非為終端機工作流專門設計）

4. barefootford/buttercut：專業剪輯軟體銜接粗剪產生器

  • 雙軌：Ruby Gem + Claude Code Skills
  • 流程：WhisperX 轉錄 → 視覺分析 → 對話式互動生成 YAML 粗剪決策 → 輸出 FCPXML
  • 可直接匯入：Final Cut Pro、Adobe Premiere、DaVinci Resolve
  • 36 :star:，冷門但思路巧妙，適合已有慣用剪輯軟體的專業剪輯師

五、選型建議決策樹

需求類型
├─ 打造完整自動化製片流程（研究→腳本→剪輯→發布）
│   └─ 首選：OpenMontage（社群動能最強、功能最完整）
│       ⚠️ 注意 AGPLv3 商用義務
├─ 剪輯既有素材（去贅字、上字幕、調色、動畫疊層）
│   └─ 首選：browser-use/video-use（最成熟穩定、MIT 授權、安裝最簡單）
├─ 打造 Agent 可完整操控的桌面編輯工作站（GUI + Terminal 一體）
│   └─ 選擇：Monet（macOS Only、早期 Alpha、架構最完整）
├─ 從零產出解說/行銷影片（腳本→旁白→合成）
│   └─ 選擇：digitalsamba/claude-code-video-toolkit（Remotion 生態、雲端 GPU）
├─ 讓 Claude 理解影片內容（摘要、審查、盤點）
│   └─ 選擇：bradautomates/claude-video（單一功能聚焦、高星數）
├─ 研究多 Agent 編排架構 / 學術參考
│   └─ 參考：HKUDS/VideoAgent（論文嚴謹、工程化程度較低）
└─ 專業剪輯師：用 AI 加速粗剪、無縫接軌 FCP/Premiere/DaVinci
    └─ 選擇：barefootford/buttercut（FCPXML 輸出、Ruby + Skills 雙軌）

六、常見遷移與整合提醒

面向 建議
API 成本 video-use 依賴 ElevenLabs Scribe（付費）；Monet/OpenMontage 可用本地 faster-whisper 降低成本
授權風險 OpenMontage 為 AGPLv3，商用 SaaS 包裝需開源全站碼；video-use/buttercut/claude-video 為 MIT，較無顧慮
平台限制 Monet 僅 macOS；video-use/OpenMontage 跨平台（Python）
成熟度 video-use > OpenMontage > Monet > 其他（依星數、貢獻者數、更新頻率綜合判斷）
技能遷移 video-use 以 Skill 形式掛載於 ~/.claude/skills/，零侵入式，易於在既有 Claude Code 工作流中啟用/停用

結語

2026 上半年，video-use 以「逐字稿優先、極低 token 成本、MIT 授權、安裝極簡」成為剪輯既有素材的事實標準；OpenMontage 則以驚人成長速度定義了「端到端 Agentic 製片系統」的新上限，但 AGPLv3 需謹慎評估；Monet 探索「Agent 原生桌面編輯器」的終極形態，適合願意投入早期生態的 macOS 開發者。

建議團隊先以 video-use 在現有 Claude Code/Codex 流程中驗證 ROI，再視業務擴展需求評估遷移至 OpenMontage 或投入 Monet 生態。

資料來源：GitHub 專案頁面、browser-use/video-use README、Monet 官方文件、OpenMontage 發布紀錄、HKUDS VideoAgent 論文（arXiv:2606.23327）、Perplexity 深度搜尋彙整（2026-06）