Agent Board · 實測詳細說明
首頁的數字,是這樣測出來的
同一句話交給 AI agent,請它在五個看板工具上開單、接手單。下面每一節先講答案,再給你看每一次執行的資料。結論摘要在首頁。
怎麼測
不給指令範例、不給 ID、不准讀說明文件。2026-10-07 測五家;Agent Board 0.4.3 於 10-08 用同一題重測,下面 Agent Board 的開單數字都是這次。
開一張單
Agent Board 每一次都在 10 秒內完成,Jira 最快的一次也要 20 秒
橫條越短,表示每次花的時間越穩定。最後開出來的單每一家都正確,「中途出錯」只代表過程中有一次呼叫失敗後重試。Notion 有 2 次發現已有同樣的單而沒新建,只算有建單的 13 次。把滑鼠移到橫條上可以看最快、最慢與中間一半的秒數;每一次的數字在頁尾。
為什麼差這麼多
別家要先查幾次,才知道單該怎麼寫
能直接寫名稱,一樣兩步;慢在每次呼叫本身。
建單時不能指定狀態,要建完再轉。同名單累積後要多搜幾次,從 5 次漲到最多 10 次。
每一格是一次工具呼叫,左邊是中位數。路徑取自每家最典型的一次執行。
接手一張單
看狀態、改完成、留註記:Agent Board 約 10 秒,其他四家 16 到 22 秒
每組 13 次,每次一張不同的單。這一題只比耗時:CLI 一次 Bash 能串好幾個指令,比呼叫次數對它不公平。所有單事後讀回都已完成;註記在 Jira 與 Agent Board 讀回確認,其他家以 agent 回報為準。
口語開單
說「準備發表會」也能開對專案:正確率 100%(19/19)
看板上的專案正式名稱是 AB-Benchmark,事先登記了「準備發表會」這個叫法,CLI、MCP 各跑 15 次。沒登記時,看板會擋下不認識的名稱並列出選項;但「agent 會停下來問你」這件事這次沒量到,因為 subagent 沒有人可以問。
讀這些數字時要記得
完整數字與原始資料
開單:各家完整數字 中位數與範圍、token、出錯次數
| 工具 | 呼叫次數 | 耗時(秒) | 輸入 token(萬) | 中途出錯 | 單子正確 |
|---|---|---|---|---|---|
| Agent Board MCP0.4.3 | 2 | 6.5(6.1–8.3) | 28.5 | 0/15 | 15/15 |
| Agent Board CLI0.4.3 | 1(1–2) | 5.7(5.1–9.3) | 18.7(18.7–28.3) | 0/15 | 15/15 |
| Agent Board MCP0.4.1 | 2 | 6.1(5.4–8.5) | 27.1 | 0/15 | 15/15 |
| Agent Board CLI0.4.1,叫法未登記 | 2(2–3) | 7.1(6.6–11.3) | 27.0(27.0–36.1) | 15/15 | 15/15 |
| Linear | 2(2–3) | 12.3(10.3–19.1) | 27.9(27.9–37.7) | 1/15 | 15/15 |
| Plane | 4 | 17.1(15.6–24.5) | 47.4 | 0/15 | 15/15 |
| Notion有建單的 13 次 | 4(4–5) | 18.4(15.1–23.7) | 39.3(39.3–50.2) | 0/13 | 13/13 |
| Jira | 7(5–10) | 27.2(20.5–40.3) | 67.8(47.3–107.3) | 5/15 | 15/15 |
0.4.1 的 CLI 每次都先把口語名當專案名而被拒,所以 15 次都出錯一次;0.4.3 登記叫法後不再被拒。
接手:各家完整數字
| 工具 | 呼叫次數 | 耗時(秒) | 輸入 token(萬) | 中途出錯 | 單子正確 |
|---|---|---|---|---|---|
| Agent Board CLI | 2(2–4) | 10.0(7.2–15.4) | 27.2(27.0–37.7) | 0/13 | 13/13 |
| Agent Board MCP | 4 | 10.5(8.8–18.0) | 37.8(37.7–38.0) | 0/13 | 13/13 |
| Linear | 5(4–5) | 16.0(14.4–18.3) | 38.0(37.9–38.0) | 0/13 | 13/13 |
| Jira | 5(4–6) | 19.8(16.0–27.5) | 47.2(37.5–47.3) | 1/13 | 13/13 |
| Plane | 6(5–6) | 21.0(19.7–26.0) | 47.9(47.6–47.9) | 0/13 | 13/13 |
| Notion | 5(4–6) | 21.9(18.9–30.9) | 49.3(29.0–59.7) | 1/13 | 13/13 |
開單:每一次執行 2026-10-07,Agent Board 0.4.1
| 次 | Agent Board CLI | Agent Board MCP | Linear | Plane | Notion | Jira | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | |
| 1 | 3! | 10.0 | 36.1 | 2 | 8.5 | 27.1 | 3 | 15.3 | 37.6 | 4 | 16.5 | 47.4 | 4 | 17.1 | 48.8 | 5 | 22.1 | 47.4 |
| 2 | 2! | 7.1 | 27.0 | 2 | 5.4 | 27.1 | 2 | 10.5 | 28.0 | 4 | 23.8 | 47.4 | 5 | 22.0 | 50.2 | 5 | 20.5 | 47.4 |
| 3 | 2! | 6.6 | 27.0 | 2 | 6.5 | 27.1 | 2 | 10.8 | 27.9 | 4 | 16.3 | 47.4 | 4 | 17.5 | 39.3 | 7 | 28.4 | 75.9 |
| 4 | 2! | 6.7 | 27.0 | 2 | 5.5 | 27.1 | 3 | 13.9 | 37.7 | 4 | 15.6 | 47.4 | 4 | 18.5 | 38.7 | 6 | 25.2 | 56.6 |
| 5 | 2! | 7.6 | 27.0 | 2 | 6.9 | 27.1 | 3 | 18.9 | 37.6 | 4 | 15.6 | 47.4 | 4 | 16.0 | 49.0 | 7 | 30.1 | 78.3 |
| 6 | 2! | 7.2 | 27.0 | 2 | 7.6 | 27.1 | 2 | 11.7 | 27.9 | 4 | 18.9 | 47.4 | 4 | 14.1 | 38.7 | 8! | 29.1 | 78.9 |
| 7 | 2! | 7.4 | 27.0 | 2 | 6.1 | 27.1 | 2 | 11.8 | 27.9 | 4 | 17.1 | 47.4 | 4 | 18.6 | 39.3 | 8! | 39.4 | 88.1 |
| 8 | 3! | 8.8 | 36.1 | 2 | 6.6 | 27.1 | 2 | 12.3 | 28.0 | 4 | 21.8 | 47.4 | 4 | 23.7 | 49.0 | 9! | 38.5 | 97.0 |
| 9 | 3! | 9.7 | 36.1 | 2 | 5.7 | 27.1 | 3! | 19.1 | 37.5 | 4 | 16.9 | 47.4 | 4 | 19.2 | 39.3 | 7 | 22.9 | 67.8 |
| 10 | 2! | 6.6 | 27.0 | 2 | 5.8 | 27.1 | 3 | 15.7 | 37.6 | 4 | 17.3 | 47.4 | 4 | 17.9 | 39.3 | 8! | 32.8 | 88.1 |
| 11 | 2! | 6.6 | 27.0 | 2 | 5.9 | 27.1 | 2 | 10.3 | 27.9 | 4 | 18.3 | 47.4 | 4 | 18.4 | 39.3 | 10! | 40.3 | 107.3 |
| 12 | 2! | 6.7 | 27.0 | 2 | 5.8 | 27.1 | 2 | 13.4 | 27.9 | 4 | 24.5 | 47.4 | 4 | 15.1 | 39.3 | 5 | 25.5 | 47.3 |
| 13 | 2! | 11.3 | 27.0 | 2 | 7.9 | 27.1 | 2 | 11.8 | 27.9 | 4 | 15.9 | 47.4 | 5 | 18.9 | 50.2 | 6 | 27.2 | 66.0 |
| 14 | 2! | 6.9 | 27.0 | 2 | 6.1 | 27.1 | 2 | 11.3 | 27.9 | 4 | 17.4 | 47.4 | 4 | 15.7 | 39.3 | 5 | 23.5 | 56.8 |
| 15 | 2! | 6.7 | 27.0 | 2 | 6.0 | 27.1 | 2 | 12.3 | 27.9 | 4 | 16.2 | 47.4 | 5 | 18.9 | 50.2 | 5 | 21.3 | 56.8 |
開單:Agent Board 0.4.3 每一次執行 2026-10-08
| 次 | Agent Board CLI | Agent Board MCP | ||||
|---|---|---|---|---|---|---|
| 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | |
| 1 | 1 | 6.9 | 18.7 | 2 | 7.5 | 28.5 |
| 2 | 1 | 6.3 | 18.7 | 2 | 6.4 | 28.5 |
| 3 | 1 | 6.5 | 18.7 | 2 | 6.4 | 28.5 |
| 4 | 1 | 5.4 | 18.7 | 2 | 8.3 | 28.5 |
| 5 | 1 | 5.6 | 18.7 | 2 | 6.8 | 28.5 |
| 6 | 1 | 5.4 | 18.7 | 2 | 6.5 | 28.5 |
| 7 | 1 | 5.5 | 18.7 | 2 | 6.2 | 28.5 |
| 8 | 1 | 5.7 | 18.7 | 2 | 6.3 | 28.5 |
| 9 | 1 | 5.1 | 18.7 | 2 | 6.4 | 28.5 |
| 10 | 2 | 9.3 | 28.3 | 2 | 6.7 | 28.5 |
| 11 | 2 | 8.8 | 28.3 | 2 | 6.5 | 28.5 |
| 12 | 1 | 5.5 | 18.7 | 2 | 6.8 | 28.5 |
| 13 | 1 | 6.2 | 18.7 | 2 | 6.5 | 28.5 |
| 14 | 1 | 5.5 | 18.7 | 2 | 6.8 | 28.5 |
| 15 | 1 | 5.9 | 18.7 | 2 | 6.1 | 28.5 |
接手:每一次執行 2026-10-07
| 次 | Agent Board CLI | Agent Board MCP | Linear | Jira | Plane | Notion | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | 呼叫 | 秒 | 萬 token | |
| 1 | 2 | 7.9 | 27.2 | 4 | 8.9 | 37.7 | 5 | 15.6 | 38.0 | 4 | 16.0 | 37.5 | 6 | 19.8 | 47.9 | 5 | 24.7 | 49.3 |
| 2 | 2 | 10.4 | 27.2 | 4 | 12.9 | 37.7 | 5 | 15.6 | 38.0 | 4 | 17.4 | 37.5 | 6 | 25.9 | 47.9 | 5 | 27.4 | 49.4 |
| 3 | 2 | 11.0 | 27.2 | 4 | 12.2 | 37.7 | 4 | 14.5 | 37.9 | 5 | 19.5 | 47.2 | 5 | 19.7 | 47.6 | 5 | 19.3 | 49.3 |
| 4 | 4 | 9.7 | 37.7 | 4 | 10.5 | 37.8 | 5 | 16.0 | 37.9 | 4 | 16.0 | 37.6 | 5 | 21.2 | 47.6 | 6 | 30.9 | 59.7 |
| 5 | 2 | 9.3 | 27.2 | 4 | 9.2 | 37.8 | 5 | 16.1 | 38.0 | 5 | 19.8 | 47.2 | 6 | 20.9 | 47.9 | 5 | 26.4 | 49.4 |
| 6 | 2 | 10.2 | 27.2 | 4 | 8.8 | 37.8 | 5 | 17.6 | 38.0 | 5 | 27.5 | 47.2 | 5 | 21.9 | 47.6 | 4 | 22.1 | 39.0 |
| 7 | 2 | 10.4 | 27.2 | 4 | 13.7 | 37.8 | 5 | 15.7 | 38.0 | 5 | 22.0 | 47.2 | 5 | 19.9 | 47.6 | 5 | 21.8 | 49.4 |
| 8 | 2 | 7.7 | 27.2 | 4 | 10.7 | 37.9 | 5 | 16.3 | 37.9 | 5 | 23.9 | 47.2 | 5 | 26.0 | 47.6 | 6! | 26.7 | 46.2 |
| 9 | 2 | 10.0 | 27.2 | 4 | 9.1 | 37.9 | 4 | 18.3 | 37.9 | 5 | 19.3 | 47.2 | 6 | 22.0 | 47.9 | 5 | 21.9 | 49.4 |
| 10 | 2 | 13.5 | 27.1 | 4 | 9.2 | 37.9 | 5 | 17.5 | 38.0 | 6! | 20.0 | 47.3 | 6 | 22.9 | 47.9 | 5 | 19.3 | 49.3 |
| 11 | 2 | 15.4 | 27.0 | 4 | 13.7 | 37.9 | 5 | 14.4 | 38.0 | 4 | 16.0 | 37.5 | 6 | 21.0 | 47.9 | 5 | 19.9 | 49.1 |
| 12 | 2 | 8.8 | 27.2 | 4 | 18.0 | 38.0 | 5 | 14.5 | 38.0 | 5 | 24.1 | 47.2 | 6 | 19.7 | 47.9 | 4 | 20.5 | 29.0 |
| 13 | 2 | 7.2 | 27.0 | 4 | 9.3 | 38.0 | 5 | 17.4 | 38.0 | 4 | 21.1 | 37.5 | 6 | 20.6 | 47.9 | 4 | 18.9 | 37.9 |
題目原文與計算方式
任務(用自然語言,像人對助理說的一樣): 請在「準備發表會」這個專案的看板新增一張單:標題「確認發表會場地與報價」,狀態設為進行中,優先度高,描述寫「預算上限 5 萬、要能容納 80 人」。 做完後只用一句話回報:建好了什麼、單子的編號或網址。 規則: - 只准動下面指定的測試空間;不要刪除或修改任何既有資料;不要向使用者詢問任何憑證。 - 工具若是延後載入的(需要先用 ToolSearch 取得 schema),照常做。 - 不要讀專案原始碼或文件來學怎麼用;直接用工具完成。 - 最後的回報要誠實:有沒有成功、哪裡卡過。 使用工具:〈該組的工具〉。要用的看板:〈該組的測試空間〉(就是「準備發表會」這個專案)。
任務(用自然語言,像人對助理說的一樣): 請接手這張單:〈單號〉。先看它現在的狀態與內容,然後把狀態改成「完成」,並在這張單上新增一筆註記:「已比對三個場地,報價 3.8 到 6.5 萬,建議選第二個」。 做完後只用一句話回報:現在這張單的狀態是什麼、註記有沒有寫上。 規則: - 只准動這一張單;不要刪除任何資料;不要向使用者詢問任何憑證。 - 工具若是延後載入的(需要先用 ToolSearch 取得 schema),照常做。 - 不要讀專案原始碼或文件來學怎麼用;直接用工具完成。 - 最後的回報要誠實:有沒有成功、哪裡卡過。 使用工具:〈該組的工具〉。這張單在〈該組的測試空間〉。
呼叫次數含載入工具那一次。耗時是 session 第一筆到最後一筆紀錄的時間差。token 是每個模型回應的輸入相加,同一個回應只算一次。「!」表示該次有工具呼叫回傳錯誤;劃掉的是 Notion 沒建單的兩次。原始紀錄含測試站台名稱與空間識別碼,不公開。
Agent Board 是開源的本機看板,MIT 授權:github.com/111588004/agent-board