Claude Code Skill Benchmark

xs-helper:Claude Code 與 Codex 的 XS 助手

目前最新版本 見 Releases

XScript(XS)是 XQ 全球贏家的券商專屬語言,繁中、小眾、無公開編譯器。 同一份 XS skill 可在 Claude Code 用 /xs、在 Codex 用 $xs。 下方以 Claude Opus 4.8 跑 8 個真實任務,量化載入 skill 帶來的差距。

核心結果8 個真實 XS 任務 · 載入 skill vs 未載入(baseline)· 同一模型 Claude Opus 4.8

載入 vs 未載 skill
100%
載入 skill
vs
75%
未載 baseline
▲ +25pt
0
載 skill 的幻覺 token
baseline 有 3/8 案例中招
6/6
正確標記 {@type:}
baseline 0/6
不唬爛
做不到就說做不到,不清楚就查官方站幫你查清楚——絕不杜撰不存在的函數

怎麼測的? 每個任務跑兩組獨立 agent:一組載入 /xs skill(含蒸餾後的 XS reference + F3 線上查證), 一組完全不載、純憑模型自身知識(並明令禁止讀取本專案任何檔案)。兩組產出依客觀 assertion 評分—— 包含「腳本類型標記是否正確」「邏輯是否符合需求」,以及用專案自帶的 xs_lint (內建 604 個已知 XS token)程式化掃描是否出現幻覺/不存在的函數。共 8 案例、38 條 assertion,分兩輪(基本題 + 刁鑽題)。

逐案例通過率綠=載 skill,黃=baseline;數字為該案例 assertion 通過率

載 skill 未載 skill(baseline)

差距出在哪裡跨兩輪穩定重現的四個區分點

1. 防止「跨語言張冠李戴」的幻覺skill 完勝

baseline 多次把 EasyLanguage / MultiCharts 的詞搬進 XS:MarketPosition、EntryPrice(自動交易題)、 InIndex("SPX")(美股選股題)——這些在 XS 都不存在。載 skill 的版本一律用對 XS 的 Position、FilledAvgPrice,並查證欄位真實存在。這是通用知識補不上的硬差距。

2. 腳本類型標記 {@type:}skill 6/6 · baseline 0/6

XS 腳本開頭要用 {@type:filter} / {@type:autotrade} 等標記決定它是哪一類。 baseline 在 6 個生成類案例全部漏掉;載 skill 的版本全部帶對。少了它,腳本會被 XQ 歸錯類型。

3. 知道能力邊界、不假裝做得到skill 完勝

美股選股題,baseline 用幻覺函數 InIndex("SPX") 假裝能在程式碼裡篩出 S&P 500 成分股; 載 skill 的版本走 F3 線上查證後老實指出:XS 選股欄位沒有成分股欄位,「限定 S&P 500」只能在 XQ 股票池設定裡做、程式碼做不到, 並用查證過的欄位(股東權益報酬率 / 本益比)寫出可用條件。知道「做不到什麼」與知道「怎麼做」同等重要。

4. 冷僻慣例:函數回傳機制、子型別skill 正確

「回傳布林的函數」題,載 skill 的版本正確選用 {@type:function_bool} 子型別、以「對函數名賦值」回傳; baseline 漏標記且用 ret(在 XS 屬選股/警示的機制)。

註:有兩個刻意設計的「陷阱」——警示誤用 Alert()、一目均衡表幻覺、逐筆洗價的 intraBarPersist——baseline 其實也答對了。可見模型「知道要小心」並非問題;skill 的價值在於知道確切的 XS token 與慣例。

案例對照點開看實際 XS 程式碼差異

需求:20MA 向上穿過 60MA 進場做多,跌破 20MA 出場,停損 5%

✓ 載 skill

{@type:autotrade}
if Position = 0 and Average(Close,20)
   Cross Above Average(Close,60)
   then SetPosition(1, MARKET);
... Close <= FilledAvgPrice*(1-0.05)

✗ 未載 skill

// (缺 {@type:autotrade})
If MarketPosition = 0 And
   maFast Cross Over maSlow Then
   SetPosition(1);
... Close <= EntryPrice*(1-StopPct/100)
baseline 用了 XS 不存在的 MarketPosition、EntryPrice,且漏了類型標記。
需求:選美股,S&P 500 成分股裡最近一季 ROE > 15% 且本益比 < 20

✓ 載 skill(走 F3 查證)

{@type:filter}
Value1 = GetField("股東權益報酬率", "Q");
Value2 = GetField("本益比");
if Value1 > 15 and Value2 > 0
   and Value2 < 20 then ret = 1;
// S&P500 成分股 → 須在 XQ 股票池設定

✗ 未載 skill

// (缺 {@type:filter})
inSP500 = InIndex("SPX");
roe = GetField("ROE", "Q");
pe  = GetField("PER");
if inSP500 and roe>15 and pe>0
   and pe<20 then ret = 1;
baseline 用幻覺函數 InIndex 假裝能在程式碼篩成分股(XS 做不到); skill 查證後誠實把「成分股限定」交還給 XQ 股票池設定。
(註:欄位用英文 ROE/PER 兩邊皆可——官方 GetField 中英文名都接受,非錯誤。)
需求:XS 的 CrossOver 參數、回傳是什麼,給一個例子

兩組都答對核心(兩個 Series、回傳布林、僅穿越那根為真)。但 baseline 多宣稱「第二參數可為常數門檻」—— 經 XS 使用者確認為錯誤,CrossOver 兩個參數都必須是序列。載 skill 的版本主張「傳純量不對」才正確。

常見函數兩邊都會,但細節正確性上 skill 仍勝出(baseline 過度宣稱了一個不存在的用法)。
需求:cross over 跟 CrossOver 有差嗎?

兩者語意相同(A 向上穿越 B,黃金交叉),但屬不同語言層級:Cross Over(中間有空格)是中綴關係運算子,CrossOver(連寫)是系統函數。寫法不能混——運算子要分兩個字、函數要連寫加括號,寫錯邊會被當成未知 token。

運算子寫法

if Average(Close,5)
   Cross Over Average(Close,20)
   then ...

函數寫法(完全等價)

if CrossOver(
     Average(Close,5),
     Average(Close,20))
   then ...
通用模型容易把兩者當「只是空格差異」一語帶過,漏掉「一個是運算子、一個是函數、空格不能寫錯」這層 XS 專屬語法規則。
(補充示範,非正式評分的 8 案例之一;此處對照的是同一語意的兩種正確寫法。)

分析師觀察

這份 skill 下了多少功夫從開專案起累計,每次更新在上一次的數字上疊加

目前規模

每次更新疊加了什麼

統計資料:effort-stats.json(每個數字都附出處;查不到根據的項目不估算、不列入)。