1. Jev 模型：專為軟體設計的快速分類系統 [0]

Jev 是一個由 Type-Safe AI 開發的系統一模型，專為軟體中的快速分類任務設計，能以極快的速度處理非結構化資料並提供精確的分類結果，大幅降低延遲和成本。

1.1. 傳統大型語言模型 (LLM) 的限制與 Jev 的誕生 [0]

  1. 現有 LLM 專注於「系統二思考」 [0]
    1. 過去兩年，頂尖實驗室開發的 LLM 主要專注於推理能力，透過更長的思考鏈和思考預算來實現。 [0]
    2. 這些模型雖然強大，但處理時間長，可能需要數分鐘才能給出答案。 [2]
    3. 此外，使用者無法查看其推理過程，即使為此付費也一樣。 [3]
  2. 軟體應用中對「系統一思考」的需求 [4]
    1. 根據 Daniel Kahneman 的《快思慢想》，現有 LLM 的推理屬於「系統二思考」，其特點是緩慢、刻意且費力。 [4]
    2. 相較之下，「系統一思考」是快速、直覺且不需深思熟慮的。 [5]
    3. 大多數軟體中的決策並非「系統二問題」，而是簡單的分類問題，例如判斷支援工單類型、訊息是否緊急或代理人的輸出是否違規。 [7]
  3. 傳統 LLM 處理分類任務的效率問題 [10]
    1. 雖然可以要求推理模型給出單字答案並包裝成 JSON 格式，但為了生成這些文字，會產生巨大的延遲成本。 [10]
  4. Jev 的出現：專為軟體設計的「系統一模型」 [11]
    1. Type-Safe AI 實驗室開發的 Jev 模型與推理模型方向完全相反，它無法進行聊天或長時間推理。 [11]
    2. Jev 不以標準的自迴歸方式生成文字，其輸出代幣 (token) 是免費的，這暗示了其獨特的建構方式。 [13]
    3. Type-Safe AI 的創辦人 Diogo Almeida 曾是 OpenAI 的頂尖研究員，參與了 InstructGPT 論文的撰寫，該論文促成了模型指令微調的發展，進而產生了 ChatGPT。 [16]
    4. Almeida 認為，儘管模型在聊天方面表現出色，但聊天並非軟體的正確介面，軟體需要的是可直接使用的數值 (value)，而非段落文字。 [22]

1.2. Jev 模型的工作原理與應用 [25]

  1. Jev 的核心概念：類似函數呼叫的「系統一模型」 [25]
    1. Jev 被設計為一個「系統一模型」，其運作方式類似於函數呼叫 (function call)。 [25]
    2. 使用者需要傳入兩項內容：
      1. 狀態 (state)：非結構化的文字或資料，例如支援工單、代理人追蹤記錄或日誌檔，即任何需要分類的內容。 [27]
      2. 類型化問題 (typed questions)：Jev 只能處理三種問題類型。 [28]
  2. Jev 支援的三種問題類型 [30]
    1. 選擇 (Choice)：提供選項列表，模型從中選擇一個。 [30]
    2. 評分 (Score)：模型根據使用者定義的量表對事物進行評分。 [31]
    3. 空值 (Null)：一個是非題，模型會返回答案為「是」的機率。 [32]
  3. Jev 的輸出特點：無需解析文字 [33]
    1. Jev 的輸出沒有文字需要解析，對於選擇題，它會返回選定的選項以及其他選項的機率。 [33]
    2. 傳統上，開發者會要求 LLM 返回 JSON 格式的輸出，但其中的數字本質上仍是生成的文字，可能無法真實反映機率。 [35]
  4. Jev 的使用方式：作為「智慧的 if 判斷式」 [39]
    1. 建議將 Jev 視為一個「智慧的 if 判斷式」，不應提出模糊的大問題，而是提出具體的小問題。 [39]
    2. 例如，不問「評價這個新創提案」，而是問「這個提案的可行性如何？」或「他們針對哪種市場？」。 [40]
    3. 如果是選擇題，必須提供選項供模型選擇。 [42]
    4. Jev 的優勢在於可以將所有這些判斷結合到常規程式碼中，當需要修改時，只需更改程式碼中的數字，而無需調整提示詞。 [43]

1.3. Jev 的實際應用範例與效能 [47]

  1. Jev 的成本效益與速度 [47]
    1. Jev 在 OpenRouter 上的定價模式非常特別：輸入每百萬個代幣 4.2 美分，輸出每百萬個代幣 0 美分。 [49]
    2. Jev 的回應速度極快，即使模型主機位於地球的另一端，也能迅速回應。 [57]
    3. 每次查詢的成本極低，例如 0.001 美分，這使得將任務分解為多個分類問題變得非常經濟。 [69]
    4. 將 20 個不同的任務串聯執行，總成本僅略高於 1/20 美分，且速度飛快。 [124]
  2. 三種問題類型的示範 [52]
    1. 選擇 (Choice)：
      1. 傳入文字和五個類別選項，Jev 能準確檢測出正確的類別，並提供每個選項的機率和信心分數。 [52]
      2. 即使是泰語文字的羅馬化版本，Jev 也能正確識別語言。 [59]
    2. 評分 (Score)：
      1. 設定 0 到 2 的評分範圍來判斷情感，例如正面情感評為 2，負面情感評為 0。 [62]
      2. 即使輸入的語氣略有變化，Jev 也能調整評分，但每次結果可能略有不同，信心分數也會隨之變化，這表明它是一個隨機過程 (stochastic process)。 [71]
    3. 空值 (Null)：
      1. 判斷一個問題是否為「是/否」問題，並返回「是」的機率。 [78]
      2. 例如，對於「這是文字嗎？」，返回 87% 的「是」；對於「這段文字是在提問嗎？」，返回 2% 的「是」（即「否」）。 [80]
      3. Jev 即使在沒有問號的情況下，也能判斷出一個句子是否為問題。 [85]
      4. 提問的具體程度會影響 Jev 的信心，例如「你能幫忙嗎？」的信心較低，而「你能幫忙找我的貓嗎？」則高達 95%。 [88]
      5. 輸入文字越長，Jev 的回應信心似乎越高。 [94]
  3. 實際應用案例 [97]
    1. 工單路由：將「我被重複收費了，請退款」的訊息路由到「帳務」團隊，Jev 能準確判斷。 [97]
    2. 處理模糊訊息：對於較為模糊的訊息，Jev 可能會判斷為「不清楚」，但仍能傾向於某個類別（例如「技術」）。 [102]
    3. 多任務同時處理：可以同時判斷工單是否要求退款（空值）和是否具有時效性（空值）。 [105]
    4. 抵抗注入攻擊和諷刺：Jev 在處理提示注入 (prompt injection) 和諷刺語氣 (sarcasm) 方面表現良好，不易被這些常見的技巧欺騙。 [110]
    5. 其他任務：
      1. 程式碼審查：判斷程式碼是否安全。 [114]
      2. 內容分類：識別個人身份資訊 (PII) 和垃圾郵件 (spam)。 [116]
      3. 代理人工具選擇：Jev 可以指示使用哪個工具，但不會像函數呼叫模型那樣提取參數傳遞給工具。 [120]

2. Jev 的技術原理與未來展望 [127]

Jev 採用了新的模型架構、平行取樣器和獨特的強化學習方法 RLCD，使其能夠快速、準確地進行分類，且不易產生幻覺，有望取代傳統的 BERT 模型。

2.1. Jev 的技術細節與優勢 [127]

  1. Jev 的核心技術 [127]
    1. Type-Safe AI 並未公開 Jev 的詳細技術文件，但提到了三個關鍵組成部分：
      1. 新的模型架構 (new model architecture)。 [129]
      2. 平行取樣器 (parallel sampler)。 [129]
      3. 新的訓練方法 RLCD (Reinforcement Learning for Calibrated Decisions)：這是一種用於校準決策的強化學習方法。 [129]
    2. RLCD 與現有 LLM 使用的 RLHF (人類回饋強化學習) 和基於可驗證獎勵的強化學習 (如 GRPO) 不同。 [131]
  2. Jev 的運作推測 [132]
    1. Jev 很可能是一種轉換器 (transformer) 模型，但可能只在預填充階段 (pre-fill stage) 計算注意力頭等，然後直接輸出分類或迴歸預測結果。 [132]
  3. Jev 的速度優勢 [134]
    1. Jev 的速度極快，因為它不會一個接一個地生成代幣，所有結果都在單次傳遞 (single pass) 中返回。 [134]
    2. 這使得 Jev 的處理時間約為 70 到 500 毫秒，即使加上網路往返時間，也比傳統模型快得多。 [136]
  4. Jev 的「不產生幻覺」特性 [137]
    1. Jev 聲稱不會產生幻覺 (hallucinate)，這意味著它不會破壞使用者提供的架構 (schema)，例如不會輸出損壞的 JSON 或虛構的工具名稱。 [137]
    2. Jev 只能處理使用者提供的內容，不會生成任何新的資訊。 [140]
    3. 儘管如此，Jev 仍可能選擇錯誤的選項或給出錯誤的答案，這時它依賴 RLCD 來提供高品質的答案。 [142]

2.2. Jev 的潛力與未來展望 [144]

  1. Jev 的潛在應用與成本效益 [144]
    1. Jev 能夠以極快的速度執行複雜任務，例如玩 Doom 遊戲，每秒執行 10 次查詢，每小時成本僅約 7 美元。 [145]
    2. 對於任何使用 BERT 模型進行分類的任務，Jev 都值得嘗試。 [147]
  2. Jev 對現有模型的影響 [148]
    1. 如果 Jev 的表現如其所稱，它可能會終結針對純分類任務對小型 BERT 模型進行微調 (fine-tuning) 的需求。 [148]
    2. Jev 仍處於早期階段，專注於自動化決策，這可能會激發許多人嘗試開發其開源版本。 [148]
  3. 社群回饋與討論 [151]
    1. 鼓勵使用者分享 Jev 的使用經驗，包括成功案例和不適用於特定情境的案例。 [151]