$Theta EdgeCloud 上推出分散式可驗證 LLM 推論：結合 AI 和區塊鏈的優勢
我們很高興宣布 $Theta EdgeCloud 的最新功能：具有分散式可驗證性的大型語言模型 (LLM) 推論服務。這項新功能將使聊天機器人和 AI 代理能夠執行可信賴且可獨立驗證的 LLM 推論，並由區塊鏈支持的公共隨機性信標提供支持，這在業界尚屬首次。這是一項獨特的技術，結合了尖端 AI 的優勢和區塊鏈的無信任、去中心化特性。
透過此實作，EdgeCloud 是第一個也是唯一一個為所有人提供無信任 LLM 推論的平台，包括加密貨幣原生平台和傳統雲端平台。對於企業、學術界和其他垂直領域中敏感的計算需求，EdgeCloud 是唯一可以保證 LLM 輸出完整性的雲端解決方案。
想法
現代 AI 代理嚴重依賴 LLM 來產生回應並執行複雜的任務。但是你真的可以信任輸出嗎？如今，大多數代理框架依賴集中式 LLM API（例如 OpenAI）或硬體強制執行的安全性，例如 TEE（可信任執行環境）。這些解決方案將信任置於集中式供應商或封閉原始碼軟體中，這可能會更改或捏造結果。
最近發布的 DeepSeek-V3/R1 是第一個真正具有競爭力的專有 LLM 開源替代方案，為全堆疊驗證打開了大門。這項突破使社群能夠開始擺脫不透明的 AI API，轉向透明、可檢查的推論工作流程。
在這些進步的基礎上，我們設計並實作了一個分散式可驗證推論系統，該系統保證 LLM 輸出既可重現又防篡改，即使是服務提供者（例如 EdgeCloud 的 $Theta Labs）也是如此。透過結合開源 AI 模型、去中心化計算和基於區塊鏈的可驗證性，我們正在為下一代 AI 代理建立信任基礎。
我們的解決方案
我們正在發布第一個業界級可驗證 LLM 推論引擎，該引擎直接整合到 $Theta EdgeCloud 中。以下是它如何實現公開可用性：
- 確定性 Token 概率：LLM 計算給定提示的下一個 Token 概率分佈。由於我們使用的是開源模型（例如 DeepSeek R1），因此任何人都可以透過在本地或另一個受信任的節點上執行模型來驗證此步驟。
- 可驗證抽樣：抽樣下一個 Token 通常是一個非確定性過程。為了使其可驗證，我們使用公開可驗證的隨機種子，其靈感來自 Ethereum 的 RanDAO 等協議。有了這個種子，抽樣就變成了偽隨機且完全可重現的。最終輸出可以由任何觀察者獨立驗證。
這種由兩部分組成的設計確保了任何人都可以使用公共隨機性來驗證給定輸入的 LLM 輸出。因此，包括 LLM 託管服務在內的任何一方都無法篡改模型輸出，從而提供強大的完整性保證。
為了實作此解決方案，我們增強了 vLLM（最流行的業界級 LLM 推論引擎之一），並為其配備了額外的組件以支持公共可驗證性。我們已將實作封裝到一個 Docker 容器映像中，並在我們的 DockerHub 帳戶上公開發布：
https://hub.docker.com/repository/docker/thetalabsofficial/vllm-theta
我們還更新了 $Theta EdgeCloud 專用模型啟動板上提供的「DeepSeek R1 / Distill-Qwen-7B」模型的標準範本，以預設使用上述容器映像：
使用此容器映像，LLM 推論結果將包括以下額外部分，其中包含從 $Theta Blockchain 提取的公共隨機性，這允許使用者驗證給定提示的 LLM 輸出。
{
…
“theta_verified”: {
“seed”: 2825676771,
“verification_hash”: “aec8beec3306dddb9b9bad32cb90831d0d04132e57b318ebce64fb0f77208cdc”,
“sampling_params”: {
“seed”: 2825676771,
…
},
“block”: {
“hash”: “0xd8ba61b261ddda55520301ee23846a547615c60d29c1c4a893779ba0d53f0656”,
“height”: “30168742”,
“timestamp”: “1749770570”
}
}
鏈上發布（可選）
對於更高風險的用例，我們設想在鏈上發布推論元數據（提示、分佈、隨機種子、結果），在那裡它可以由去中心化的守護者或見證人證明。這為可審計且無信任的 AI 服務打開了大門，並可能整合到 DAO 工具、自主代理和 DeFi 風險引擎中。
AI 的未來是可驗證的
隨著 AI 代理變得更加自主，決策從人類轉向機器，對 LLM 推論層的信任變得至關重要。隨著這些 AI 代理整合到我們日常生活的各個方面和商業中，驗證和信任其輸出和行動的能力對於安全、保障和財務完整性至關重要。我們新發布的服務為這些 AI 工作流程帶來了急需的透明度、可審計性和安全性。憑藉 $Theta Blockchain/EdgeCloud 和開源創新的力量，我們正在引領 AI 不僅強大而且可證明值得信賴的道路。
Introducing Distributed Verifiable LLM Inference on Theta EdgeCloud: Combining the Strengths of AI… 最初發表於 Theta Network on Medium，人們在那裡透過突出顯示和回應這個故事來繼續對話。