最近，市場討論焦點主要在AI分布式云算力聚合平臺上，但Messari一份報告卻把注意力聚焦到了AI去中心化推理方向。而且該報告提到了 @MarlinProtocol所推出的teeML去中心化推理架構，一種利用可信執(zhí)行環(huán)境（TEE）來提供計算證明的方式。
為什么要做分布式推理架構？邏輯很簡單，ChatGPT等大模型Prompt推理都依賴一個可信的中心化的模型服務器實體，比如：OpenAI，用戶無法確保數據在推理過程中是否被惡意篡改或窺探。
而若采用分布式推理，用戶的每次調用大模型輸入和輸出，都能有可驗證的計算做保證，用戶無需信任中心化的服務提供上，而僅可依賴密碼學或者其他數據或安全模型來建立信任連接。
Marlin我之前有寫文章分析過，主要定位做去中心化的節(jié)點增強服務，去中心化AI服務是其發(fā)力的一個核心場景。Marlin通過TEE可信執(zhí)行環(huán)境協(xié)處理器，在節(jié)點硬件存儲系統(tǒng)中構建了安全隔離的Enclave飛地環(huán)境，繼而可實現AI數據模型訓練和推理等服務。
在去中心化推理背景下，模型提供者可以選擇在TEE環(huán)境下運行模型，并生成加密證明，由于證明本身也在TEE內環(huán)境下，因此可確保模型在運行過程中不被透露或篡改。
當然，在Messari的報告中，還提到了除了TEE之外的另外兩種分布式推理架構方式：
1）基于zkML零知識證明協(xié)議，ZK可以證明某個輸出是特定的Dataset產生的，ZK可以成為支撐模型運行的服務器和模型輸出結果的可信橋梁。@ProjectZKM提供的zkVM可信驗證最近也和Marlin達成了戰(zhàn)略合作，會作為底層技術支持幫助Marlin基于zkVM進一步強化分布式推理能力；
2）基于Optimism ML樂觀機器學習，和OP-Rollup邏輯類似，多方實體可共同參與指定的推理驗證，若對結果存在分析，可以開啟挑戰(zhàn)模式，理論上，只有有一個誠實的驗證者實體，opML就稱得上安全可信。相比zkML，opML計算成本更低，但也會存在挑戰(zhàn)時間窗口。代表項目有Ora 和@HyperspaceAI.
總之，在我看來，當分布式AI聚合算力的應用場景被跑通，大量的中小型AI訓練、推理、微調以及渲染等需求涌入后，一個完全分布式的可驗證的推理計算證明就成了必須。分布式推理賽道也會隨之熱鬧起來。