把自己的算力，接回自己的 API 入口
BYOC（自有算力）

在你的設備上執行模型，讓應用程式仍透過 BazaarLink 統一入口呼叫。節點只服務綁定它的帳戶，這不是共享算力市集。

管理 BYOC 節點

客戶機器 → BYOC Agent → BazaarLink gateway → 客戶的應用程式

模型與推理環境留在你的設備。Agent 主動連到 gateway，gateway 將屬於你的請求交給你的節點；應用程式維持同一個 API 入口。

你的 GPU 算力

模型與推理留在你的設備

BazaarLink 模型

你的節點滿載或離線時接手

BazaarLink BYOC

走自己節點的流量零計價

單一 API key

同一個入口，程式不用改

你的應用程式

目前可接的本地 backend

選擇要執行模型的本機 backend，再把連線設定提供給 Agent。

Ollama

預設 backend；預設 URL 是 http://localhost:11434。

LM Studio / vLLM

使用 --backend openai 與 --url，模型 ID 填本地服務實際接受的值。

llama.cpp server

同樣走 OpenAI-compatible streaming 路徑，不會自動轉換模型名稱。

為什麼把算力接回自己的帳戶

模型在自己的設備上跑

模型檔案、推理程序、硬體與本地運行環境由你管理。

這條 BYOC 流量零計價

BazaarLink 對透過自己 BYOC 節點執行的流量零計價；設備、電力與維運成本仍由你負責。

應用程式只維持一套 API

本地模型透過 gateway 接入，產品程式不必為每個 backend 另寫一套傳輸層。

節點只服務自己的主人

工作釘選到綁定帳戶的節點，不加入共享算力池，也不是算力市集。

入口保護

BYOC 的本地日誌由你自己管理；請求進入你的 GPU 前，平台入口仍會先做審查，而敏感資料過濾可以由你選擇啟用。

平台審查

平台審查無條件跑在 /v1/chat/completions 入口；BYOC 不能停用這道入口底線。被擋的請求不會到你的節點。

可啟用的敏感資料過濾

這是 opt-in：組織 key 由組織開規則，個人 key 由 key 主人在 /content-filter 開啟。啟用後，inbound prompt 裡的 API 金鑰（OpenAI/Anthropic/GitHub/Google/AWS）、JWT、私鑰、信用卡號與台灣身分證字號，會在進節點前換成 [REDACTED:TYPE]；prompt injection 會被擋（400）。

前往 /content-filter 開啟

從 GitHub 安裝到連線

@bazaarlink/byoc-agent v0.1.0 採 MIT 授權；現在可從公開 GitHub 全域安裝 CLI，npm registry 版本稍後推出。 --models 的值（例如 qwen3.5:2b）是本機 backend 的 model ID，不是 API 要呼叫的 canonical ID。 Authenticated 只代表 gateway 連線成功。接著開啟 /keys/byok?tab=byoc，建立 byoc/qwen3.5-2b -> qwen3.5:2b，之後用 byoc/qwen3.5-2b 呼叫 API。

全域安裝 CLI

從公開 GitHub 安裝 MIT 授權的 CLI。

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

取得 BYOC key

已有 key 可直接下一步；沒有時用 register 提交 email、模型與並發數。

1
2
3
4
bazaarlink-byoc register \
  --email you@example.com \
  --models qwen3.5:2b \
  --max-concurrent 4

登入 gateway

1
2
3
4
5
6
bazaarlink-byoc login \
  --key "byoc_..." \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --models "qwen3.5:2b" \
  --input-price 0 \
  --output-price 0

啟動並接上

Authenticated 只代表 gateway 連線成功。接著開啟 /keys/byok?tab=byoc，建立 byoc/qwen3.5-2b -> qwen3.5:2b，之後用 byoc/qwen3.5-2b 呼叫 API。

1
2
3
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> qwen3.5:2b in /keys/byok?tab=byoc

技術細節

以下欄位對應目前 CLI 與套件 metadata；npm registry 版本推出前，請從公開 GitHub 安裝。

npm 套件: @bazaarlink/byoc-agent v0.1.0 · MIT · 從 GitHub 安裝，npm registry 版稍後
原始碼: github.com/Bazaarlinkorg/bazaarlink-byoc-agent
CLI 名稱: bazaarlink-byoc
執行環境: Node.js 18+
連線: Agent 主動連到 gateway /ws，不需要開 inbound port
本機設定: ~/.bazaarlink/config.json（Windows：%USERPROFILE%\.bazaarlink\config.json）
login 價格參數: --input-price 與 --output-price 目前必填；示範用 0 是相容設定，不代表 BazaarLink 對 BYOC 流量計價

從 GitHub 安裝 CLI

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

CLI 現在可從公開 GitHub 全域安裝；npm registry 版本稍後推出。

Ollama：登入並啟動

1
2
3
4
5
6
7
8
9
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --models "qwen3.5:2b" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> qwen3.5:2b in /keys/byok?tab=byoc

--backend ollama 是預設值；需要其他 Ollama 位址時再加 --ollama-url。

OpenAI-compatible：登入並啟動

1
2
3
4
5
6
7
8
9
10
11
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --backend openai \
  --url "http://localhost:1234/v1" \
  --models "your-model-id" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> your-model-id in /keys/byok?tab=byoc

LM Studio、vLLM、llama.cpp 使用 --backend openai；--url 必填，--models 要填本地 model ID。

適合哪些團隊

你有自己的 GPU 主機與本地模型，希望模型檔案和推理環境留在自己的設備，同時讓產品繼續使用熟悉的 API 入口。

你不想出租閒置算力，也不希望請求進入共享節點；BYOC 將自有設備、自己的帳戶與統一 gateway 接在同一條路徑上。

把第一台 BYOC 節點接上

準備一台本地模型機器與 BYOC key，就能開始驗證自己的算力、自己的節點與統一 API 入口如何配合。