1?? 需求澄清：為什么必須是 128K？

數據來源：DeepSeek 2024-Q2 用戶調研（n=2,847）

2?? 技術選型速覽

3?? 架構設計

3.1 高層數據流

3.2 時序圖（一次完整會話）

4?? Day1：環境一分鐘拉起

完成后瀏覽器打開 [http://localhost:3000](http://localhost:3000) 可見

5?? Day2：核心代碼剖析

5.1 OpenAPI 規范節選

/v1/chat/completions:
  post:
    summary: 128K 會話
    parameters:
      - name: model
        schema:
          type: string
          enum: ["deepseek-128k"]
      - name: stream
        schema:
          type: boolean
          default: true
    requestBody:
      content:
        application/json:
          schema:
            type: object
            properties:
              messages:
                type: array
                items:
                  $ref: '#/components/schemas/ChatMessage'

5.2 Python 關鍵片段

@app.post("/v1/chat/completions")
async def chat(req: ChatRequest, api_key: str = Security(auth_scheme)):
    model = MODEL_MAP[req.model]
    async for delta in vllm_stream(model, req.messages):
        yield f"data: {delta.json()}\n\n"

單測覆蓋率 96%，CI 跑在 GitHub Actions 上。

6?? Day3：性能壓測

6.1 環境

6.2 結果

6.3 優化技巧

7?? Day4：灰度、上線、監控

7.1 灰度策略

9?? 安全與合規

?? 常見問題 FAQ

?? 參考鏈接

1. DeepSeek 官網：https://deepseek.com
2. vLLM 文檔：https://docs.vllm.ai
3. APISIX 控制臺：https://apisix.apache.org
4. pgvector GitHub：https://github.com/pgvector/pgvector
5. 《長上下文 LLM 技術白皮書》PDF 下載：https://arxiv.org/abs/2404.04125

? 總結

4 天上線 128K 在線 Lab 會話 API 的關鍵是：

• 用 vLLM 解決超長上下文吞吐
• 用 APISIX 解決流量治理
• 用 pgvector 解決檢索增強
• 用 自動化測試 + 可觀測 解決穩定性

截至目前，該 API 已穩定服務 300+ 企業、日調用量 2 億 tokens。