如何查找具體的令牌限制？

要了解特定模型的輸入和輸出限制，可以參考 AWS Bedrock 的官方文檔。以下是查找限制的具體步驟：

1. AWS 控制臺：在 AWS 控制臺中，導航到 Bedrock > Model Access，選擇目標模型，查看“模型詳細信息”部分。
2. API 文檔：API 引用文檔中會列出模型的詳細信息。例如，InvokeModel 請求中的 modelId 參數(shù)對應于具有特定限制的模型。
3. 模型頁面：每個模型的詳細信息頁面都會列出其令牌限制和配置選項。

例如，AI21 Labs 的 Jurassic-2 模型支持較短的輸入（如 8,192 個令牌），但可以通過 API 請求體中的 maxTokens 參數(shù)調整輸出長度。開發(fā)者在使用這些模型時，應確保輸入提示和輸出結果在限制范圍內。如果需要處理超長文檔（如 120,000 個令牌的文檔），可以將其分割為多個段（如每段 100,000 個令牌）進行處理。

如何測試和管理令牌限制？

開發(fā)者可以通過編程方式測試和管理令牌限制，以確保請求符合模型的約束條件。以下是一些實用的建議：

1. 使用 SDK 測試限制：
   使用 AWS SDK for Python（boto3）調用 invoke_model 方法時，如果輸入提示超出限制，可能會返回 ValidationException 錯誤。錯誤消息通常會明確指出允許的令牌范圍。

2. 預處理輸入：
   使用令牌計數(shù)工具（如 Anthropic 提供的 “Claude Tokenizer”）對輸入文本進行預處理，以確保其長度在允許范圍內。

3. 調整輸出限制：
   在請求中設置 max_tokens 參數(shù)可以管理輸出長度，但不能超過模型的最大值。如果超出限制，將觸發(fā)錯誤。

4. 申請配額增加：
   如果默認限制無法滿足需求，可以聯(lián)系 AWS 支持申請配額增加。一些模型允許根據(jù)需求調整限制。

5. 關注文檔更新：
   模型的限制可能會隨著版本更新而改變。例如，Claude 3 的輸入限制已提升至 200,000 個令牌。因此，開發(fā)者應定期查看最新文檔以獲取最新信息。

總結

輸入提示長度和輸出長度的限制是使用 AWS Bedrock 模型時需要重點關注的參數(shù)。通過了解每個模型的具體限制并合理配置參數(shù)，可以確保模型的性能和成本效率。開發(fā)者在實際應用中，應結合文檔說明、SDK 測試和令牌計數(shù)工具，確保輸入輸出符合模型的限制范圍。同時，關注 AWS 官方文檔的更新，以便及時適應模型的變化。

原文鏈接: https://blog.milvus.io/ai-quick-reference/what-are-the-default-limits-on-input-prompt-length-and-output-length-for-models-in-bedrock-and-where-can-i-find-this-information