Model I/O由幾個部分組成。

• Prompts：Prompts（提示）是預定義的文本模板，用于指導語言模型生成特定類型的響應。
• LLMs：LLMs（大型語言模型）是一種接受文本字符串作為輸入并返回文本字符串作為輸出的模型。
• ChatModels：ChatModels（聊天模型）是一種接受消息列表作為輸入并返回單條消息作為輸出的模型。
• Output Parsers：Output parsers（輸出解析器）負責將LLMs和ChatModels的輸出轉換為更結構化的數據。

Model I/O能干什么？

封裝模型API和處理輸入輸出數據，實現了模型的順暢交互，使得用戶可以方便地利用模型完成各種任務。

• 模型調用：通過封裝好的API，Model I/O使得用戶可以方便地調用不同的模型，如大型語言模型（LLM）或聊天模型（ChatModel），來完成各種任務，如文本生成、問答、翻譯等。
• 輸入封裝：對于模型的輸入，Model I/O提供了封裝機制，可以處理各種類型的數據，如文本字符串、圖像數據等，并將其轉換為模型所需的特定格式。這包括數據的清洗、預處理和特征提取等步驟。
• 輸出解析：對于模型的輸出，Model I/O同樣提供了封裝機制來解析和處理結果。這可能包括將模型的輸出轉換為易于理解的格式、提取關鍵信息、進行后處理等步驟。

二、Model I/O的原理

Model I/O的工作流程：格式化原始輸入數據，將其傳遞給模型以獲取預測結果，并將輸出解析為結構化格式，以供下游組件或應用程序使用。

Model I/O流程包含以下三個核心步驟：

• 格式化（Format）：原始數據被清洗、標記化、編碼，并根據特定任務需求構建提示模板，以轉換成適合語言模型處理的格式。
• 預測（Predict）：格式化后的數據被直接送入語言模型，模型基于其內部知識和訓練數據生成文本輸出。
• 解析（Parse）：語言模型的文本輸出被提取特定信息、轉換成不同數據類型，并經過必要的后處理，以滿足下游組件或應用程序的結構化需求。

Model I/O的核心組件：包括用于接收和生成文本的語言模型、指導輸入格式的提示模板、篩選訓練數據的示例選擇器，以及解析模型輸出的輸出解析器。

1. 語言模型 (Language Models)：
   1. LLM：大型語言模型，接收文本字符串作為輸入，并返回相應的文本字符串作為輸出。
   2. ChatModel：聊天模型，是語言模型的一種變體。接收聊天消息列表作為輸入，并返回聊天消息作為輸出。
2. 提示模板 (Prompt Templates)：
   1. PromptTemplate：用于生成字符串提示。
   2. ChatPromptTemplate：用于生成聊天消息列表的提示。
3. 示例選擇器（Example Selectors）：
   1. 訓練新模型：Example Selectors從數據集中篩選代表性的示例來訓練新模型，確保其學習高質量、多樣化的數據，提升學習效果和泛化能力。調優現有模型：利用Example Selectors提供的新示例，對現有模型進行持續訓練和調優，逐步改進其在特定任務上的表現，提高準確性和效率。
4. 輸出解析器（Output Parsers）：
   1. Get format instructions：返回一個字符串，其中包含要求語言模型應該返回什么格式內容的提示詞。
   2. Parse：將模型返回的內容，解析為目標格式。

三、Model I/O的應用

LLM（大語言模型）：簡化了自定義LLM的開發過程，實現了LLM響應的緩存管理以降低成本和加速應用，支持LLM流式傳輸響應以提升效率。

• 問題一：如何編寫自定義 LLM？

import os

from langchain.llms import OpenAl

from langchain.prompts import PromptTemplate



# 設置 OpenAl API密鑰

os.environ["OPENAIAPI_KEY"]="YOUR_OPENAI_API KEY"



# 創建一個封裝了 OpenAl GPT 模型的自定義類

class CustomLLM:

  def init (self, model name="gpt-3.5-turbo",temperature=0.9):

    self.llm = OpenAl(model name=model name, temperature=temperature)

      self.prompt template= PromptTemplate(

        input_variables=["food"],

        template="What are 5 vacation destinations for someone who likes to eat ffood}?"

  )



def get_vacation_destinations(self, food):

  prompt = self.prompt template.format(food=food)

  return self.llm(prompt)



# 使用自定義類

custom_lm= CustomLLM()

print(custom llm.get vacation destinations("dessert"))

• 問題二：如何緩存 LLM 響應？
  • 緩存目的：LangChain為LLM提供緩存層，可減少向LLM提供商的API調用，從而節省成本并加速應用。
  • 緩存方式：支持內存緩存和SQLite緩存兩種方式，前者訪問速度快但數據易丟失，后者數據持久但訪問稍慢。
• 問題三：如何從 LLM 流式傳輸響應？
  • 實現 Runnable 接口：ainvoke, batch, abatch, stream, astream。
  • 返回一個 Iterator：它只包含一個值，即由底層LLM提供者返回的最終結果。
• 問題四：如何跟蹤 LLM 調用中的Token使用情況？
  • 跟蹤目的：對于API調用，尤其是使用像OpenAI這樣的服務時，跟蹤Token的使用情況是管理成本和了解應用程序資源消耗的重要方面。

import openai

# 設置您的OpenAI API密鑰

openai.api_key="YOUR API KEY"



def generate text and track tokens(prompt, max tokens=None, temperature=0.5):

  # 使用OpenAl的Completion APl生成文本

  response =openai.Completion.create(

    engine="text-embedding-ada-002"，#您可以更改為所需的模型，例如"text-generation-gpt-3.5-t

    prompt=prompt,

    max tokens=max tokens,

    temperature=temperature

  )



# 從響應中提取生成的文本和使用的token數量

generated text=response["choices"1[0]["text"]

used tokens =response["choices"1[0]["tokens_used"]#注意:不是所有模型都返回tokens_used字



# 打印結果和token使用情況

print(f"Generated Text: {generated text}")

print(f"Tokens Used: fused tokens}")



return generated text,used tokens

ChatModel（對話模型）：實現緩存層減少API調用以降低成本、提升響應速度，同時提供簡潔語法和轉換器簡化模型管理，支持流式傳輸響應以優化用戶體驗。

• 問題一：如何緩存 ChatModel 響應？
  • 緩存目的：LangChain為ChatModel提供緩存層，可減少向LLM提供商的API調用，從而節省成本并加速應用。
  • 緩存方式：支持內存緩存和SQLite緩存兩種方式，前者訪問速度快但數據易丟失，后者數據持久但訪問稍慢。
• 問題二：如何使用支持函數調用的ChatModel？
  • 將函數簡單綁定到模型的語法：LangChain允許您使用簡單的語法輕松地將函數綁定到特定的模型，從而更輕松地在應用程序中管理多個模型。
  • 將對象格式化為預期函數模式的轉換器：LangChain提供了轉換器，可以將各種類型的對象格式化為被調用函數所期望的輸入結構。
• 問題三：如何從 ChatModel 流式傳輸響應？
  • 實現 Runnable 接口：ainvoke, batch, abatch, stream, astream。
  • 返回一個 Iterator：它只包含一個值，即由底層ChatModel提供者返回的最終結果。
• 問題四：如何跟蹤 ChatModel 調用中的Token使用情況？
  • 跟蹤目的：對于API調用，尤其是使用像OpenAI這樣的服務時，跟蹤Token的使用情況是管理成本和了解應用程序資源消耗的重要方面。

import openai



# 設置您的API密鑰

openai.api_key="您的API密鑰"



# 定義一個函數來發出API請求并跟蹤令牌使用情況

def chat and track tokens(model, messages, max tokens=None):

  response =openai.ChatCompletion.create(

    model=model,

    messages=messages,

    max tokens=max tokens

  )



  # 從響應中提取使用的令牌數量

  used tokens = response["usage"]["total tokens"]



  # 使用響應和令牌使用信息做某事

  print(f"啊應: {response['choices'][0]['message']['content']}")

  print(f"使用的令牌: {used _tokens}")    

文章轉自微信公眾號@架構師帶你玩轉AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實踐構建出色的 API

如何使用API：初學者的分步教程

使用NestJS和Prisma構建REST API：身份驗證