Mistral NeMo 12B 是由 Mistral AI 與 NVIDIA 聯(lián)合開(kāi)發(fā)的開(kāi)源大語(yǔ)言模型，擁有 120 億參數(shù)，支持最長(zhǎng) 128K token 的上下文輸入，專為多輪對(duì)話、代碼生成和多語(yǔ)言任務(wù)優(yōu)化。該模型采用 FP8 精度格式，提升推理效率，適用于企業(yè)級(jí)應(yīng)用。Mistral NeMo 12B 可通過(guò) NVIDIA NIM 微服務(wù)部署，便于在各類平臺(tái)上快速集成和使用。

Mistral 7B Instruct 是由 Mistral AI 發(fā)布的開(kāi)源指令微調(diào)語(yǔ)言模型，擁有 73 億參數(shù)，專為對(duì)話生成、代碼編寫(xiě)和函數(shù)調(diào)用等任務(wù)優(yōu)化。該模型采用 Grouped-Query Attention（GQA）機(jī)制，支持最長(zhǎng) 32,768 個(gè) token 的上下文輸入，性能優(yōu)于 LLaMA 2 13B，適用于智能問(wèn)答、內(nèi)容創(chuàng)作和多語(yǔ)言應(yīng)用場(chǎng)景。Mistral 7B Instruct 可通過(guò) Hugging Face 和 NVIDIA NIM 等平臺(tái)部署使用。 ?

Llama 3.1 70B Instruct 是 Meta 于 2024 年 7 月發(fā)布的多語(yǔ)言指令微調(diào)大語(yǔ)言模型，擁有 700 億參數(shù)，支持最長(zhǎng) 128K token 的上下文輸入。該模型采用優(yōu)化的 Transformer 架構(gòu)，結(jié)合分組查詢注意力（GQA）機(jī)制，通過(guò)監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，優(yōu)化了多語(yǔ)言對(duì)話、代碼生成、數(shù)學(xué)推理等任務(wù)，適用于智能問(wèn)答、內(nèi)容生成和多語(yǔ)言應(yīng)用場(chǎng)景。

Llama 3 8B Instruct 是 Meta 于 2024 年 4 月發(fā)布的開(kāi)源指令微調(diào)語(yǔ)言模型，擁有 80 億參數(shù)，專為對(duì)話、代碼生成和多語(yǔ)言任務(wù)優(yōu)化。該模型在 15 萬(wàn)億 token 上進(jìn)行預(yù)訓(xùn)練，結(jié)合監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，支持最長(zhǎng) 8,192 個(gè) token 的上下文輸入，適用于智能問(wèn)答、內(nèi)容創(chuàng)作和企業(yè)級(jí)應(yīng)用場(chǎng)景。

Llama 3.2 11B Vision Instruct 是 Meta 于 2024 年 9 月發(fā)布的多模態(tài)指令微調(diào)模型，擁有 110 億參數(shù)，支持圖像與文本混合輸入，輸出文本結(jié)果。該模型優(yōu)化了圖像識(shí)別、視覺(jué)問(wèn)答、圖像描述和文檔解析等任務(wù)，支持最長(zhǎng) 128K token 的上下文輸入，適用于內(nèi)容生成、智能問(wèn)答、教育輔助等場(chǎng)景。可通過(guò) Hugging Face 和 Amazon Bedrock 等平臺(tái)部署使用。

Llama 3.1 70B Instruct 是 Meta 于 2024 年發(fā)布的多語(yǔ)言指令微調(diào)大語(yǔ)言模型，擁有 700 億參數(shù)，支持最長(zhǎng) 128K token 的上下文輸入。該模型采用優(yōu)化的 Transformer 架構(gòu)，結(jié)合分組查詢注意力（GQA）機(jī)制，通過(guò)監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，優(yōu)化了多語(yǔ)言對(duì)話、代碼生成、數(shù)學(xué)推理等任務(wù)，適用于智能問(wèn)答、內(nèi)容生成和多語(yǔ)言應(yīng)用場(chǎng)景。

Llama 3.1 8B Instruct BF16 是 Meta 于 2024 年 7 月發(fā)布的多語(yǔ)言指令微調(diào)大語(yǔ)言模型，擁有 80 億參數(shù)，采用 bfloat16 精度格式，優(yōu)化了推理性能和內(nèi)存效率。該模型支持最長(zhǎng) 128K token 的上下文輸入，適用于對(duì)話生成、代碼編寫(xiě)和多語(yǔ)言翻譯等任務(wù)，適合在資源受限的本地部署和商業(yè)應(yīng)用場(chǎng)景。

Llama 3.1 8B Instruct 是 Meta 于 2024 年 7 月發(fā)布的多語(yǔ)言指令微調(diào)大語(yǔ)言模型，擁有 80 億參數(shù)，支持最長(zhǎng) 128K token 的上下文輸入。該模型采用 Grouped-Query Attention（GQA）機(jī)制，優(yōu)化了對(duì)話、文本生成、代碼編寫(xiě)和多語(yǔ)言翻譯等任務(wù)，適用于資源受限的本地部署和商業(yè)應(yīng)用場(chǎng)景。

Llama 3.2 1B Instruct 是 Meta 于 2024 年 9 月發(fā)布的輕量級(jí)多語(yǔ)言指令微調(diào)模型，擁有 12.3 億參數(shù)，支持最長(zhǎng) 128K token 的上下文輸入。該模型采用優(yōu)化的 Transformer 架構(gòu)，結(jié)合 Grouped-Query Attention（GQA）機(jī)制，通過(guò)監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，優(yōu)化了多語(yǔ)言對(duì)話、摘要生成和知識(shí)檢索等任務(wù)，適用于邊緣設(shè)備和移動(dòng)應(yīng)用。

Llama 3.2 3B Instruct 是 Meta 于 2024 年 9 月發(fā)布的多語(yǔ)言指令微調(diào)語(yǔ)言模型，擁有 32 億參數(shù)，采用優(yōu)化的 Transformer 架構(gòu)，結(jié)合 Grouped-Query Attention（GQA）機(jī)制，支持最長(zhǎng) 128K token 的上下文輸入。該模型通過(guò)監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，優(yōu)化了多語(yǔ)言對(duì)話、摘要生成和知識(shí)檢索等任務(wù)，適用于邊緣設(shè)備和移動(dòng)應(yīng)用。官方支持英語(yǔ)、德語(yǔ)、法語(yǔ)、意大利語(yǔ)、葡萄牙語(yǔ)、印地語(yǔ)、西班牙語(yǔ)和泰語(yǔ)等語(yǔ)言。 ?