API網關如何發展：更輕、更智能、云原生
? ? ? ?知識庫數據量大的場景下兩階段優勢非常明顯，如果只用一階段embedding檢索，隨著數據量增大會出現檢索退化的問題，如下圖中綠線所示，二階段rerank重排后能實現準確率穩定增長，即數據越多，效果越好。
QAnything使用的檢索組件BCEmbedding（https://github.com/netease-youdao/BCEmbedding）有非常強悍的雙語和跨語種能力，能消除語義檢索里面的中英語言之間的差異，從而實現：
一階段檢索（embedding）
| 模型名稱 | Retrieval | STS | PairClassification | Classification | Reranking | Clustering | 平均 |
|---|---|---|---|---|---|---|---|
| bge-base-en-v1.5 | 37.14 | 55.06 | 75.45 | 59.73 | 43.05 | 37.74 | 47.20 |
| bge-base-zh-v1.5 | 47.60 | 63.72 | 77.40 | 63.38 | 54.85 | 32.56 | 53.60 |
| bge-large-en-v1.5 | 37.15 | 54.09 | 75.00 | 59.24 | 42.68 | 37.32 | 46.82 |
| bge-large-zh-v1.5 | 47.54 | 64.73 | 79.14 | 64.19 | 55.88 | 33.26 | 54.21 |
| jina-embeddings-v2-base-en | 31.58 | 54.28 | 74.84 | 58.42 | 41.16 | 34.67 | 44.29 |
| m3e-base | 46.29 | 63.93 | 71.84 | 64.08 | 52.38 | 37.84 | 53.54 |
| m3e-large | 34.85 | 59.74 | 67.69 | 60.07 | 48.99 | 31.62 | 46.78 |
| bce-embedding-base_v1 | 57.60 | 65.73 | 74.96 | 69.00 | 57.29 | 38.95 | 59.43 |
二階段檢索（rerank）
| 模型名稱 | Reranking | 平均 |
|---|---|---|
| bge-reranker-base | 57.78 | 57.78 |
| bge-reranker-large | 59.69 | 59.69 |
| bce-reranker-base_v1 | 60.06 | 60.06 |
NOTE:
? ? ? ? 開源版本QAnything的大模型基于通義千問，并在大量專業問答數據集上進行微調；在千問的基礎上大大加強了問答的能力。如果需要商用請遵循千問的license，具體請參閱：通義千問（https://github.com/QwenLM/Qwen）
?? 在線試用QAnything：https://qanything.ai/
| 必要項 | 最低要求 | 備注 |
|---|---|---|
| NVIDIA GPU Memory | >= 16GB | 推薦NVIDIA 3090 |
| NVIDIA Driver 版本 | >= 525.105.17 | |
| CUDA 版本 | >= 12.0 | |
| docker compose 版本 | >=1.27.4 | docker compose 安裝教程 |
git clone https://github.com/netease-youdao/QAnything.gitcd QAnything
git lfs install
git clone https://www.modelscope.cn/netease-youdao/qanything_models.git
unzip qanything_models/models.zip # in root directory of the current projectstep3：更改配置
vim front_end/.env # change 10.55.163.92 to your host
vim docker-compose.yaml # change CUDA_VISIBLE_DEVICES to your gpu device iddocker-compose up -d安裝成功后，即可在瀏覽器輸入以下地址進行體驗。
詳細API文檔請移步QAnything API 文檔(https://github.com/netease-youdao/QAnything/blob/master/docs/API.md)
[1]?https://github.com/netease-youdao/QAnything/blob/master/README_zh.md
文章轉自微信公眾號@ArronAI
