?浙大和微軟亞洲研究院開源的HuggingGPT，又名JARVIS，它可以根據(jù)用戶的自然語言描述的需求就可以自動分析需要哪些AI模型，然后去Huggingface上直接調(diào)用對應(yīng)的模型，最終給出用戶的解決方案。

一、HuggingGPT的工作流程

       它的工作流程包括四個階段:

• 任務(wù)規(guī)劃：ChatGPT將用戶的需求解析為任務(wù)列表，并確定任務(wù)之間的執(zhí)行順序和資源依賴關(guān)系；
• 模型選擇：ChatGPT根據(jù)HuggingFace上托管的各專家模型的描述，為任務(wù)分配合適的模型；
• 任務(wù)執(zhí)行：混合端點（包括本地推理和HuggingFace推理）上被選定的專家模型根據(jù)任務(wù)順序和依賴關(guān)系執(zhí)行分配的任務(wù)，并將執(zhí)行信息和結(jié)果給到ChatGPT；
• 響應(yīng)生成：最后，由ChatGPT總結(jié)各模型的執(zhí)行過程日志和推理結(jié)果，給出最終的輸出。

下表展示了HuggingGPT的具體細節(jié)：

不同任務(wù)的任務(wù)規(guī)劃評估，如下表所示：

任務(wù)規(guī)劃的格式是：?[{“task”: task, “id”, task_id, “dep”: dependency_task_ids, “args”: {“text”: text, “image”: URL, “audio”: URL, “video”: URL}}]，參數(shù)的詳細解釋，如下表所示：

二、HuggingGPT的示例

? ? ? 假設(shè)我們有如下請求，來看一下HuggingGPT的完整流程：

? ? ? ?請求：請生成一個女孩正在看書的圖片，她的姿勢與example.jpg中的男孩相同。然后請用你的聲音描述新圖片。

可以看到HuggingGPT是如何將它拆解為6個子任務(wù)，并分別選定模型執(zhí)行得到最終結(jié)果的。

三、HuggingGPT不同任務(wù)的實驗效果

參考文獻：

[1] https://github.com/microsoft/JARVIS

[2] https://huggingface.co/spaces/microsoft/HuggingGPT

[3] https://arxiv.org/abs/2303.17580

[4]?https://twitter.com/DrJimFan/status/1642563455298473986

文章轉(zhuǎn)自微信公眾號@ArronAI