"Meta AI"是Meta公司的人工智能研究部門，致力于推動人工智能領域的創新和突破。該部門專注于開發先進的人工智能技術和算法，包括自然語言處理、計算機視覺、增強現實/虛擬現實（AR/VR）、機器人技術等多個領域。Meta AI 旨在通過其研究來推動技術邊界，并將這些技術應用于Meta的產品和服務中，同時也開放一些研究成果供學術界和工業界使用。

1. SAM 使用多種輸入提示
指定在圖像中分割的內容的提示允許執行廣泛的分割任務，而無需額外的訓練。用交互點和框來提示它。自動分割圖像中的所有內容。為模糊提示生成多個有效的掩碼。2. SAM 的提示式設計可實現與其他系統的靈活集成
SAM 可以從其他系統獲取輸入提示，例如將來可以從 AR/VR 耳機獲取用戶的注視來選擇對象。此視頻使用了我們開源的 Aria 試點數據集。
來自對象檢測器的邊界框提示可以實現文本到對象的分割。3. 可擴展輸出
輸出蒙版可用作其他 AI 系統的輸入。例如，對象蒙版可在視頻中跟蹤、啟用圖像編輯應用程序、提升為 3D或用于拼貼等創意任務。4. 零樣本泛化
SAM 已經學會了關于物體的一般概念——這種理解使得零樣本泛化到不熟悉的物體和圖像而無需額外的訓練。

1. SAM 的數據引擎
SAM 的先進功能源自其對數百萬張圖像和掩碼的訓練，這些圖像和掩碼是通過使用模型在環“數據引擎”收集的。研究人員使用 SAM 及其數據以交互方式注釋圖像并更新模型。這個循環重復多次，以改進模型和數據集。2. 1100 萬張圖像，10 億多張掩膜
在 SAM 的幫助下注釋了足夠多的蒙版后，我們能夠利用 SAM 復雜的模糊感知設計完全自動注釋新圖像。為此，我們向 SAM 展示圖像上的點網格，并要求 SAM 在每個點處分割所有內容。我們的最終數據集包括從約 1100 萬張獲得許可和隱私保護的圖像中收集的超過 11 億個分割蒙版。3. 高效靈活的模型設計
SAM 的設計足夠高效，能夠為其數據引擎提供動力。我們將模型分解為 1) 一次性圖像編碼器和 2) 輕量級掩碼解碼器，每次提示只需幾毫秒即可在網絡瀏覽器中運行。

1. 圖像和視頻編輯：
   • 在圖像和視頻編輯軟件中，用戶可以使用SAM來快速分割出圖像中的特定對象，用于替換背景、裁剪、縮放或其他編輯操作。
   • 在視頻處理中，SAM可以用于跟蹤視頻中的對象，并應用于特效添加、視頻合成等場景。
2. 增強現實/虛擬現實（AR/VR）：
   • 在AR/VR應用中，SAM可以與用戶的交互（如注視點、手勢等）結合，實現更自然的對象選擇和分割，提升用戶體驗。
   • 在虛擬現實環境中，SAM可以用于場景重建、物體放置和交互等。
3. 圖像識別和分析：
   • 在醫療領域，SAM可以用于醫學影像分析，如自動分割出病灶區域，輔助醫生進行診斷。
   • 在安防領域，SAM可以用于監控視頻中的目標檢測和跟蹤，提高監控效率。
4. 自動駕駛和機器人技術：
   • 在自動駕駛領域，SAM可以用于道路和交通標志的分割，幫助車輛更好地理解周圍環境。
   • 在機器人領域，SAM可以用于機器人視覺系統中，實現對物體的精準識別和抓取。
5. 創意設計和廣告：
   • 在廣告設計中，SAM可以用于快速分割圖像中的元素，以創建更具吸引力的廣告素材。
   • 在創意設計中，SAM可以用于圖像合成、拼貼等任務，為設計師提供便捷的工具。