Segment Anything 再進化 物件偵測與 3D 重建更簡單

Author:

Published:

- 廣告 -

Google 連環推出 Gemini 3 和 Nano Banana Pro 技驚四座,但其實 Meta AI 日前亦為 Segment Anything 模型(SAM)系列推出最新版本 SAM3 和兩個全新的 SAM 3D 模型。SAM 3 能夠使用文字和視覺提示,在圖像與影片中偵測並追蹤物件,而 SAM 3D 則能從單一圖像重建 3D 物件與人物。秉承 Meta AI 主張開源的宗旨兩模型繼續開源,大家亦可以到 Segment Anything Playground 試玩新模型,加添效果並上傳到社交平台。

Segment Anything 模型系列的目的是從圖片或影片中抽取任意物件出來,以便進行進一步的處理和運用。在不少 AI 圖像或影片生成中其實都有用到。新版本的 SAM 3 將過往難以做到的語言與圖像或影中的特定視覺元素連結起來,可以透過文字描述更輕易地從圖像或影片中分割出所有符合的物件。SAM 3 也能與多模態大型語言模型結合,理解更長、更複雜的文字提示。

SAM 3 將語言與圖像或影中的特定視覺元素連結起來,配合多模態大型語言模型,能更抽象地抽取物件進行分析、追蹤及處理。
SAM 3 將語言與圖像或影中的特定視覺元素連結起來,配合多模態大型語言模型,能更抽象地抽取物件進行分析、追蹤及處理。

而 SAM 3D 則包含兩個開源模型,能根據單一圖像重建出 3D 物件。其中,SAM 3D Objects 能從圖像中提取出指定物件重建成 3D 物件並附有貼圖;而 SAM 3D Body 則能抽出圖像中的人體,並且估計體態並嵌入骨架。Meta 表示 SAM 3D 的發布是利用大規模資料應對實體世界複雜性的重大一步,有潛力大幅推進機器人、科學、運動醫學等關鍵領域。

- 廣告 -
SAM 3D 能從單一圖像中抽取物件重建成 3D 物件。
SAM 3D 能從單一圖像中抽取物件重建成 3D 物件。

Meta 將會在短片剪輯應用 Meta Edits 中利用 SAM 3 提供在特定人物或物件上套用效果的功能,並利用 SAM 3D 在 Facebook Marketplace 推出全新「View in Room」功能,幫助用戶在購買前先在自家空間中預覽燈具或桌子等居家裝飾品的風格與是否合適。

Meta 利用 SAM 3D 在 Facebook Marketplace 推出全新「View in Room」功能,幫助用戶在購買前先在自家空間中預覽燈具或桌子等居家裝飾品的風格與是否合適。
Meta 利用 SAM 3D 在 Facebook Marketplace 推出全新「View in Room」功能,幫助用戶在購買前先在自家空間中預覽燈具或桌子等居家裝飾品的風格與是否合適。

試玩 SAM 3 及 SAM 3D

大家可以 Meta 新設的 Segment Anything Playground 三款模型,其中 Create video cutouts 可以從影片中抽出物件或人物,並能在影片中為它們逐一加上特效;Create 3D scenes 就可以從相片中抽出附帶材質的物件,然後加入各種效果;而 Create 3D bodies 就針對人體進行抽取並加入骨架。配合其他影片生成模型能幅提升效果,例如處理難以單靠文字表達的流暢受控的動態運鏡。

Segment Anything Playground 提供三款模型四種玩法,讓大家了解 SAM 3 和 SAM 3D 的功能。
Segment Anything Playground 提供三款模型四種玩法,讓大家了解 SAM 3 和 SAM 3D 的功能。

Create video cutouts

利用 SAM 3 從影片中偵測出不同人物和物件,並且標示出他們的出現時間。
利用 SAM 3 從影片中偵測出不同人物和物件,並且標示出他們的出現時間。
可以為抽取出來的物件加入多種特效。
完成後的影片可以分享到社交平台,或者下載來使用。
完成後的影片可以分享到社交平台,或者下載來使用。

Create 3D scenes

SAM 3D Object 抽取出咖啡壼,並重建成帶材質的 3D 模型。
SAM 3D Object 抽取出咖啡壼,並重建成帶材質的 3D 模型。

Create 3D bodies

從圖片中抽取出指定人物的外型和骨架,即使多人或部分身體被遮擋仍能重建人物外形和骨架。
從圖片中抽取出指定人物的外型和骨架,即使多人或部分身體被遮擋仍能重建人物外形和骨架。
即使摟抱在一起只有上半身的兩個人,也能重建出 3D 模型和骨架。
即使摟抱在一起只有上半身的兩個人,也能重建出 3D 模型和骨架。
- 廣告 -
Mickey Chan
Mickey Chan
愛模擬飛行、希望終有一日回到單車上的宅,眼鏡娘控。座右銘: 1.膽固醇跟美味是成正比的; 2.所有人都可以騙,但絕對不能騙自己; 3.賣掉的貨才是錢,不賣的收藏品不值一文; 4.踩單車,是為了吃更多美食! 5.正義的話語,不一定出自正義之人的口;
- 廣告 -

Related Articles

- 廣告 -

Recent Articles

- 廣告 -

最新影片

- 廣告 -