Đến nội dung chính

SAM 3D: 3Dfy Anything in Images

Best Paper Honorable Mention (CVPR 2026)Tái dựng hình học 3D & 4D

SAM 3D tái dựng hình học, texture và bố trí đối tượng từ một ảnh. Quy trình gán nhãn có con người và mô hình tham gia kết hợp pretraining tổng hợp với căn chỉnh dữ liệu thực để xử lý ảnh có che khuất và nền phức tạp.

Mức giải thích

SAM 3D dựng lại vật thể 3D từ một ảnh tự nhiên. Bài viết đi qua cách đặt bài toán, data engine, mô hình flow hai giai đoạn và kết quả báo cáo. Giải thưởng là ghi nhận chính thức của hội nghị; phần phân tích là cách đọc riêng của EyeCode.

Tổng quan

SAM 3D (mô hình phát hành là SAM 3D Objects) dựng một vật thể 3D từ một ảnh và mặt nạ đánh dấu vật đó. Đầu ra gồm hình dạng, texture và layout: góc xoay, tịnh tiến và tỉ lệ của vật trong hệ tọa độ camera. Mục tiêu là ảnh đời thường lộn xộn chứ không phải ảnh sản phẩm sạch. Pointmap (bản đồ 3D theo từng pixel suy từ độ sâu) là đầu vào tùy chọn; khi không có cảm biến, các tác giả ước lượng bằng một mô hình độ sâu có sẵn.

Các tác giả nêu bốn đóng góp: mô hình; pipeline gán nhãn có người và mô hình cùng tham gia; công thức huấn luyện mượn từ mô hình ngôn ngữ, từ pretraining tổng hợp tới căn chỉnh trên ảnh thật; và SA-3DAO, benchmark gồm 1.000 ảnh kèm mesh do họa sĩ làm.

Vì sao quan trọng: nhãn 3D chính xác cho ảnh tự nhiên rất khan hiếm, nên công thức này là khuôn mẫu cho lĩnh vực thiếu dữ liệu. CVPR 2026 xếp bài vào nhóm Best Paper Honorable Mention; đó là ghi nhận của hội nghị, không phải xếp hạng của EyeCode.

Bài toán nghiên cứu

Đầu vào: ảnh I và mặt nạ M chọn một vật. Đầu ra: hình dạng S, texture T và tư thế (xoay R, tịnh tiến t, tỉ lệ s) trong tọa độ camera. Vì chiếu 3D xuống 2D làm mất thông tin, các tác giả mô hình hóa một phân phối có điều kiện trên các đáp án và huấn luyện mô hình sinh, thay vì dự đoán một đáp án cố định.

Thách thức: ảnh thật có che khuất, lộn xộn và vật nhỏ, trong khi nhãn 3D chính xác khan hiếm và họa sĩ mất hàng giờ cho một mesh. Theo bài, các công trình trước chủ yếu huấn luyện trên vật tổng hợp đứng riêng và thử trên benchmark đơn giản, còn phương pháp layout chủ yếu phủ cảnh bàn, đường phố hoặc trong nhà, thường ước lượng hình dạng và tư thế ở các bước riêng.

Ý tưởng chính

Ý tưởng trung tâm là vòng lặp giữa mô hình và người gán nhãn. Mô hình cùng các công cụ khác đề xuất hình 3D ứng viên cho ảnh thật, người gán nhãn chọn cái tốt nhất và chấm điểm, kết quả được nhận thành dữ liệu huấn luyện, còn ứng viên bị loại thành mẫu âm cho huấn luyện theo sở thích.

Ví dụ minh họa (do EyeCode diễn đạt): với chiếc ghế bị che một nửa, khoảng 8 ứng viên được so từng cặp; bên thắng được chấm và, nếu đủ tốt, căn vào đám mây điểm để huấn luyện. Nếu không cái nào đạt, họa sĩ 3D có thể dựng.

Ý tưởng thứ hai là công thức nhiều giai đoạn lấy cảm hứng từ mô hình ngôn ngữ: pretraining tổng hợp, mid-training trên ảnh dán vật render, rồi post-training trên dữ liệu thật bằng SFT và DPO. Về cuối dự án, mô hình tạo ra khoảng 80 phần trăm dữ liệu được gán nhãn.

Phương pháp

Sơ đồ minh họa của EyeCode: ảnh và mặt nạ qua DINOv2, mô hình hình học, mô hình texture, bộ giải mã ra vật thể 3D và layout
Minh họa gốc của EyeCode về luồng dữ liệu của phương pháp theo mô tả trong bài báo; không phải bản sao hình của tác giả. · EyeCode Tech (Original EyeCode illustration) · Nguồn
Sơ đồ EyeCode: vòng lặp data engine gồm chọn vật, chọn mesh tốt nhất trong 6 đến 10 ứng viên, căn vào đám mây điểm, huấn luyện lại, và nhánh họa sĩ cho ca khó
Minh họa gốc của EyeCode về data engine theo Mục 3.2 và phụ lục A.5 của bài báo (thời gian trung bình mỗi bước và tổng sản lượng do bài báo nêu); không phải bản sao hình của tác giả. · EyeCode Tech (Original EyeCode illustration) · Nguồn

Đầu vào: toàn ảnh và vùng cắt theo mặt nạ, mã hóa bằng DINOv2, cộng pointmap tùy chọn. Thiết kế mở rộng latent flow matching hai giai đoạn của Trellis để dự đoán thêm layout.

  • Mô hình hình học: flow transformer 1,2 tỉ tham số dự đoán lưới thô 64 khối cùng xoay, tịnh tiến và tỉ lệ.
  • Mô hình texture và tinh chỉnh: sparse flow transformer 600 triệu tham số thêm chi tiết và texture trên các voxel bị chiếm.
  • Bộ giải mã: cho ra mesh hoặc 3D Gaussian splat.

Huấn luyện dùng flow matching, sau đó DPO. Chưng cất giảm lấy mẫu hình học từ 25 xuống 4 bước để ra kết quả dưới một giây. Pretraining dùng khoảng 2,7 triệu mesh render từ 24 góc nhìn; mid-training dùng 61 triệu mẫu render-and-paste.

Thực nghiệm & kết quả

Bảng 2 của bài báo, hình dạng một vật thể. Bốn cột đầu đo trên SA-3DAO so với mesh do họa sĩ tạo; ULIP và Uni3D là điểm tương đồng cảm nhận giữa ảnh và hình dạng trên ISO3D, tập không có hình học chuẩn. Mũi tên chỉ chiều tốt hơn. HY3D = Hunyuan3D. Bài báo lưu ý TripoSG dùng độ phân giải mesh cao hơn nhiều, điều mà các thước đo cảm nhận ưu ái. Số liệu chép đúng như bản in.
Mô hìnhF1@0.01 (SA-3DAO) ↑vIoU (SA-3DAO) ↑Chamfer (SA-3DAO) ↓EMD (SA-3DAO) ↓ULIP (ISO3D) ↑Uni3D (ISO3D) ↑
Trellis0.14750.13920.09020.21310.14730.3698
HY3D-2.10.13990.12660.11260.24320.12930.3546
HY3D-2.00.15740.15040.08660.20490.14840.3662
Direct3D-S20.15130.14650.09620.21600.14050.3653
TripoSG0.15330.14450.08440.20570.15290.3687
Hi3DGen0.16290.15310.09370.21340.14190.3594
SAM 3D0.23440.23110.04000.12110.14880.3707
Bảng 3 của bài báo, layout vật thể. Pipeline ghép một mô hình hình dạng với bộ ước lượng tư thế (Megapose hoặc FoundationPose); MIDI và SAM 3D dự đoán hình dạng và layout cùng lúc. ADT = Aria Digital Twin. Cột ADD-S của SA-3DAO bị lược ở đây cho gọn, và MIDI không có kết quả SA-3DAO vì phần lớn cảnh SA-3DAO chỉ có một vật. 3D IoU và ADD-S@0.1: càng cao càng tốt; ICP-Rot (độ) và ADD-S: càng thấp càng tốt.
Phương phápSA-3DAO 3D IoU ↑SA-3DAO ICP-Rot ↓SA-3DAO ADD-S@0.1 ↑ADT 3D IoU ↑ADT ICP-Rot ↓ADT ADD-S ↓ADT ADD-S@0.1 ↑
Trellis + Megapose0.244939.38660.28310.253133.61140.43580.1971
HY3D-2.0 + Megapose0.251833.83070.36470.379429.00660.14570.4211
HY3D-2.0 + FoundationPose0.293732.94440.53960.386425.14350.10260.5992
HY3D-2.1 + FoundationPose0.239539.83570.41770.279533.11970.21350.4129
SAM 3D shape + FoundationPose0.283732.91680.50790.366118.91020.09300.6495
MIDI (joint)---0.033644.23532.52780.0175
SAM 3D (joint)0.425420.76670.72320.497015.25150.07650.7673
Bảng 4 của bài báo, tác động cộng dồn của từng giai đoạn huấn luyện lên hình dạng SA-3DAO. Cột cuối là tỉ lệ thắng texture theo đánh giá của người (phần trăm) của mỗi dòng so với dòng ngay trên, trên tập preference; '-' nghĩa là bài báo không báo cáo. Dòng cuối là mô hình cuối cùng, khớp với dòng SAM 3D của bảng hình dạng.
Giai đoạn huấn luyệnF1@0.01 ↑vIoU ↑Chamfer ↓EMD ↓Tỉ lệ thắng texture % ↑
Pretraining (Iso-3DO)0.13490.12020.10360.2396-
+ Mid-training (RP-3DO)0.17050.16830.07600.182160.7
+ SFT (MITL-3DO)0.20270.20250.05780.151066.9
+ DPO (MITL-3DO)0.21560.21560.04980.136766.4
+ SFT (Art-3DO)0.23310.23370.04450.1257-
+ DPO (Art-3DO)0.23440.23110.04000.1211-
Biểu đồ cột của EyeCode: F1@0.01 trên SA-3DAO tăng từ 0,1349 sau pretraining lên 0,2344 sau DPO với Art-3DO
Biểu đồ gốc của EyeCode vẽ lại cột F1@0.01 của Bảng 4 trong bài báo; giá trị chép đúng như bản in. · EyeCode Tech (Original EyeCode illustration) · Nguồn

Giao thức: hình dạng trên SA-3DAO (F-score, IoU voxel, Chamfer, EMD) và ISO3D (độ tương đồng ULIP và Uni3D, không có hình học chuẩn); layout trên SA-3DAO và Aria Digital Twin (3D IoU, sai số xoay, ADD-S). Baseline gồm Trellis, Hunyuan3D, Direct3D-S2, TripoSG, Hi3DGen, pipeline tư thế và MIDI; xem các bảng bên dưới.

Số liệu chính: trên SA-3DAO, F1 0,2344 và Chamfer 0,0400 so với 0,1629 và 0,0844 của baseline tốt nhất theo từng thước đo; trên Aria Digital Twin, ADD-S@0.1 của dự đoán chung là 0,7673 so với 0,0175 của MIDI. Không đồng đều: trên ISO3D bài nói SAM 3D ngang hoặc hơn kết quả trước, và TripoSG có ULIP cao hơn.

Sở thích của người: các tác giả báo cáo tỉ lệ thắng 5:1 trên ảnh thật và 6:1 cho cảnh so với các phương pháp trước; tỉ lệ theo baseline nằm trong biểu đồ nên không trích dẫn. Ablation (Bảng 4): F1 hình dạng tăng từ 0,1349 sau pretraining lên 0,2344, mỗi giai đoạn đều đóng góp. Phụ lục cho thấy độ bền vừa phải với mặt nạ không hoàn hảo.

Hạn chế

Do tác giả nêu

Phụ lục F: hình học là lưới thô 64 khối nên phần mảnh, bàn tay, khuôn mặt có thể méo; các vật được dựng từng cái một, không suy luận tiếp xúc hay ổn định; texture bỏ qua tư thế nên vật đối xứng có thể bị xoay sai. Ở nơi khác họ nêu lỗi cộng dồn từ mặt nạ tự động và reward model chỉ khớp người khoảng 65 tới 69 phần trăm.

Phân tích của EyeCode (diễn giải biên tập)

Benchmark, nghiên cứu sở thích và baseline đều do các tác giả thực hiện, và Bảng 8 có ô lặp. Huấn luyện cần gán nhãn nhiều và tài nguyên GPU lớn (512 A100 cho pretraining hình học), nên tái hiện đầy đủ khó dù đã phát hành checkpoint.

Điểm cần nhớ

  • Kiểm chứng rẻ hơn sinh: chọn giữa các mesh giúp mở rộng nhãn tới hàng triệu mẫu.
  • Mỗi giai đoạn huấn luyện đều tăng chất lượng hình dạng đo được trên SA-3DAO.
  • Trên ảnh ISO3D sạch mô hình chỉ ngang bằng, nên bằng chứng mạnh nhất là cho ảnh thật lộn xộn.
  • Hạn chế: hình học thô, từng vật một, texture không biết tư thế.

Hướng gợi ý (đề xuất của EyeCode, không phải kết luận của bài báo)

  • Chạy mô hình đã phát hành trên ảnh lộn xộn của bạn.
  • So với bảng xếp hạng SA-3DAO công khai.

Tài liệu tham khảo

  1. SAM 3D: 3Dfy Anything in Images (arXiv 2511.16624)
  2. SAM 3D paper PDF (arXiv, v2)
  3. CVPR 2026 open-access page for SAM 3D (CVF)
  4. CVF supplemental PDF
  5. SAM 3D project page (Meta AI)
  6. SAM 3D Objects code (GitHub, README)
  7. SA-3DAO artist object set (Meta AI datasets)
  8. SA-3DAO leaderboard (Hugging Face Space)
  9. SAM 3D online demo (Meta)
  10. CVPR 2026 Best Papers

KEEP EXPLORING

Đọc tiếp để nối các ý tưởng.