SAM 3: Segmenta tutto con i concetti

SAM 3 (Segment Anything Model 3) è il modello di base rilasciato da Meta per la Promptable Concept Segmentation (PCS). Basandosi su SAM 2, SAM 3 introduce una capacità fondamentalmente nuova: rilevare, segmentare e tracciare tutte le istanze di un concetto visivo specificato tramite prompt testuali, immagini esemplificative o entrambi. A differenza delle versioni precedenti di SAM che segmentano singoli oggetti per prompt, SAM 3 può trovare e segmentare ogni occorrenza di un concetto che appare ovunque in immagini o video, allineandosi agli obiettivi open-vocabulary nella moderna instance segmentation.

SAM 3 è ora completamente integrato nel pacchetto ultralytics, fornendo supporto nativo per la segmentazione di concetti con prompt testuali, prompt basati su esempi di immagini e funzionalità di tracciamento video.

Panoramica

SAM 3 ottiene un guadagno di prestazioni di 2× rispetto ai sistemi esistenti nella Promptable Concept Segmentation, mantenendo e migliorando al contempo le capacità di SAM 2 per la visual segmentation interattiva. Il modello eccelle nella segmentazione open-vocabulary, consentendo agli utenti di specificare concetti usando semplici sintagmi nominali (ad es. "scuolabus giallo", "gatto striato") o fornendo immagini di esempio dell'oggetto target. Queste funzionalità completano pipeline pronte per la produzione che si basano su workflow ottimizzati di predict e track.

Cos'è la Promptable Concept Segmentation (PCS)?

Il compito PCS prende come input un concept prompt e restituisce maschere di segmentazione con identità univoche per tutte le istanze di oggetti corrispondenti. I concept prompt possono essere:

• Testo: Semplici sintagmi nominali come "mela rossa" o "persona con cappello", simili al zero-shot learning
• Immagini esemplificative: Bounding box attorno a oggetti di esempio (positivi o negativi) per una rapida generalizzazione
• Combinati: Sia testo che immagini esemplificative insieme per un controllo preciso

Questo differisce dai tradizionali prompt visivi (punti, box, maschere) che segmentano solo una singola istanza di oggetto specifica, come reso popolare dalla famiglia SAM originale.

Principali metriche di performance

Per il contesto sulle metriche dei modelli e i compromessi in produzione, vedi approfondimenti sulla valutazione dei modelli e metriche di performance YOLO.

Architettura

SAM 3 consiste in un detector e un tracker che condividono una dorsale di visione Perception Encoder (PE). Questo design disaccoppiato evita conflitti tra compiti consentendo sia il rilevamento a livello di immagine che il tracciamento a livello video, con un'interfaccia compatibile con l'utilizzo di Ultralytics tramite Python e CLI.

Componenti principali

• Detector: Architettura basata su DETR per il rilevamento di concetti a livello di immagine

  • Encoder di testo per prompt basati su sintagmi nominali
  • Encoder esemplificativo per prompt basati su immagini
  • Encoder di fusione per condizionare le caratteristiche dell'immagine ai prompt
  • Nuovo presence head che disaccoppia il riconoscimento ("cosa") dalla localizzazione ("dove")
  • Mask head per generare maschere di istanza di segmentazione

• Tracker: Segmentazione video basata sulla memoria ereditata da SAM 2

  • Encoder di prompt, decoder di maschere, encoder di memoria
  • Memory bank per memorizzare l'aspetto dell'oggetto tra i frame
  • Disambiguazione temporale aiutata da tecniche come un filtro di Kalman in contesti multi-oggetto

• Presence Token: Un token globale appreso che prevede se il concetto target è presente nell'immagine/frame, migliorando il rilevamento separando il riconoscimento dalla localizzazione.

Innovazioni chiave

1. Riconoscimento e localizzazione disaccoppiati: Il presence head prevede la presenza del concetto a livello globale, mentre le query di proposta si concentrano solo sulla localizzazione, evitando obiettivi in conflitto.
2. Prompt concettuali e visivi unificati: Supporta sia PCS (concept prompts) che PVS (visual prompts come i click/box di SAM 2) in un unico modello.
3. Raffinamento interattivo tramite esempi: Gli utenti possono aggiungere immagini di esempio positive o negative per affinare iterativamente i risultati, con il modello che generalizza verso oggetti simili invece di limitarsi a correggere le singole istanze.
4. Disambiguazione temporale: Utilizza punteggi di rilevamento masklet e ri-prompt periodici per gestire occlusioni, scene affollate e fallimenti nel tracciamento video, allineandosi alle migliori pratiche di segmentazione e tracciamento delle istanze.

Dataset SA-Co

SAM 3 è addestrato su Segment Anything with Concepts (SA-Co), il dataset di segmentazione più grande e diversificato di Meta fino ad oggi, che si estende oltre i benchmark comuni come COCO e LVIS.

Dati di addestramento

Dati di benchmark

Il benchmark di valutazione SA-Co contiene 214K frasi univoche in 126K immagini e video, fornendo oltre 50× più concetti rispetto ai benchmark esistenti. Include:

• SA-Co/Gold: 7 domini, tripla annotazione per misurare i limiti delle performance umane
• SA-Co/Silver: 10 domini, singola annotazione umana
• SA-Co/Bronze e SA-Co/Bio: 9 dataset esistenti adattati per la segmentazione di concetti
• SA-Co/VEval: Benchmark video con 3 domini (SA-V, YT-Temporal-1B, SmartGlasses)

Innovazioni del motore dati

Il motore dati scalabile con uomo e modello nel loop di SAM 3 raggiunge una velocità di annotazione 2× attraverso:

1. Annotatori IA: Modelli basati su Llama propongono sintagmi nominali diversificati inclusi negativi difficili
2. Verificatori IA: Multimodal LLMs ottimizzati verificano la qualità e l'esaustività della maschera con prestazioni quasi umane
3. Active Mining: Concentra lo sforzo umano sui casi critici di fallimento dove l'IA ha difficoltà
4. Ontology-Driven: Sfrutta una grande ontologia basata su Wikidata per la copertura dei concetti

Installazione

SAM 3 è disponibile in Ultralytics versione 8.3.237 e successive. Installa o aggiorna con:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Come usare SAM 3: Versatilità nella segmentazione di concetti

SAM 3 supporta sia i compiti di Promptable Concept Segmentation (PCS) che di Promptable Visual Segmentation (PVS) tramite diverse interfacce di predizione:

Compiti e modelli supportati

Esempi di segmentazione dei concetti

Segmenta con prompt testuali

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = dict(
    conf=0.25,
    task="segment",
    mode="predict",
    model="sam3.pt",
    half=True,  # Use FP16 for faster inference
    save=True,
)
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmenta con immagini di esempio

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = dict(conf=0.25, task="segment", mode="predict", model="sam3.pt", half=True, save=True)
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes for different concepts
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferenza basata sulle caratteristiche per l'efficienza

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = dict(conf=0.50, task="segment", mode="predict", model="sam3.pt", verbose=False)
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentazione dei concetti nei video

Traccia i concetti nei video con bounding box

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = dict(conf=0.25, task="segment", mode="predict", model="sam3.pt", half=True)
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Traccia i concetti con prompt testuali

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=640, model="sam3.pt", half=True, save=True)
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Prompt visivi (compatibilità con SAM 2)

SAM 3 mantiene la piena compatibilità con i prompt visivi di SAM 2 per la segmentazione di singoli oggetti:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmark delle prestazioni

Segmentazione delle immagini

SAM 3 ottiene risultati allo stato dell'arte su molteplici benchmark, inclusi dataset del mondo reale come LVIS e COCO per la segmentazione:

Esplora le opzioni di dataset per una sperimentazione rapida in Ultralytics datasets.

Prestazioni della segmentazione video

SAM 3 mostra miglioramenti significativi rispetto a SAM 2 e ai precedenti standard allo stato dell'arte su benchmark video come DAVIS 2017 e YouTube-VOS:

Adattamento Few-Shot

SAM 3 eccelle nell'adattarsi a nuovi domini con pochi esempi, utile per i flussi di lavoro di data-centric AI:

Efficacia del perfezionamento interattivo

Il prompt basato sui concetti con esempi di SAM 3 converge molto più velocemente rispetto ai prompt visivi:

Accuratezza nel conteggio degli oggetti

SAM 3 fornisce un conteggio accurato segmentando tutte le istanze, un requisito comune nel conteggio degli oggetti:

Confronto tra SAM 3, SAM 2 e YOLO

Qui confrontiamo le capacità di SAM 3 con i modelli SAM 2 e YOLO26:

Velocità testata su NVIDIA RTX PRO 6000 con torch==2.9.1 e ultralytics==8.4.19.

Punti chiave:

• SAM 3: Migliore per la segmentazione di concetti a vocabolario aperto, trovando tutte le istanze di un concetto con prompt testuali o esemplari.
• SAM 2: Migliore per la segmentazione interattiva di singoli oggetti in immagini e video con prompt geometrici.
• YOLO26: Migliore per la segmentazione in tempo reale e ad alta velocità con inferenza end-to-end senza NMS, esportabile in molti formati per il deployment su GPU, CPU e dispositivi edge.

Confronto SAM vs YOLO

Confronto tra SAM 3, SAM 2, SAM, MobileSAM e FastSAM rispetto ai modelli di segmentazione Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) per dimensione, parametri e velocità di inferenza su GPU:

Questo confronto dimostra le sostanziali differenze nelle dimensioni e nelle velocità dei modelli tra le varianti SAM e i modelli di segmentazione YOLO. Mentre SAM offre funzionalità di segmentazione automatica uniche, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, veloci e computazionalmente più efficienti.

Test eseguiti su una NVIDIA RTX PRO 6000 con 96 GB di VRAM utilizzando torch==2.9.1 e ultralytics==8.4.19. Per riprodurre questo test:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

Metriche di valutazione

SAM 3 introduce nuove metriche progettate per il compito PCS, che completano misure familiari come punteggio F1, precisione e recall.

Classification-Gated F1 (CGF1)

La metrica primaria che combina localizzazione e classificazione:

CGF1 = 100 × pmF1 × IL_MCC

Dove:

• pmF1 (Positive Macro F1): Misura la qualità della localizzazione su esempi positivi
• IL_MCC (Image-Level Matthews Correlation Coefficient): Misura l'accuratezza della classificazione binaria ("il concetto è presente?")

Perché queste metriche?

Le tradizionali metriche AP non tengono conto della calibrazione, rendendo i modelli difficili da usare nella pratica. Valutando solo le previsioni con confidenza superiore a 0.5, le metriche di SAM 3 impongono una buona calibrazione e imitano i pattern di utilizzo nel mondo reale nei cicli interattivi di predict e track.

Ablazioni chiave e approfondimenti

Impatto della Presence Head

Il presence head disaccoppia il riconoscimento dalla localizzazione, fornendo miglioramenti significativi:

Il presence head fornisce un incremento di +5.7 CGF1 (+9.9%), migliorando principalmente la capacità di riconoscimento (IL_MCC +6.5%).

Effetto degli Hard Negative

Gli hard negative sono cruciali per il riconoscimento a vocabolario aperto, migliorando IL_MCC del 54.5% (0.44 → 0.68).

Scaling dei dati di addestramento

Le annotazioni umane di alta qualità offrono grandi guadagni rispetto ai soli dati sintetici o esterni. Per informazioni sulle pratiche di qualità dei dati, consulta data collection and annotation.

Applicazioni

La capacità di segmentazione dei concetti di SAM 3 abilita nuovi casi d'uso:

• Moderazione dei contenuti: Trova tutte le istanze di tipi di contenuto specifici nelle librerie multimediali
• E-commerce: Segmenta tutti i prodotti di un certo tipo nelle immagini di catalogo, supportando la auto-annotation
• Imaging medico: Identifica tutte le occorrenze di specifici tipi di tessuto o anomalie
• Sistemi autonomi: Traccia tutte le istanze di segnali stradali, pedoni o veicoli per categoria
• Analisi video: Conta e traccia tutte le persone che indossano abbigliamento specifico o compiono azioni
• Annotazione del dataset: Annota rapidamente tutte le istanze di categorie di oggetti rare
• Ricerca scientifica: Quantifica e analizza tutti gli esemplari che corrispondono a criteri specifici

SAM 3 Agent: Ragionamento linguistico esteso

SAM 3 può essere combinato con Multimodal Large Language Models (MLLM) per gestire query complesse che richiedono ragionamento, nello spirito dei sistemi a vocabolario aperto come OWLv2 e T-Rex.

Prestazioni in attività di ragionamento

Esempi di query complesse

SAM 3 Agent può gestire query che richiedono ragionamento:

• "Persone sedute ma che non tengono in mano una scatola regalo"
• "Il cane più vicino alla fotocamera che non indossa un collare"
• "Oggetti rossi più grandi della mano della persona"

Il MLLM propone query con semplici sintagmi nominali a SAM 3, analizza le maschere restituite e itera fino a quando non è soddisfatto.

Limitazioni

Sebbene SAM 3 rappresenti un progresso importante, presenta alcune limitazioni:

• Complessità delle frasi: Ideale per semplici sintagmi nominali; espressioni di riferimento lunghe o ragionamenti complessi potrebbero richiedere l'integrazione con MLLM
• Gestione delle ambiguità: Alcuni concetti rimangono intrinsecamente ambigui (es. "finestra piccola", "stanza accogliente")
• Requisiti computazionali: Più grande e lento rispetto a modelli di rilevamento specializzati come YOLO
• Portata del vocabolario: Focalizzato su concetti visivi atomici; il ragionamento compositivo è limitato senza l'assistenza di un MLLM
• Concetti rari: Le prestazioni potrebbero degradare su concetti estremamente rari o granulari non ben rappresentati nei dati di addestramento

Citazione

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

FAQ

Quando è stato rilasciato SAM 3?

SAM 3 è stato rilasciato da Meta il 20 novembre 2025 ed è completamente integrato in Ultralytics a partire dalla versione 8.3.237 (PR #22897). Il supporto completo è disponibile per predict mode e track mode.

SAM 3 è integrato in Ultralytics?

Sì! SAM 3 è completamente integrato nel pacchetto Python di Ultralytics, inclusa la segmentazione dei concetti, i prompt visivi in stile SAM 2 e il tracciamento video multi-oggetto. SAM 3 alimenta anche la funzionalità di smart annotation sulla Ultralytics Platform, dove puoi annotare le immagini con pochi clic.

Cos'è la Promptable Concept Segmentation (PCS)?

PCS è una nuova attività introdotta in SAM 3 che segmenta tutte le istanze di un concetto visivo in un'immagine o in un video. A differenza della segmentazione tradizionale che mira a una specifica istanza di oggetto, PCS trova ogni occorrenza di una categoria. Ad esempio:

• Prompt testuale: "scuolabus giallo" → segmenta tutti gli scuolabus gialli nella scena
• Esemplare immagine: Riquadro attorno a un cane → segmenta tutti i cani nell'immagine
• Combinato: "gatto a strisce" + riquadro esemplificativo → segmenta tutti i gatti a strisce che corrispondono all'esempio

Vedi il background correlato su object detection e instance segmentation.

In cosa differisce SAM 3 da SAM 2?

SAM 3 mantiene la retrocompatibilità con i prompt visivi di SAM 2 aggiungendo al contempo capacità basate su concetti.

Quali dataset vengono utilizzati per addestrare SAM 3?

SAM 3 è addestrato sul dataset Segment Anything with Concepts (SA-Co):

Dati di addestramento:

• 5.2M di immagini con 4M di frasi nominali uniche (SA-Co/HQ) - annotazioni umane di alta qualità
• 52.5K di video con 24.8K di frasi nominali uniche (SA-Co/VIDEO)
• 1.4B di maschere sintetiche su 38M di frasi nominali (SA-Co/SYN)
• 15 dataset esterni arricchiti con negativi difficili (SA-Co/EXT)

Dati di benchmark:

• 214K di concetti unici su 126K di immagini/video
• 50× più concetti rispetto ai benchmark esistenti (es. LVIS ha ~4K concetti)
• Tripla annotazione su SA-Co/Gold per misurare i limiti delle prestazioni umane

Questa scala e diversità massicce consentono la superiore generalizzazione zero-shot di SAM 3 su concetti a vocabolario aperto.

Come si confronta SAM 3 con YOLO26 per la segmentazione?

SAM 3 e YOLO26 servono casi d'uso diversi:

Vantaggi di SAM 3:

• Vocabolario aperto: segmenta qualsiasi concetto tramite prompt testuali senza addestramento
• Zero-shot: funziona immediatamente su nuove categorie
• Interattivo: il perfezionamento basato su esempi si generalizza a oggetti simili
• Basato su concetti: trova automaticamente tutte le istanze di una categoria
• Accuratezza: 47.0 AP su segmentazione di istanze zero-shot LVIS

Vantaggi di YOLO26:

• Velocità: inferenza ordini di grandezza più veloce con design end-to-end senza NMS
• Efficienza: modelli 539× più piccoli (6.4MB contro 3.45GB)
• Risorse limitate: funziona su dispositivi edge e mobile
• Tempo reale: ottimizzato per distribuzioni in produzione

Consiglio:

• Usa SAM 3 per una segmentazione flessibile a vocabolario aperto dove devi trovare tutte le istanze di concetti descritti da testo o esempi
• Usa YOLO26 per distribuzioni in produzione ad alta velocità dove le categorie sono note in anticipo
• Usa SAM 2 per la segmentazione interattiva di singoli oggetti con prompt geometrici

SAM 3 può gestire query linguistiche complesse?

SAM 3 è progettato per semplici frasi nominali (es. "mela rossa", "persona che indossa un cappello"). Per query complesse che richiedono ragionamento, combina SAM 3 con un MLLM come SAM 3 Agent:

Query semplici (SAM 3 nativo):

• "scuolabus giallo"
• "gatto striato"
• "persona che indossa un cappello rosso"

Query complesse (SAM 3 Agent con MLLM):

• "Persone sedute ma che non tengono in mano una scatola regalo"
• "Il cane più vicino alla fotocamera senza collare"
• "Oggetti rossi più grandi della mano della persona"

SAM 3 Agent raggiunge 76.0 gIoU sulla validazione di ReasonSeg (contro 65.0 del miglior precedente, +16.9% di miglioramento) combinando la segmentazione di SAM 3 con le capacità di ragionamento MLLM.

Quanto è accurato SAM 3 rispetto alle prestazioni umane?

Sul benchmark SA-Co/Gold con tripla annotazione umana:

• Limite umano inferiore: 74.2 CGF1 (annotatore più conservativo)
• Prestazioni SAM 3: 65.0 CGF1
• Risultato: 88% del limite umano inferiore stimato
• Limite umano superiore: 81.4 CGF1 (annotatore più liberale)

SAM 3 raggiunge prestazioni elevate avvicinandosi all'accuratezza umana nella segmentazione di concetti a vocabolario aperto, con il divario principale su concetti ambigui o soggettivi (es. "finestra piccola", "stanza accogliente").