Сегментация изображений методом zero-shot с использованием модели Segment Anything (SAM)
Используйте модель Segment Anything от Meta AI для сегментации изображений методом zero-shot: генерация масок по точечным, прямоугольным или масковым подсказкам без необходимости обучения под конкретную задачу.
Что понадобится
- Установите пакет segment-anything вместе с transformers версии 4.30.0 или новее и torch версии 1.7.0 или новее; установка возможна на Linux, macOS и Windows.
- Перед использованием загрузите чекпоинт модели: ViT-H (2,4 ГБ), ViT-L (1,2 ГБ) или ViT-B (375 МБ); каждый из них предоставляется в виде файла для загрузки.
Как применить
Выбирайте SAM, когда нужно сегментировать любые объекты на изображениях без обучения под конкретную задачу.
Она также подходит для создания интерактивных инструментов аннотирования с использованием точечных или прямоугольных подсказок.
Её можно применять для генерации обучающих данных для других моделей компьютерного зрения.
Она подходит для случаев, требующих перехода к новым областям изображений методом zero-shot.
Она также полезна для построения конвейеров обнаружения и сегментации объектов.
Она способна обрабатывать медицинские, спутниковые и другие специализированные изображения.
Можно выбрать один из нескольких размеров модели: ViT-B — самая быстрая, ViT-L — среднего размера, а ViT-H — наиболее точная.
В некоторых случаях следует использовать альтернативы.
Для реального времени обнаружения объектов с указанием классов используйте YOLO или Detectron2.
Для семантической или паноптической сегментации с категориями применяйте Mask2Former.
Для сегментации по текстовым подсказкам используйте GroundingDINO в сочетании с SAM.
Для задач видеосегментации применяйте SAM 2.
Размеры моделей представляют собой компромисс между скоростью и точностью: vit_h (ViT-H) занимает 2,4 ГБ, работает медленнее всего, но обладает наилучшей точностью; vit_l (ViT-L) занимает 1,2 ГБ, имеет среднюю скорость и хорошую точность; vit_b (ViT-B) занимает 375 МБ, самая быстрая, с хорошей точностью.
Установите пакет и все необязательные зависимости, как показано в исходных командах.
# From GitHub
pip install git+https://github.com/facebookresearch/segment-anything.git
# Optional dependencies
pip install opencv-python pycocotools matplotlib
# Or use HuggingFace transformers
pip install transformers
Загрузите чекпоинт для выбранного размера модели.
# ViT-H (largest, most accurate) - 2.4GB
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
# ViT-L (medium) - 1.2GB
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth
# ViT-B (smallest, fastest) - 375MB
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth
Выполните базовую сегментацию с помощью SamPredictor.
import numpy as np
from segment_anything import sam_model_registry, SamPredictor
# Load model
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to(device="cuda")
# Create predictor
predictor = SamPredictor(sam)
# Set image (computes embeddings once)
image = cv2.imread("image.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
predictor.set_image(image)
# Predict with point prompts
input_point = np.array([[500, 375]]) # (x, y) coordinates
input_label = np.array([1]) # 1 = foreground, 0 = background
masks, scores, logits = predictor.predict(
point_coords=input_point,
point_labels=input_label,
multimask_output=True # Returns 3 mask options
)
# Select best mask
best_mask = masks[np.argmax(scores)]
В качестве альтернативы используйте интеграцию с HuggingFace Transformers.
import torch
from PIL import Image
from transformers import SamModel, SamProcessor
# Load model and processor
model = SamModel.from_pretrained("facebook/sam-vit-huge")
processor = SamProcessor.from_pretrained("facebook/sam-vit-huge")
model.to("cuda")
# Process image with point prompt
image = Image.open("image.jpg")
input_points = [[[450, 600]]] # Batch of points
inputs = processor(image, input_points=input_points, return_tensors="pt")
inputs = {k: v.to("cuda") for k, v in inputs.items()}
# Generate masks
with torch.no_grad():
outputs = model(**inputs)
# Post-process masks to original size
masks = processor.image_processor.post_process_masks(
outputs.pred_masks.cpu(),
inputs["original_sizes"].cpu(),
inputs["reshaped_input_sizes"].cpu()
)
Ознакомьтесь с архитектурой модели.
SAM Architecture:
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ Image Encoder │────▶│ Prompt Encoder │────▶│ Mask Decoder │
│ (ViT) │ │ (Points/Boxes) │ │ (Transformer) │
└─────────────────┘ └─────────────────┘ └─────────────────┘
│ │ │
Image Embeddings Prompt Embeddings Masks + IoU
(computed once) (per prompt) predictions
Сегментируйте объекты с использованием точечных подсказок.
# Single foreground point
input_point = np.array([[500, 375]])
input_label = np.array([1])
masks, scores, logits = predictor.predict(
point_coords=input_point,
point_labels=input_label,
multimask_output=True
)
# Multiple points (foreground + background)
input_points = np.array([[500, 375], [600, 400], [450, 300]])
input_labels = np.array([1, 1, 0]) # 2 foreground, 1 background
masks, scores, logits = predictor.predict(
point_coords=input_points,
point_labels=input_labels,
multimask_output=False # Single mask when prompts are clear
)
Сегментируйте объекты с использованием прямоугольных подсказок.
# Bounding box [x1, y1, x2, y2]
input_box = np.array([425, 600, 700, 875])
masks, scores, logits = predictor.predict(
box=input_box,
multimask_output=False
)
Комбинируйте точки и прямоугольники для более точного управления.
# Box + points for precise control
masks, scores, logits = predictor.predict(
point_coords=np.array([[500, 375]]),
point_labels=np.array([1]),
box=np.array([400, 300, 700, 600]),
multimask_output=False
)
Уточняйте маски итеративно, используя предыдущие логиты в качестве входных данных для маски.
# Initial prediction
masks, scores, logits = predictor.predict(
point_coords=np.array([[500, 375]]),
point_labels=np.array([1]),
multimask_output=True
)
# Refine with additional point using previous mask
masks, scores, logits = predictor.predict(
point_coords=np.array([[500, 375], [550, 400]]),
point_labels=np.array([1, 0]), # Add background point
mask_input=logits[np.argmax(scores)][None, :, :], # Use best mask
multimask_output=False
)
Автоматически генерируйте все маски с помощью SamAutomaticMaskGenerator.
from segment_anything import SamAutomaticMaskGenerator
# Create generator
mask_generator = SamAutomaticMaskGenerator(sam)
# Generate all masks
masks = mask_generator.generate(image)
# Each mask contains:
# - segmentation: binary mask
# - bbox: [x, y, w, h]
# - area: pixel count
# - predicted_iou: quality score
# - stability_score: robustness score
# - point_coords: generating point
Настройте автоматическую генерацию с учётом плотности, качества и размера области.
mask_generator = SamAutomaticMaskGenerator(
model=sam,
points_per_side=32, # Grid density (more = more masks)
pred_iou_thresh=0.88, # Quality threshold
stability_score_thresh=0.95, # Stability threshold
crop_n_layers=1, # Multi-scale crops
crop_n_points_downscale_factor=2,
min_mask_region_area=100, # Remove tiny masks
)
masks = mask_generator.generate(image)
Фильтруйте сгенерированные маски по площади, предсказанному значению IoU или оценке стабильности.
# Sort by area (largest first)
masks = sorted(masks, key=lambda x: x['area'], reverse=True)
# Filter by predicted IoU
high_quality = [m for m in masks if m['predicted_iou'] > 0.9]
# Filter by stability score
stable_masks = [m for m in masks if m['stability_score'] > 0.95]
Обрабатывайте несколько изображений, повторно используя один и тот же предсказатель.
# Process multiple images efficiently
images = [cv2.imread(f"image_{i}.jpg") for i in range(10)]
all_masks = []
for image in images:
predictor.set_image(image)
masks, _, _ = predictor.predict(
point_coords=np.array([[500, 375]]),
point_labels=np.array([1]),
multimask_output=True
)
all_masks.append(masks)
Применяйте несколько подсказок к одному изображению, используя однократное кодирование изображения.
# Process multiple prompts efficiently (one image encoding)
predictor.set_image(image)
# Batch of point prompts
points = [
np.array([[100, 100]]),
np.array([[200, 200]]),
np.array([[300, 300]])
]
all_masks = []
for point in points:
masks, scores, _ = predictor.predict(
point_coords=point,
point_labels=np.array([1]),
multimask_output=True
)
all_masks.append(masks[np.argmax(scores)])
Экспортируйте модель в формат ONNX.
python scripts/export_onnx_model.py \
--checkpoint sam_vit_h_4b8939.pth \
--model-type vit_h \
--output sam_onnx.onnx \
--return-single-mask
Запускайте инференс экспортированной модели ONNX с помощью onnxruntime.
import onnxruntime
# Load ONNX model
ort_session = onnxruntime.InferenceSession("sam_onnx.onnx")
# Run inference (image embeddings computed separately)
masks = ort_session.run(
None,
{
"image_embeddings": image_embeddings,
"point_coords": point_coords,
"point_labels": point_labels,
"mask_input": np.zeros((1, 1, 256, 256), dtype=np.float32),
"has_mask_input": np.array([0], dtype=np.float32),
"orig_im_size": np.array([h, w], dtype=np.float32)
}
)
Создайте рабочий процесс инструмента аннотирования, сегментирующий изображения по щелчкам мыши.
import cv2
# Load model
predictor = SamPredictor(sam)
predictor.set_image(image)
def on_click(event, x, y, flags, param):
if event == cv2.EVENT_LBUTTONDOWN:
# Foreground point
masks, scores, _ = predictor.predict(
point_coords=np.array([[x, y]]),
point_labels=np.array([1]),
multimask_output=True
)
# Display best mask
display_mask(masks[np.argmax(scores)])
Извлекайте объекты с прозрачным фоном в формате RGBA.
def extract_object(image, point):
"""Extract object at point with transparent background."""
predictor.set_image(image)
masks, scores, _ = predictor.predict(
point_coords=np.array([point]),
point_labels=np.array([1]),
multimask_output=True
)
best_mask = masks[np.argmax(scores)]
# Create RGBA output
rgba = np.zeros((image.shape[0], image.shape[1], 4), dtype=np.uint8)
rgba[:, :, :3] = image
rgba[:, :, 3] = best_mask * 255
return rgba
Сегментируйте интересующие области на медицинских изображениях, преобразуя оттенки серого в RGB.
# Process medical images (grayscale to RGB)
medical_image = cv2.imread("scan.png", cv2.IMREAD_GRAYSCALE)
rgb_image = cv2.cvtColor(medical_image, cv2.COLOR_GRAY2RGB)
predictor.set_image(rgb_image)
# Segment region of interest
masks, scores, _ = predictor.predict(
box=np.array([x1, y1, x2, y2]), # ROI bounding box
multimask_output=True
)
Изучите структуру данных маски, возвращаемую автоматическим генератором масок.
# SamAutomaticMaskGenerator output
{
"segmentation": np.ndarray, # H×W binary mask
"bbox": [x, y, w, h], # Bounding box
"area": int, # Pixel count
"predicted_iou": float, # 0-1 quality score
"stability_score": float, # 0-1 robustness score
"crop_box": [x, y, w, h], # Generation crop region
"point_coords": [[x, y]], # Input point
}
Кодируйте маски в формат COCO RLE и декодируйте их с помощью pycocotools.
from pycocotools import mask as mask_utils
# Encode mask to RLE
rle = mask_utils.encode(np.asfortranarray(mask.astype(np.uint8)))
rle["counts"] = rle["counts"].decode("utf-8")
# Decode RLE to mask
decoded_mask = mask_utils.decode(rle)
Управляйте памятью GPU, используя менее объёмную модель или очищая кэш CUDA.
# Use smaller model for limited VRAM
sam = sam_model_registry["vit_b"](checkpoint="sam_vit_b_01ec64.pth")
# Process images in batches
# Clear CUDA cache between large batches
torch.cuda.empty_cache()
Повышайте скорость за счёт половинной точности или меньшего числа точек для автоматической генерации.
# Use half precision
sam = sam.half()
# Reduce points for automatic generation
mask_generator = SamAutomaticMaskGenerator(
model=sam,
points_per_side=16, # Default is 32
)
# Use ONNX for deployment
# Export with --return-single-mask for faster inference
Если возникнут проблемы: при ошибках нехватки памяти используйте модель ViT-B или уменьшите размер изображения; при медленной инференции — ViT-B или уменьшите значение параметра points_per_side; при плохом качестве маски попробуйте другие подсказки или комбинацию рамки с точками; при артефактах на краях примените фильтрацию по параметру stability_score; если пропускаются мелкие объекты, увеличьте значение points_per_side.
Ссылки
Источник: nousresearch/hermes-agent и участники проекта. Лицензия: MIT.
Copyright (c) 2025 Nous Research
Перевод и редакционная адаптация: ClawCases.
>Ресурсы
>Похожие юзкейсы
Арбитр разрешения конфликтов слияния агентов
Разрешает конфликт слияния Git между ветками двух агентов в качестве беспристрастной третьей стороны: нейтральный арбитр, который принимает обе версии изменений и указанные намерения, после чего формирует итоговый результат слияния, не перезаписывая ни одну из сторон.
Автономное управление проектами с помощью подагентов
Координация проектов автономно: главный агент делегирует работу подагентам-менеджерам проектов, которые отслеживают задачи в общем файле STATE.yaml, обновляют его по мере выполнения, параллельно берутся за неблокируемые задачи и сохраняют всё состояние задач в файлах с контролем версий.
Календарь контента для социальных сетей
Составьте календарь кампании в социальных сетях для нескольких платформ — от подготовки черновиков до утверждения и публикации или передачи на проверку; адаптируйте текст постов под каждый канал и помечайте слоты платформ как переданные на проверку, а не опубликованные, если нет соответствующего коннектора.