Editor Fotografico AI con SAM e SDXL

10 mar 2024 · 1 min di lettura
projects

Questo progetto esplora l’intersezione tra computer vision precisa ed editing generativo delle immagini combinando Segment Anything (SAM) con Stable Diffusion XL.

L’idea di base e semplice: la segmentazione fornisce controllo esatto su cio che va modificato, mentre l’inpainting basato su diffusion offre la flessibilita generativa necessaria per modificarlo davvero. Questo rende il sistema utile non solo come demo, ma anche come esempio concreto di integrazione tra modelli discriminativi e generativi nello stesso workflow.

Sviluppato in Python con PyTorch, Diffusers e Gradio, il progetto supporta masking interattivo, sostituzione di oggetti e generazione dello sfondo mantenendo la pipeline abbastanza leggera da funzionare anche su hardware consumer con le giuste ottimizzazioni.

Stefano Blando
Authors
PhD Student in Artificial Intelligence
Stefano Blando is a PhD student in the National PhD Program in Artificial Intelligence at Scuola Superiore Sant’Anna and the University of Pisa. His research lies at the intersection of AI, agent-based modeling, and economics. He studies adaptive multi-agent systems, statistical verification of economic simulations, and robust quantitative methods for financial and socio-economic data.