Stable Diffusion XL su MacOS

In questa paginetta presentiamo un esempio di programma Python che utilizza i package di Stable Diffusion XL per realizzare immagini sfruttando per l'elaborazione AI (Artificial Intelligence) le GPU (Graphics Processing Unit) presenti sui processori Silicon di Apple.
Sembra tutto molto difficile... in realta' non e' cosi' complesso e conoscere come funzionano le reti neurali per la generazione di immagini puo' essere utile anche per chi utilizza solo applicazioni o servizi in Cloud per la grafica.

Inoltre l'elaborazione locale permette di generare immagini senza chiavi di accesso legate ad abbonamenti, senza latenza nell'accesso ai servizi, senza vincoli o censure ed infine senza problemi di privacy.

La trattazione sara' semplice con comandi ed esempi pratici, ma un poco di familiarita' con il Python e l'interfaccia a linea di comando del Mac e' necessaria. Tutti gli esempi di programmazione riportati sono completi, funzionanti su MacBook con processori Silicon con 16GB di RAM o piu'.
Vengono riportati suggerimenti per l'uso dei Prompt, Inquadrature, Pose, LoRA, infine non manca una panoramica su configurazioni e strumenti alternativi per la generazione delle immagini.

Introduzione

L'architettura dei chip di Apple e' differente da quella tipicamente presente sui sistemi Windows o Linux e consente una maggiore flessibilita' nell'uso dei piu' recenti tool di AI (Artificial Intelligence) che utilizzano le reti neurali. Questo consente di eseguire localmente su Mac modelli di AI che su altre piattaforme richiedono costose schede grafiche dedicate.

Eseguire localmente i modelli AI presenta diversi vantaggi.
Non e' necessario utilizzare chiavi di accesso a servizi che richiedono un pagamento o hanno limiti di utilizzo. Eseguendo i modelli localmente, si mantiene la piena proprieta' dei dati e si evitano i potenziali rischi per la sicurezza. Un motore locale riduce la latenza e la dipendenza da server esterni, rendendoli piu' affidabili, funzionanti anche in assenza di connessione ad internet e, se si dispone localmente della potenza necessaria, potenzialmente piu' veloci. Si hanno a disposizione tutti i parametri di configurazione dei motori di inferenza e si possono imparare tutti i dettagli sul reale funzionamento delle reti neurali di grandi dimensioni. Eseguendo localmente le elaborazioni non sono presenti blocchi, filtri, censure, ...

Il vantaggio fondamentale risiede nella privacy assoluta e nel controllo totale dei dati, poiche' nessuna informazione lascia il proprio computer e nessuna censura e' inserita alle sue risposte. Questo, unito alla possibilita' di personalizzazione e all'assenza di costi per l'utilizzo, rende gli LLM locali strumenti potenti per le aziende ed i professionisti.

Apple Silicon

Apple ha progettato i chip Silicon [NdA Apple Silicon M1 e successivi] che contengono al loro interno sia CPU che GPU ed accedono alla stessa memoria RAM mediante UMA (Unified Memory Architecture). Il primo vantaggio e' che non e' necessario di copiare i dati dalla RAM di sistema (usata dalla CPU) alla VRAM dedicata (usata dalla GPU). Tutti i processori accedono agli stessi dati nello stesso posto. Il secondo importante vantaggio e' che la memoria totale del sistema e' disponibile per ogni utilizzo: questo rende i sistemi Mac molto adatti a provare LLM di grandi dimensioni senza richiedere l'acquisto di costose schede dedicate.

Concludendo per provare ad eseguire localmente reti neurali di discrete dimensioni un Mac di Apple puo' essere un'alternativa molto flessibile e, curiosamente, economica.

Stable Diffusion

Stable Diffusion e' un programma di intelligenza artificiale estremamente avanzato, progettato per la generazione di immagini a partire da descrizioni testuali. Stable Diffusion utilizza le reti neurali come i LLM (Large Language Model) ma in realta' il meccanismo di generazione dell'immagine e' diverso. Un LLM genera in modo seriale una parola alla volta basandosi sulla probabilita' che tale parola sia corretta. Stable Diffusion invece sfrutta un’architettura di diffusione latente, un approccio che consente di trasformare il rumore casuale in immagini dettagliate e coerenti. Questo avviene attraverso un processo iterativo di raffinamento, in cui la rete neurale costruisce progressivamente l’immagine in base alle istruzioni fornite dall’utente. Stable Diffusion opera parallelamente su tutta l'immagine e non una parola o un token alla volta.
Per fare un esempio piu' semplice... un LLM e' un muratore che aggiunge un mattone alla volta, Stable Diffusion e' uno scultore che toglie il materiale in eccesso da un blocco di marmo rivelando l'immagine finale.

Stable Diffusion XL, la versione piu' recente del modello, utilizza un processo in piu' passi con alcune variazioni rispetto ai modelli precedenti. La prima fase in cui opera il modello e' su uno spazio latente di dimensione 128x128 da cui viene eliminato il rumore. La matrice di dati viene trasformata nell'immagine finale 1024x1024 dal componente finale VAE (Variational Autoencoder).
Ma dal punto di vista dell'utilizzo la differenza maggiore rispetto ad SD 1.5 e' nel prompt che con SDLX puo' essere piu' complesso ed articolato grazie all'utilizzo in parallelo di due Transformers CLIP (Contrastive Language-Image Pre-training) per l'encoding.

Prerequisiti

Come possiamo generare un'immagine con l'AI sul Mac? Facile, con Stable Diffusion bastano pochi passi.

Su MacOS i prerequisiti sono pochi perche' il Python e' gia' presente. Installiamo le librerie necessarie, eventualmente dopo un pip install --upgrade pip ed usando un ambiente virtuale venv:

Gia' fatto, ora possiamo programmare!

Programma di esempio

StableDiffusion con SDXL-Lightning e' un buon compromesso tra qualita' delle immagini e velocita'. E' vicino al limite della memoria (con 16GB disponibili) ma con qualche trucco si riesce ad operare con risultati graficamente molto validi.

Scriviamo questo semplice programma Python chiamandolo testSDXL.py

import torch
from diffusers import StableDiffusionXLPipeline, UNet2DConditionModel, EulerDiscreteScheduler
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
import psutil

base_model = "stabilityai/stable-diffusion-xl-base-1.0"
repo_id = "ByteDance/SDXL-Lightning"
ckpt = "sdxl_lightning_4step_unet.safetensors" 
unet = UNet2DConditionModel.from_config(base_model, subfolder="unet")
unet.load_state_dict(load_file(hf_hub_download(repo_id, ckpt)))

pipe = StableDiffusionXLPipeline.from_pretrained(
    base_model, 
    unet=unet, 
    torch_dtype=torch.float32
)
pipe.safety_checker = None
pipe.requires_safety_checker = False
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")
if psutil.virtual_memory().total / (1024**3) >= 32:
    pipe.to("mps")                      # Better for speed
else:
    pipe.enable_model_cpu_offload()     # Better for memory management

prompts = {                                                                                                                                                                  
    "Architettura": "Modern minimalist living room, floor-to-ceiling windows with a view of a snowy forest, beige and white color palette, soft natural light, architectural photography, 8k resolution.",
    "Pixar": "3D render in the style of Pixar, a cute robot holding a flower, soft studio lighting, subsurface scattering, expressive eyes, blurred background, 8k resolution, vibrant colors."
} 

for i in range(3):
    seed = torch.randint(0, 2**32, (1,)).item()
    generator = torch.Generator(device="mps").manual_seed(seed)

    for style, prompt in prompts.items():  
        image = pipe(
            prompt=prompt,
            generator=generator,
            num_inference_steps=4,
            guidance_scale=0,
            width=1024,
            height=1024
        ).images[0]
        # image.show()
        image.save(f"test5XL_{style}_{seed}.jpg")

A parte l'utilizzo delle librerie necessarie ed i due loop per generare piu' immagini il programma Python e' molto semplice: da un Prompt si ottiene un'immagine!

Per eseguirlo basta dare il comando python testSDXL.py e vengono generate tre immagini per ogni Prompt utilizzato.

Ecco alcune immagini realizzate dal programma:
       

[NdA le immagini sono state ridotte di dimensioni e qualita']

Il programma e' relativamente semplice. Vengono caricate tutte le librerie e creata la pipeline di elaborazione impostando i nome dei file o i repository dei modelli. Quindi viene eseguito un loop per generare piu' immagini su una serie di semplici Prompt.

Proviamo ora a descrivere le scelte effettuate nel programma di esempio.

• Model
  Per la grafica la scelta del modello di AI e' determinante. I modelli piu' recenti di grandi dimensioni generano immagini di migliore qualita' e sono in grado di interpretare prompt complessi. La quantita' di memoria necessaria cambia in modo molto significativo e le pipeline di elaborazione sono differenti:
  • StableDiffusionPipeline si utilizza con i modelli SD 1.5 come stable-diffusion-v1-5, Realistic_Vision_V6.0_B1_noVAE, Lyriel, Ghibli-Diffusion, moebius-jean-giraud-style, ... La dimensione di questi modelli e' limitata e la generazione e' molto veloce.
  • StableDiffusionXLPipeline si utilizza con i modelli SDXL come stable-diffusion-xl-base-1.0, SDXL-Lightning, SDXL-Turbo, Juggernaut-XL, RealVisXL-V4.0, Pony-Diffusion-V6-XL, DreamShaper-XL, Flat-2D-Animerge, ... La qualita' delle immagini generate da questi modelli e' nettamente migliore ed anche la comprensione del prompt.
  • FluxPipeline si utilizza con i modelli FLUX come FLUX.1-dev, FLUX.1-schnell, ... Questi modelli sono tra i migliori disponibili ma la quantita' di memoria richiesta e' veramente elevata e bisogna utilizzare tecniche specifiche per riuscire ad utilizzarli su un Mac di medie dimensioni come il mio!

  I modelli SD 1.5 sono nettamente inferiori come qualita', dimensioni delle immagini (512x512) e capacita' di interpretazione del Prompt (77 token). I modelli Flux.1 richiedono molta memoria e, sebbene si riesca ad eseguire l'elaborazione (eg. 16GM con RAM FLUX.1-schnell+LoRA) la generazione e' piuttosto lenta.

  Nel programma di esempio si e' scelto di utilizzare la Stable Diffusion XL con SDXL-Lightning che richiede solo 4 step rispetto agli almeno 30 necessari per SDLX Base e gira senza errori su un Mac con 16GB di RAM.

• Prompt
  Il prompt definisce cosa vogliamo ed e' quindi fondamentale, pero' ci sono alcune importanti avvertenze perche' ogni modello richiede prompt adeguati. Per analizzare al meglio il prompt SDXL usa due modelli di testo contemporaneamente (CLIP L/14 e OpenCLIP BigG).

  Nel seguito riporteremo l'ampia galleria di Prompt per SDLX che abbiamo utilizzato per generare le immagini di esempio.

• Prompting Negativo
  Nella prime versioni di SD il prompt negativo, ovvero quello che non si vuole sia presente nell'immagine, spesso era importante quanto il prompt stesso. SDLX con guidance_scale a 0 (come sono addestrati "Lightning" e "Turbo") e FLUX.1 ignorano il prompt negativo. Con SDLX Base impostando la CFG tra 5.0 e 7.0 e' possibile utilizzare nella pipe il prompt negativo per escludere dettagli non desiderati.

  Nel nostro esempio non abbiamo utilizzato il prompt negativo.

• Seed
  I numeri casuali sono fondamentale nella generazione delle immagini, forse ancor piu' che nella generazione dei testi. Ogni volta vengono generate immagini diverse, ma e' possibile fissare il seed, ovvero il numero iniziale della serie pseudo casuale, utilizzato nella generazione dell'immagine per ottenere la stessa immagine mantenendo lo stesso prompt oppure immagini simili variando il prompt solo di un poco.

  Il programma di esempio genera piu' versioni dell'immagine con lo stesso prompt salvando il seed utilizzato in modo da scegliere quella preferita eventualmente affinandola successivamente. Utilizzare piu' bozzetti e' una tecnica usata da sempre nella grafica.

• LoRA
  Il seed non puo' assicurare che le figure siano sempre le stesse ma questo risultato si puo' ottenere con i LoRA (Low-Rank Adaptation). Un LoRA viene addestrato su un numero limitato di immagini (poche decine) e viene aggiunto al modello arricchendolo con tali capacita'. E' poi possibile richiamare i LoRA nel prompt indicando anche la percentuali di rispondenza voluta.

  Nel seguito riporteremo come modificare il programma di esempio per utilizza un LoRA scaricato da Hugging Face.

• Local execution
  L'esecuzione di Stable Diffusion avviene solo in locale ma... i modelli vengono scaricati dal cloud, ad ogni esecuzione viene controllato se non vi sono modelli piu' recenti ed alcuni software utilizzano la telemetria per sapere quanto sono utilizzati.
  Teoricamente si tratta solo di accessi di controllo e nessuna informazione privata viene inviata in rete ma se non ci si fida e' possibile aggiungere al codice Python:

  import os
  os.environ["TRANSFORMERS_OFFLINE"] = "1"
  os.environ["HF_HUB_OFFLINE"] = "1"
  

  Naturalmente i modelli debbono essere stati scaricati localmente almeno una volta.
• Spazio
  I modelli per la grafica sono di grandi dimensioni e vengono scaricati localmente. Basta qualche prova con modelli diversi e lo spazio occupato sara' parecchio. I modelli SDLX indicativamente hanno una dimensione di 15GB.
  La libreria diffusers di Hugging Face salva tutto in una cartella nascosta nella "Home": ~/.cache/huggingface/hub Con il comando hf cache scan si controlla l'occupazione della cache [NdA in precedenza il comando era huggingface-cli scan-cache]. Se si hanno problemi di spazio e' possibile cambiare la destinazione impostando la variabile d'ambiente HF_HOME prima di lanciare lo script.
• Tempo
  Come e' noto dalla teoria generale, oltre allo spazio bisogna occuparsi del tempo...
  Il parametro num_inference_steps indica il numero di passi eseguiti e la durata della generazione dell'immagine dipende quasi linearmente da tale valore. Generalmente il default e' 50, con meno passi si ottiene un'immagine di minor qualita' ma il risultato e' ottenuto piu' velocemente. Alcuni modelli richiedono meno passi, come SDXL-Lightning che usa solo 4 passi.
  Con l'istruzione pipe.to("mps") (Metal Performance Shaders) si indica che l'elaborazione va eseguita sulla GPU del processore Silicon, cosa che rende nettamente piu' veloce i calcoli [NdA con una scheda grafica NVIDIA il comando sarebbe pipe.to("cuda")]. Il programma richiama pipe.to("mps") se la memoria e' >= 32GB altrimenti utilizza pipe.enable_model_cpu_offload() per scaricare dalla VRAM i pesi non utilizzati liberando cosi' piu' memoria.

  Nel nostro esempio, utilizzando SDXL-Lightning, sono soli 4 i passi necessari.

• Immagini
  Si potrebbe pensare che generare un'immagine di dimensioni maggiori richieda piu' tempo. Ma in realta', se un modello e' stato allenato con immagini di una certa dimensione (eg. 512x512 per SD 1.5, 1024x1024 per SDXL), e' opportuno generare immagini delle stesse dimensioni.
  SDLX e' stato allenato con immagini 1024x1024 e, a differenza di modelli precedenti, supporta anche la generazione di formati diversi. Il consiglio e' quello di produrre immagini 1024x1024 e, solo se necessario variare l'aspect ratio in modo proporzionale scegliendo dimensioni multiple di 8 (eg. 1152x896, 1216x832).

  Nel nostro esempio, utilizzando SDXL-Lightning, abbiamo sempre generato immagini 1024x1024.

• Memoria
  Per ultimo, ma non certo come importanza, vi e' la memoria. I modelli per la grafica sono di grandi dimensioni e vanno eseguiti in memoria. Questo rende difficile eseguire modelli come SDXL ma in realta' vi sono una serie di trucchi che consentono di eseguirli.
  Alcuni modelli hanno varianti a 16 bit che possono essere caricati con variant="fp16". torch_dtype=torch.float16 utilizza numeri reali a 16 bit anziche' a 32 bit riducendo in modo significativo l'uso di memoria. Con pipe.enable_model_cpu_offload() si ha un'elaborazione piu' lenta ma si evita la saturazione della memoria. Con pipe.enable_attention_slicing() si consente di caricare solo parte di un modello riducendo il peso dello swapping.
  Come ultimo consiglio banale ma efficace. Se l'elaborazione richiesta e' vicina al limite chiudete tutti gli altri programmi ed eseguite solo SDLX!

Il download iniziale dei modelli richiede tempo... pazienza! I richiami successivi sfrutteranno la cache e saranno molto piu' veloci.
Alcuni modelli richiedono la registrazione su Hugging Face per poter essere scaricati. Basta dare il comando hf auth login e passare il token generato sul sito.
Se la memoria si esaurisce il primo sintomo e' il rallentamento dovuto allo swapping, ma altri problemi possono essere la generazioni di immagini nere, bianche, verdi, ... fino ad arrivare al blocco del sistema. I vari "trucchi" riportati per la gestione della memoria vanno sperimentati caso per caso se si e' vicini al limite delle risorse. A volte il problema delle immagini nere e' dovuto ad un bug nell'ultima fase del VAE, in questo caso si aggira con pipe.vae.to(dtype=torch.float32). Altra possibile ragione delle immagine nere e' un filtro, per escluderlo basta passare nella pipe i parametri pipe.safety_checker = None pipe.requires_safety_checker = False [NdA SDLX e' piu' permissivo rispetto alle versioni precedenti, tipicamente aggiunge solo un watermark].

Prompts per SDLX

Nei primi modelli di Stable Diffusion i prompt erano semplicemente una serie di parole separate da virgole, SDLX gestisce il prompt in modo molto piu' sofisticato eseguendo due letture per raccoglierne i dettagli e quindi i prompt possono, anzi debbono, essere piu' strutturati e descrittivi per ottenere le immagini migliori.

Anche se SDLX comprende potenzialmente piu' lingue, utilizzare un Prompt in inglese e' assolutamente consigliato.
E' opportuno definire il tipo di immagine desiderata all'inizio per poi specificare i dettagli. Tra le prime caratteristiche da definire sicuramente sono importanti l'inquadratura e lo stile dell'immagine.
SDXL a volte tende a rendere le immagini troppo pulite o moderne. Per ottenere un effetto un po' nostalgico della TV catodica, si puo' aggiungere alla fine del prompt: grainy texture, VHS aesthetic, slight blur.
Per ottenere un'immagine adatta per una slide conviene indicare "isolated on white background" o "clean background".
Per caratterizzare le figure il modo più semplice e' usare aggettivi etnici o descrittivi specifici. Invece di "a woman", usa "a Swedish woman", "a Brazilian woman", "a person with freckles and curly hair". Quandi si vogliono piu' figure e' importante distinguele. Con "Two men shaking hands" nella maggioranza dei casi si otterranno due figure identiche che si stringono la mano, meglio usare "Two men shaking hands, one wearing a grey suit and glasses, the other wearing a grey suit and burning" per distinguerle.
SDLX conosce molti personaggi famosi, basta inserire il nome nel prompt: "A portrait of Actor_name in a tuxedo".

Ecco alcuni prompt efficaci per SDXL:

• Architettura / Interni (Molto pulito)
  "Modern minimalist living room, floor-to-ceiling windows with a view of a snowy forest, beige and white color palette, soft natural light, architectural photography, 8k resolution."
• Stile Disney / Pixar (Moderno)
  "3D render in the style of Pixar, a cute robot holding a flower, soft studio lighting, subsurface scattering, expressive eyes, blurred background, 8k resolution, vibrant colors."
• Stile Manga / Seinen (Bianco e Nero)
  "Manga page, black and white, high contrast, a samurai drawing his sword in the rain, intense expression, speed lines, detailed ink hatching, screentones, dynamic composition, masterpiece."
• Stile Studio Ghibli (Hayao Miyazaki)
  "Anime movie screenshot by Studio Ghibli, a girl standing on a grassy hill looking at giant cumulonimbus clouds, lush green nature, vibrant blue sky, watercolor background style, Hayao Miyazaki, spirited away vibes, highly detailed."
• Fotografia di moda
  "Close-up shot of a cute young girl, with a blue bikini, blonde, on the beach. Dramatic lighting, rain droplets on face, shot on Hasselblad, 85mm lens, hyperrealistic, detailed texture."
• Fantasy (Illustrazione dettagliata)
  "Epic fantasy landscape, a floating island with a majestic castle, waterfalls cascading into the clouds, golden hour lighting, intricate details, oil painting style, matte painting."
• Sailor moon (Shojo Anni '90)
  "1990s retro anime style, close-up of a magical girl with long flowing blonde hair and a tiara, sparkling big blue eyes, soft pastel colors, galaxy background, cel shaded, Naoko Takeuchi style, high quality."
• Concettuale Astratto [NdA non e' un B-tree ma un albero di Pandora ;-]
  "Abstract 3D data visualization of a complex B-tree database index structure, glowing nodes connected by beams of light, organized complexity, deep blue and cyan color palette, volumetric lighting, depth of field, 8k render, unreal engine 5 style, technology background."
• Stile Hugo Pratt (Corto Maltese)
  "Comic panel in the style of Hugo Pratt, Corto Maltese style, a sailor smoking a pipe on a dock, heavy black ink shadows, loose watercolor wash, sketch-like lines, atmospheric, moody, minimal detail, rough texture."
• Immagine futuristica con effetto macro
  "Macro lens shot of a futuristic motherboard, glowing cyan blue light streams flowing through circuit traces towards the central processor, dark metallic components, cinematic lighting, shallow depth of field, 3D render, high performance computing concept.",
• Cyberpunk / Neon (Gestione colori e luci)
  "Cyberpunk street food vendor in Turin at night, neon signs reflecting in puddles, steam rising from food, futuristic clothing, vibrant cyan and magenta lighting, cinematic atmosphere."
• Stile Milo Manara (Linea Chiara)
  "Illustration by Milo Manara, an elegant woman with wavy hair walking in Turin, clear line art, delicate ink work, soft pastel colors, realistic anatomy, detailed background, sensual but tasteful, high quality."
• Fotografia esterna
  "Street photography in Turin Italy, elegant Via Roma with archways (porticoes), a vintage orange tram passing by on wet cobblestones, rainy atmosphere, cinematic lighting, shot on 35mm."
• Realistico
  "Close-up portrait of an elderly fisherman with a weathered face and a white beard, wearing a yellow raincoat, stormy ocean background with crashing waves, dramatic lighting, rain droplets on face, shot on Sony A7R IV, 85mm lens, hyperrealistic, detailed texture."
• Interni / Arredamento
  "Interior of a historic luxury cafe in Turin, baroque gold decorations, red velvet seats, mirrors, elegant atmosphere, style of Caffe Baratti & Milano, high detail, hyperrealistic."

Non e' facile trovare il prompt giusto, nel seguito daremo ulteriori indicazioni di dettaglio sull'inquadratura e le pose... pero' e' spesso piu' divertente provare e ci si puo' far sempre aiutare da un'AI per ottenere un prompt migliore!

Prima di passare a qualche consiglio piu' tecnico ecco gli altri risultati dei Prompt di esempio:
       
       

Inquadratura

Per dare un realismo fotografico o un look cinematografico specifico alle immagini generate con SDXL e' possibile utilizzare termini tecnici specifici. Il tipo di inquadratura e' un'indicazione importante che e' opportuno dare all'inizio del prompt.

Senza entrare troppo in dettaglio, perche' richiederebbe la preparazione che hanno i fotografi, o i registi, proviamo a dare qualche semplice suggerimento con le seguenti tabelle:

Pose

SDLX genera ottime immagini ma ha difficolta' nell'inserire testi nelle figure e nel rappresentare piu' personaggi. Sull'inserimento di testi o fumetti praticamente non c'e' speranza: la soluzione tipicamente e' di inserirli successivamente con un editor grafico...
Ma per le pose del corpo e le posizioni reciproche delle figure vi sono alcune indicazioni per costruire un Prompt comprensibile per Stable Diffusion.

LoRA

Un'indicazione molto forte che e' possibile inserire in un Prompt e' quello di utilizzare un LoRA. Un LoRA (Low-Rank Adaptation) e' un'estensione della rete neurale che viene addestrata con un numero limitato di immagini (eg. 100). Il risultato e' un file di piccole dimensioni (eg. 100MB-300MB per SDXL) che sbilancia i pesi del modello verso una direzione specifica. Questo permette di inserire nuove figure umane o stili differenti.

Dal punto di vista pratico un LoRA e' un file con suffisso .safetensors che e' possibile scaricare ed aggiungere facilmente al modello nel programma indicando la percentuale di peso. Poi per attivarlo bastera' inserire una parola chiave nel prompt.

Ecco come aggiungere il LoRA Pixel Art nel nostro esempio:

lora_repo = "nerijs/pixel-art-xl"
lora_filename = "pixel-art-xl.safetensors"
pipe.load_lora_weights(lora_repo, weight_name=lora_filename, adapter_name="pixel")
pipe.set_adapters(["pixel"], adapter_weights=[1.0]) 

prompt =  "pixel art, a blonde warrior with an armor made of silver metal, red glowing eyes, clean background, retro video game style"

Ed ecco alcuni risultati ottenuti con il LoRA Pixel Art:
       

Sono disponibili sul web centinaia di LoRA gia' pronti [NdA vanno scelti LoRA preparati per il modello o checkpoint in uso] ed e' possibile crearne di propri eseguendo il training su qualche decina di immagini ben preparate. In questo modo e' possibile personalizzare ed arricchire le immagini generate dal modello base. Alcuni LoRA piu' recenti sono stati preparati con immagini con alcune caratteristiche opposte permettendo di modificare il risultato in modo parametrico; ad esempio aumentando o diminuendo l'eta' del personaggio oppure modificando la muscolatura oppure evidenziando o meno i dettagli.

Ancora piu' potente e' l'utilizzo di ControlNet che impone vincoli spaziali alla generazione di immagini, OpenPose posiziona i manichini, Canny / Lineart rilevano i bordi, IP-Adapter consente di sostituire i volti generati casualmente con uno fisso. Ma descriverli supera nettamente gli scopi introduttivi di questa pagina: ci sono modi piu' facili di utilizzarli che scrivere un programma!

Alternative a SDLX per la generazione di immagini

In questa paginetta abbiamo visto come sviluppare un programma Python che utilizza alcune delle piu' recenti librerie grafiche e modelli AI di Stable Diffusion XL per generare immagini in locale. Anche se a mio avviso e' molto utile per capire come funzionano i vari componenti, non e' l'unica alternativa possibile per lavorare con la grafica generazionale su MacOS.

E' sicuramente utile riportare una lista delle principali alternative a Stable Diffusion, divisa tra soluzioni Cloud (Managed) e Locali (On-Premise).

• Cloud & Servizi Generativi (Closed Source / Proprietari)

  Questi sono servizi "pronti all'uso", che tipicamente richiedono un abbonamento. Non si ha accesso ai pesi del modello:

  • Midjourney (Discord/Web): Attualmente il leader di mercato per qualità artistica ed estetica "out of the box". Non richiede un prompt engineering complesso.
  • DALL-E 3 (OpenAI/Microsoft): Integrato in ChatGPT e Bing Image Creator. Eccelle nel seguire prompt complessi e inserire testo corretto nelle immagini, ma ha forti filtri di censura.
  • Adobe Firefly: Integrato in Photoshop e Illustrator. E' addestrato su un dataset "etico" (Adobe Stock), quindi sicuro per un uso commerciale senza rischi di copyright (enterprise friendly).
  • Google Imagen 3 (Gemini Advanced): Il modello di punta di Google, integrato in Gemini. Molto fotorealistico e forte nella comprensione del testo.
  • Amazon Titan Image Generator: La soluzione enterprise di AWS (disponibile su Bedrock), utile per aziende che hanno gia' l'infrastruttura su AWS.
  • Nano Banana: Introdotto di recente da Google integrato in Gemini [NdA 2025-08], ha un'ottima comprensione dei prompt, puo' utilizzare fino a 6 immagini di partenza, genera immagini di alta qualita' [NdA watermarked] e permette l'inclusione di testi.
• Applicazioni Locali (Interfacce per Stable Diffusion & FLUX)

  Questi sono software da installare su Mac/PC per far girare i modelli Open Source (SD 1.5, SDXL, FLUX.1):

  • ComfyUI: Basato su nodi e grafi. Potentissimo, modulare, veloce. E' lo standard de facto per i workflow complessi.
  • Automatic1111 (SD WebUI): La GUI storica, più diffusa e ricca di estensioni. Un po' pesante e "spaghetti code", ma ha tutorial per tutto.
  • Fooocus: Un'interfaccia minimalista basata su SDXL. Punta a dare la qualità di Midjourney ma in locale (pochi controlli, tanta automazione).
  • Draw Things: Un'ottima app nativa per Mac Silicon. Super ottimizzata, non richiede Python/Terminal, gira anche su iPad.
  • DiffusionBee: Un'altra app nativa per Mac, molto semplice, per chi vuole solo generare senza configurare nulla.
• Modelli Open Source "Competitor" di Stable Diffusion

  Non sono applicazioni, ma modelli alternativi da caricare al posto di SDXL nelle app locali:

  • FLUX.1 (Black Forest Labs): Attualmente considerato superiore a SDXL per fotorealismo e, soprattutto, per la capacità di scrivere testo perfetto. Richiede però molto hardware (la versione "schnell" e' piu' veloce e leggera, "dev" e' quella completa).
    [NdA anche se con tempi elevati si riescono a generare immagini con la versione schnell su un Mac con 16GB di RAM]
  • AuraFlow / Hunyuan(Tencent): Modelli emergenti (spesso cinesi o di nuovi laboratori) che stanno spingendo sull'architettura DiT (Diffusion Transformer), la stessa di Sora e SD3.

Stable Diffusion e' in continua evoluzione e sono molte le alternative anche al suo interno. In questa paginetta non abbiamo descritto ad esempio Pony-Diffusion che utilizza la stessa pipeline ma si basa su una galleria ricchissima di immagini (eg. manga), utilizza un tagging basato su Danbooru, ha una comprensione piu' limitata dei prompt e consente una piu' dettagliata impostazione delle figure.

Varie ed eventuali

I siti Hugging face e Civitai sono i principali riferimenti per scaricare modelli e LoRA. Anche se l'elaborazione avviene poi in locale i modelli da utilizzare vanno scaricati almeno la prima volta e questi sono i due siti principali.

E' disponibile una paginetta introduttiva sull'Utilizzo dell'AI su MacOS sempre rivolta all'esecuzione locale degli inference engine.

L'evoluzione, sopratutto in questo campo, e' fortissima. I nuovi modelli di diffusione per la generazione grafica sono basati sui Trasformers, la stessa utilizzata dali LLM e si sta assistendo ad una convergenza con modelli in grado di comprendere sempre piu' a fondo sorgenti differenti.
E' sempre importante utilizzare versioni di software aggiornate... Le versioni di macOS sono riportate in questo utile ma pestilenziale documento che contiene anche informazioni sulle release di Modelli di AI, Chatbot, Ollama, ...

Titolo: Stable Diffusion XL su MacOS
Livello: Avanzato (3/5)
Data: 6 Gennaio 2026 🧹
Versione: 1.0.1 - 16 Gennaio 2026
Autore: mail [AT] meo.bogliolo.name