Le reti di intelligenza artificiale generativa

Le reti di intelligenza artificiale generativa si sono evolute rapidamente negli ultimi anni, a partire dalle VAE (Variational Autoencoders) fino ai modelli più recenti e complessi.

VAE (Variational Autoencoders)

Le VAE sono state introdotte da Kingma e Welling nel 2013.
Sono una classe di reti neurali che apprendono una rappresentazione probabilistica (o codifica) dei dati in modo da poter generare nuovi dati simili agli input di addestramento. Le VAE utilizzano una combinazione di reti neurali e teoria delle probabilità per modellare la distribuzione dei dati.

Caratteristiche principali

• Utilizzano un approccio probabilistico


• Possono generare nuovi dati campionando dalla distribuzione appresa.


• Spesso utilizzate per la generazione di immagini e per la modellazione delle distribuzioni di dati complessi.

GAN (Generative Adversarial Networks)

Le GAN, introdotte da Ian Goodfellow e colleghi nel 2014, consistono in due reti neurali che competono tra loro: una rete generativa (Generator) che cerca di creare dati falsi realistici, e una rete discriminativa (Discriminator) che cerca di distinguere tra dati veri e falsi.
L'allenamento continua finché il generatore non diventa abbastanza bravo da ingannare il discriminatore.

Caratteristiche principali

• Possono generare dati molto realistici.


• Utilizzate in una vasta gamma di applicazioni, tra cui la generazione di immagini, video, musica e persino testo.


• Hanno portato a numerosi sviluppi e varianti, come DCGAN, WGAN, StyleGAN, ecc.

Flow-based Models

Questi modelli, come RealNVP e Glow, utilizzano trasformazioni invertibili per modellare esplicitamente la distribuzione di probabilità dei dati.
Sono in grado di calcolare direttamente la probabilità esatta dei dati e generare nuovi campioni.

Caratteristiche principali:

• Modelli espliciti della distribuzione di probabilità.


• Permettono una generazione diretta e una valutazione della probabilità.


• Utilizzati principalmente per la generazione di immagini e la modellazione delle distribuzioni.

Autoregressive Models

Questi modelli generano dati sequenzialmente, un elemento alla volta, condizionando ogni elemento generato sui precedenti. Esempi di questi modelli includono PixelRNN, PixelCNN, e Transformer generativi come GPT (Generative Pre-trained Transformer).

Caratteristiche principali:

• Generazione sequenziale di dati.


• Utilizzati per la generazione di testo, immagini, e altre sequenze.


• I modelli Transformer, in particolare, hanno ottenuto risultati notevoli nella generazione di testo (come GPT-3 di OpenAI).

Diffusion Models

Modelli di diffusione, come quelli basati sul processo di diffusione del calore, generano dati riducendo gradualmente il rumore applicato ai dati casuali finché non emergono strutture complesse.
Questi modelli sono diventati popolari per la loro capacità di generare immagini di alta qualità.

Caratteristiche principali:

• Processo di generazione invertendo una procedura di diffusione del rumore.


• Utilizzati principalmente per la generazione di immagini.


• Raggiungono prestazioni comparabili o superiori ai GAN in alcuni contesti.

Hybrid Models

Ci sono anche modelli ibridi che combinano caratteristiche di vari modelli generativi per sfruttare i vantaggi di ciascuno.
Ad esempio, VAE-GAN combina VAE e GAN per migliorare la qualità della generazione dei dati.

Caratteristiche principali:

• Combinano aspetti di vari modelli per migliorare le prestazioni.


• Spesso utilizzati in ricerca per esplorare nuove architetture e approcci.

Conclusione

Le VAE hanno aperto la strada a molte altre tecniche di generazione di dati, ognuna con le proprie caratteristiche e applicazioni uniche.
Le GAN e i modelli basati sui Transformer sono particolarmente prominenti nella generazione di immagini e testo, mentre i modelli di diffusione stanno guadagnando attenzione per la loro capacità di generare immagini di alta qualità.