INTRODUZIONE INTELLIGENZA ARTIFICIALE
Introduzione LLM:
In sintesi, l'inferenza è uno strumento fondamentale del ragionamento umano e ci permette di capire
il mondo collegando ciò che sappiamo con ciò che osserviamo!
Modelli LLM (Large Language Models) riescono a "capire" ciò che chiediamo grazie a un processo
di apprendimento basato su enormi quantità di dati testuali.
Addestramento su vasti dati:
gli LLM vengono addestrati su miliardi di pagine di testo provenienti da libri, articoli, pagine web e altri documenti
Questo permette loro di acquisire una comprensione generale del linguaggio e delle relazioni tra parole e concetti.
Riconoscimento di schemi:
Durante l'addestramento, il modello impara a riconoscere schemi e strutture nel linguaggio.
Capisce come le parole si combinano per formare frasi e come il contesto influenza il significato
Previsione delle parole (inferenza):
Il modello viene addestrato a prevedere la prossima parola in una sequenza, basandosi sul contesto fornito dalle parole precedenti
Questo gli permette di comprendere la logica e la struttura del linguaggio.
L'inferenza è il processo mentale attraverso il quale si arriva a una conclusione partendo da premesse o informazioni già note.
In altre parole, è il modo in cui colleghiamo ciò che sappiamo per dedurre qualcosa di nuovo.
L'inferenza può essere utilizzata per fare ragionamenti certi, ipotetici o probabilistici.
Logica e Inferenza: spiegazione semplice
La logica è lo studio di come ragioniamo in modo corretto, mentre l'inferenza logica è il processo pratico
di collegare informazioni per dedurre nuove conoscenze. È come fare un "puzzle mentale" usando i pezzi
di ciò che già conosciamo. In breve:
· La logica è la "regola del gioco".
· L'inferenza è il "gioco" che facciamo seguendo quelle regole.
L'inferenza è il processo mentale attraverso il quale si arriva a una conclusione partendo da premesse
o informazioni già note. In altre parole, è il modo in cui colleghiamo ciò che sappiamo per dedurre qualcosa
di nuovo. L'inferenza può essere utilizzata per fare ragionamenti certi, ipotetici o probabilistici.
Tipi di inferenza con esempi pratici semplici:
1. Deduzione (conclusione certa)
La deduzione parte da una regola generale e applica questa regola a un caso specifico.
• Regola generale: Tutti i cani abbaiano.
• Caso specifico: Fido è un cane.
• Conclusione: Fido abbaia.
Altro esempio:
• Regola generale: Se oggi è lunedì, domani sarà martedì.
• Caso specifico: Oggi è lunedì.
• Conclusione: Domani sarà martedì.
2. Induzione (osservazione → regola generale)
L'induzione parte da osservazioni particolari per creare una regola generale.
Non dà certezza, ma ipotesi probabili.
• Osservazione: Ho visto 5 gatti e tutti avevano la coda.
• Conclusione (generale): Probabilmente tutti i gatti hanno la coda.
Altro esempio:
• Osservazione: Ogni volta che mangio cioccolato, mi sento felice.
• Conclusione (generale): Il cioccolato rende felici.
⚠️ Nota: La conclusione potrebbe non essere sempre vera. Ad esempio, esistono gatti senza coda!
3. Abduzione (ipotesi plausibile)
L'abduzione cerca di spiegare un fatto osservato con una possibile causa. È come fare un'ipotesi.
• Osservazione: Il pavimento è bagnato.
• Ipotesi: Forse ha piovuto.
Altro esempio:
• Osservazione: Non trovo il mio telefono.
• Ipotesi: Forse l'ho lasciato in macchina.
⚠️ Nota: L'ipotesi non è sempre corretta. Ad esempio, il pavimento potrebbe essere bagnato perché qualcuno ha rovesciato dell'acqua.
Riassunto con un esempio unico
Immagina di vedere delle briciole sul tavolo:
1. Deduzione: Sai che quando tuo fratello mangia biscotti lascia briciole.
2. Se tuo fratello ha mangiato biscotti, allora le briciole sono sue.
Induzione: Hai visto tuo fratello lasciare briciole altre volte. Probabilmente anche stavolta sono sue.
Abduzione: Vedi le briciole e ipotizzi che tuo fratello abbia mangiato biscotti.
Rappresentazione vettoriale:
Le parole vengono rappresentate come vettori multidimensionali (chiamati "incorporamenti") che catturano
il loro significato e le relazioni con altre parole. Parole con significati simili sono vicine nello spazio vettoriale.
Meccanismo di attenzione:
Gli LLM utilizzano un "meccanismo di attenzione" che permette loro di focalizzarsi sulle parti più rilevanti
di un input per comprenderne il significato complessivo
Elaborazione del contesto:
Quando poni una domanda, l'LLM analizza il contesto complessivo della tua richiesta, non solo le singole parole. Questo gli permette di interpretare correttamente il significato e l'intento della domanda
Grazie a questi meccanismi, gli LLM riescono a "capire" il linguaggio naturale e a generare risposte pertinenti e coerenti alle nostre domande.
Il meccanismo di attenzione è una tecnica fondamentale utilizzata nei modelli di elaborazione del linguaggio naturale per concentrarsi sulle parti più rilevanti di un testo. Ecco una spiegazione semplificata di come funziona nella pratica
Selezione delle parole chiave:
Il meccanismo di attenzione permette al modello di "prestare attenzione" alle parole più importanti in una frase o in un testo, proprio come farebbe un essere umano. Invece di trattare tutte le parole allo stesso modo, il modello assegna un peso diverso a ciascuna parola in base alla sua rilevanza nel contesto
Calcolo dei pesi di attenzione:
Rappresentazione vettoriale: Ogni parola viene rappresentata come un vettore numerico
(chiamato embedding) che cattura il suo significato
Confronto con una query: Il modello utilizza una "query" (che può essere una parola o un concetto specifico) per confrontarla con ogni parola del testo
Calcolo della somiglianza:
Viene calcolata la somiglianza tra la query e ciascuna parola del testo utilizzando il prodotto scalare dei loro vettori
Normalizzazione:
I punteggi di somiglianza vengono normalizzati usando una funzione softmax per ottenere i pesi
di attenzione
Esempio pratico:
Consideriamo la frase "La mela è un frutto molto sano" e supponiamo che la query sia la parola
"frutto" Il modello calcolerebbe la somiglianza tra “frutto” e ogni altra parola della frase.
Potrebbe assegnare pesi di attenzione più alti a parole come “mela” e “sano”, che sono semanticamente
più vicine a “frutto”.
Parole come “è” o “un” riceverebbero pesi di attenzione più bassi, essendo meno rilevanti per il concetto
di “frutto”.
Vantaggi del meccanismo di attenzione:
Flessibilità: Permette al modello di concentrarsi dinamicamente sulle parti più importanti dell'input
Efficienza: Consente di elaborare testi più lunghi, ignorando le informazioni meno rilevanti
Comprensione del contesto: Migliora la capacità del modello di capire le relazioni semantiche tra le parole
Spieghiamo la differenza tra vettore e token, immagina le parole come mattoncini.
Token: Ogni singolo mattoncino è un token. Potrebbe essere una parola intera ("gatto", "mangiare"), un segno di punteggiatura (".", ","), o anche una parte di parola ("in", "abil").
In pratica, è la più piccola unità di testo che consideriamo per l'analisi.
Vettore: Un vettore è come una descrizione dettagliata di un mattoncino.
Invece di essere una semplice parola, è una sequenza di numeri. Questi numeri contengono informazioni su come quella parola si relaziona ad altre parole e al contesto in cui viene utilizzata.
Perché usiamo i vettori?
I computer non capiscono le parole come noi. Hanno bisogno di numeri per fare i calcoli.
Trasformando le parole in vettori, possiamo far sì che il computer "comprenda"
il significato delle parole e le relazioni tra loro.
Un esempio:
Immaginiamo di avere le parole "gatto", "cane" e "topo". Se le trasformiamo in vettori, il vettore di "gatto" sarà molto simile a quello di "cane", perché sono entrambi animali. Invece, il vettore di "topo" sarà più diverso, perché appartiene a una categoria diversa.
In sintesi:
Token: La parola o parte di parola che analizziamo.
Vettore: La rappresentazione numerica di un token, che contiene informazioni sul suo significato
e le sue relazioni con altre parole.
Perché è importante?
I vettori sono fondamentali per molte applicazioni dell'intelligenza artificiale, come:
Traduzione automatica: I computer possono tradurre da una lingua all'altra analizzando i vettori delle parole.
Chatbot: I chatbot utilizzano i vettori per capire le tue domande e fornirti risposte pertinenti.
Ricerca di informazioni: I motori di ricerca usano i vettori per trovare i documenti più rilevanti per
la tua query.