I LLMs (Large Language Models) hanno ricevuto un'attenzione fortissima in questi ultimi anni perche'
consentono di utilizzare le funzioni generative dell'AI (Artificial Intelligence: intelligenza artificiale)
ottenendo risultati in precedenza non immaginabili.
In questa paginetta vedremo come installare ed utilizzare su MacOS, in modo semplice e veloce,
uno dei piu' recenti LLM: DeepSeek.
Eseguiremo l'installazione con Homebrew
ed ogni componente sara' installato in locale, quindi l'AI verra' eseguita sul Mac.
Per rendere piu' interessante la paginetta inizieremo subito con l'installazione e proveremo ad utilizzare l'LLM con un chatbot! Solo alla fine riporteremo qualche noioso dettaglio tecnico in piu'...
So gia' tutto ed ho fretta! Allora ecco i passi:
Ora basta lanciare l'applicazione Chatbox, configurare nei Settings Model Provider: OLLAMA API, API Host: http://127.0.0.1:11434, Model: deepseek-r1:8b, ed iniziare a chattare!
I componenti che dobbiamo installare sono:
Per l'installazione utilizziamo Homebrew
che e' un gestore di pacchetti Open Source per Mac. In alternativa e' possibile scaricare
i programmi dai siti ufficiali ma... cosi' e' molto piu' comodo.
Iniziamo ad installare Ollama ed a caricare DeepSeek R1.
Ollama e' un ambiente di semplice utilizzo per gestire ed utilizzare gli LLM.
Tra i comandi piu' utili: ollama ps, ollama list, ollama show deepseek-r1:8b, ollama run model, ollama create model, ...
Ora installiamo l'applicazione Chatbox per interfacciarci al modello AI:
Dobbiamo configurare Chatbox per farlo accedere al modello locale;
lanciata l'applicazione, l'impostazione si esegue nei Settings:
Utilizziamo la porta 11434, che e' la porta di default di Ollama per l'interfaccia API REST, e quindi scegliamo il modello che abbiamo appena caricato.
Gia' fatto!
Tutti i componenti sono installati ed ora possiamo iniziare ad utilizzarli.
L'utilizzo di Chatbox e' molto semplice:
In pratica si fa una domanda e DeepSeek risponde!
Il modello viene eseguito localmente con tutti i vantaggi sulla privacy dei dati
e sull'assenza di filtri. Naturalmente non vi sono chiavi di accesso da richiedere
o costi sul numero di domande effettuate.
Per le elaborazioni vengono usate le CPU/GPU del Mac.
Il vantaggio dell'architettura Apple e' che utilizza una memoria unificata,
quindi le GPU a bordo dei processori Silicon Mx struttano la stessa memoria
del sistema e non e' necessario acquistare schede grafiche dedicate.
Questo consente di utilizzare modelli di discrete dimensioni anche su un PC normale.
Con Ollama e' possibile controllare l'uso della CPU/GPU:
Dopo un po' di prove con domande generali sono rimasto molto colpito
dalla conoscenza a 360o in tutte le materie,
dall'utilizzo del contesto e dalle linee di ragionamento di DeepSeek.
L'italiano non e' perfetto ed entrando nei dettagli le competenze a volte sono imprecise o fantasiose,
ma abbiamo anche utilizzato un modello limitato (solo 8B).
Quindi sono passato ad un compito specifico: scrivere il programma di un gioco.
DeepSeek e' stato bravo, con le poche indicazioni fornite DeepSeek
ha scelto di utilizzare JavaScript
ed ha prodotto in pochi secondi un gioco funzionante:
Ho corretto un paio di inesattezze (eg. alcune scritte in inglese, un timeout troppo veloce),
ma DeepSeek aveva commesso un errore molto grave...
la carbonara non si fa con il pomodoro! 😂
Disporre di un Large Language Model (LLM) in locale tramite Ollama, con modelli come Deepseek, Llama 3 o Mistral, apre un ventaglio di applicazioni professionali e serie che vanno ben oltre la semplice conversazione con un bot. Il vantaggio fondamentale risiede nella privacy assoluta e nel controllo totale dei dati, poiche' nessuna informazione lascia il proprio computer e nessuna censura e' inserita alle sue risposte. Questo, unito alla possibilita' di personalizzazione e all'assenza di costi per l'utilizzo, rende gli LLM locali strumenti potenti per le aziende.
Tra gli usi principali:
Certo bisogna imparare un po' di cose, sopratutto per fare le scelte giuste sui modelli e sui parametri,
ma usare direttamente un LLM in un programma non e' poi cosi'
difficile come potrebbe sembrare a prima vista.
Questo e' un programma di 3 righe in Python che usa un LLM DeepSeek su Ollama:
import ollama
response = ollama.chat(model='deepseek-coder:6.7b', messages=[{ "role": "user","content": "Scrivi un programma che dice tre volte: Ti amo!" }])
print(response['message']['content'])
L'introduzione alla fine? Certo!
DeepSeek offre diversi modelli LLMs.
DeepSeek R1 e' il modello che abbiamo utilizzato in questa paginetta nella versione 8B,
ma e' disponibile in dimensioni diverse da 1,5 a 70 miliardi di parametri;
DeepSeek R1 e' adatto al ragionamento logico ed e' disponibile
su GitHub.
DeepSeek V3 e' il modello piu' potente e versatile: ha 671 miliardi di parametri
(37 miliardi attivi per ogni elaborazione), comprende diverse lingue
e ha performances confrontabili con i piu' sofisticati LLM attuali quali
Qwen2.5, Llama3.1, Claude-3.5, GPT-4o.
DeepSeek Coder e' orientato alla programmazione ed e'
disponibile in versioni da 1,3 a 33 miliardi di parametri.
DeepSeek Janus-Pro, che nella versione piu' ampia ha 7 miliardi di parametri,
e' invece utilizzato per la produzione di immagini.
DeepSeek e' anche utilizzabile con APP per Mobile e con un Chatbot sul web.
Le API DeepSeek utilizzano un formato compatibile con OpenAI
e per DeepSeek v3 utilizzato in Cloud
e' riportato il miglior rapporto qualita'/prezzo.
In generale le performance di DeepSeek sono confrontabili con quelle dei piu' avanzati LLMs commerciali
ma DeekSeek e' Open Source e puo' essere scaricato ed eseguito on-premises.
L'evoluzione e la conconcorrenza sull'AI sono sempre piu' forti!
Cosa ne penso?
Gentlemen, you had my curiosity but now you have my Attention.
Volete eseguire le installazioni manualmente? Nessun problema, ecco i link: Ollama, Chatbox.
Prima dello sviluppo delle AI generative avevo scritto una paginetta sui Chatbot che erano nettamente piu' limitati degli attuali.
Titolo: DeepSeek su Mac
Livello: Avanzato
Data:
27 Gennaio 2025
Versione: 1.0.1 - 1 Aprile 2025
Autore: mail [AT] meo.bogliolo.name