I modelli locali sono comodi perché, dopo il primo download, possono essere utilizzati ovunque — non è più necessario Internet. Tutto ciò con cui lavori rimane sul tuo dispositivo e nessun “Grande Fratello” può vedere i tuoi dati o richieste. Le risposte arrivano senza i ritardi tipici dei servizi cloud e i costi di calcolo si riducono al consumo energetico, poiché tutto viene eseguito sul tuo hardware.
I modelli si adattano al dispositivo: Foundry Local sceglie la versione ottimale per CPU, GPU o NPU, garantendo massima velocità ed efficienza.
🛠 Foundry Local
Foundry Local di Microsoft semplifica l’esecuzione dei modelli locali.
Alcune attività di IA vengono eseguite localmente, altre nel cloud quando conveniente.
È possibile utilizzare Foundry Local tramite:
- CLI — comandi semplici nel terminale o PowerShell
- SDK — librerie familiari, inclusa un’API REST compatibile OpenAI
- Visual Studio Code AI Toolkit — modelli direttamente nell’IDE
Il catalogo dei modelli contiene varianti ottimizzate per l’esecuzione locale. Se un modello è già scaricato, viene eseguito immediatamente dalla cache. Il servizio locale accetta richieste come un servizio web, permettendo di chiamare i modelli da script o integrarli nei tuoi strumenti.
⚙️ Requisiti di sistema
- Sistema operativo: Windows 10/11 (x64/ARM), Windows Server 2025 o macOS
- Memoria e disco: minimo 8 GB RAM e 3 GB di spazio (consigliato 16 GB / 15 GB)
- Rete: Internet necessario solo per il primo download del modello
- Accelerazione (opzionale): NVIDIA (serie 2000+), AMD (6000+), Intel iGPU, Qualcomm Snapdragon X Elite, Apple Silicon
- Permessi amministrativi: necessari per l’installazione
💾 Installazione di Foundry Local
1. Tramite CLI
Windows:
winget install Microsoft.FoundryLocal --scope machine
Se l’installazione fallisce, scarica il file .msix e le dipendenze e installa tramite PowerShell con permessi di amministratore.
macOS: segui le istruzioni nella documentazione ufficiale.
2. Download dell’installer
Trova l’ultima versione nel repository Foundry Local su GitHub e installala manualmente.
Dopo l’installazione, verifica l’aiuto:
foundry help
🚀 Primo modello
- Avvia un modello nel terminale (es.
phi-3.5-mini). - Al primo avvio si scaricherà localmente (alcuni minuti).
- Nei successivi utilizzi verrà impiegata la cache.
Esempio:
foundry model run phi-3.5-mini
Per eseguire GPT-OSS-20B:
foundry model run gpt-oss-20b
⚠ Richiede GPU NVIDIA con 16 GB+ VRAM e Foundry Local 0.6.87+.
Verifica la versione:
foundry --version
🖥 Foundry Local CLI — Guida di Riferimento
Il CLI di Foundry Local è progettato per gestire modelli, servizio e cache locale.
🔎 Panoramica
Per vedere tutti i comandi disponibili:
foundry --help
Categorie dei comandi:
- Model — gestione ed esecuzione dei modelli
- Service — gestione del servizio Foundry Local
- Cache — gestione della cache
📦 Comandi per i modelli
| Comando | Descrizione |
|---|---|
foundry model --help | Guida ai comandi dei modelli. |
foundry model run <model> | Esegue un modello (lo scarica se necessario). |
foundry model list | Lista dei modelli disponibili. |
foundry model info <model> | Informazioni dettagliate sul modello. |
foundry model download <model> | Scarica un modello nella cache senza eseguirlo. |
foundry model load <model> | Carica un modello nel servizio. |
foundry model unload <model> | Scarica un modello dal servizio. |
⚙️ Comandi del servizio
| Comando | Descrizione |
|---|---|
foundry service --help | Guida al servizio. |
foundry service start | Avvia il servizio. |
foundry service stop | Arresta il servizio. |
foundry service restart | Riavvia il servizio. |
foundry service status | Verifica lo stato del servizio. |
foundry service ps | Lista dei modelli caricati. |
foundry service logs | Visualizza i log del servizio. |
foundry service set <options> | Configurazione (es. GPU). |
🗂 Comandi della cache
| Comando | Descrizione |
|---|---|
foundry cache --help | Guida alla cache. |
foundry cache location | Mostra la posizione della cache |
foundry cache list | Lista dei modelli in cache. |
foundry cache remove <model> | Rimuove un modello dalla cache |
foundry cache cd <path> | Cambia la directory della cache |
🚀 Esempi di utilizzo
Avvio rapido di un modello
# Scarica ed esegui un modello
foundry model run phi-4-mini
# Informazioni sul modello
foundry model info phi-4-mini
# Scarica un modello senza eseguirlo
foundry model download phi-4-mini
Gestione del servizio
foundry service status
foundry service ps
foundry service restart
Gestione della cache
foundry cache list
foundry cache remove old-model
foundry cache cd /path/to/larger/drive
🔧 Funzionalità avanzate
# Visualizza licenza del modello
foundry model info phi-4-mini --license
# Genera log diagnostici
foundry zip-logs
# Configura l’uso della GPU
foundry service set --gpu 0