Sur le site de Ollama, vous trouverez le script d'installation.
curl -fsSL https://ollama.com/install.sh | sh
Après l'installation, vous pouvez vérifier que Ollama est correctement installé en exécutant :
ollama version
Si vous avez une carte graphique NVIDIA, vous pouvez installer les drivers NVIDIA pour de meilleures performances.
apt install nvidia-driver nvidia-cuda-toolkit
Redémarrez votre système après l'installation des drivers.
Vous pouvez télécharger des modèles pré-entraînés depuis le dépôt officiel d'Ollama. Par exemple, pour télécharger le modèle "mistral:latest":
ollama pull mistral:latest
Pour voir la liste des modèles disponibles, consultez la liste officielle d'Ollama (https://ollama.com/library)
Pour exécuter un modèle téléchargé, utilisez la commande suivante :
ollama run mistral:latest
Maintenant, vous pouvez interagir avec le modèle via la ligne de commande.
Pour quitter, utilisez Ctrl + C ou marquer /bye dans l'invite du modèle.
Voilà, vous avez installé et configuré Ollama sur votre système Debian !
Pour une utilisation plus conviviale, vous pouvez installer une interface web comme Open Web UI.
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Ensuite, accédez à l'interface web via votre navigateur à l'adresse http://<votre-ip>:3000.
Remplacez
<votre-ip>par l'adresse IP de votre machine où Ollama est installé.
Dans l'interface web, vous pouvez configurer les modèles Ollama que vous avez téléchargés et commencer à interagir avec eux via une interface graphique conviviale.
Si vous n'avez pas accès au modèle dans l'interface web vous devez changer le fichier service de ollama pour qu'il écoute sur toutes les interfaces.
sudo systemctl edit ollama.service
Rajoutez ces lignes dans la section [Service] :
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
Appliquez les changements :
sudo systemctl daemon-reload
sudo systemctl restart ollama