Sur le site de Ollama, vous trouverez le script d'installation.
curl -fsSL https://ollama.com/install.sh | sh
Après l'installation, vous pouvez vérifier que Ollama est correctement installé en exécutant :
ollama version
Si vous avez une carte graphique NVIDIA, vous pouvez installer les drivers NVIDIA pour de meilleures performances.
apt install nvidia-driver nvidia-cuda-toolkit
Redémarrez votre système après l'installation des drivers.
Vous pouvez télécharger des modèles pré-entraînés depuis le dépôt officiel d'Ollama. Par exemple, pour télécharger le modèle "mistral:latest":
ollama pull mistral:latest
Pour voir la liste des modèles disponibles, consultez la liste officielle d'Ollama (https://ollama.com/library)
Pour exécuter un modèle téléchargé, utilisez la commande suivante :
ollama run mistral:latest
Maintenant, vous pouvez interagir avec le modèle via la ligne de commande.
Pour quitter, utilisez Ctrl + C ou marquer /bye dans l'invite du modèle.
Voilà, vous avez installé et configuré Ollama sur votre système Debian !
Pour une utilisation plus conviviale, vous pouvez installer une interface web comme Open Web UI.
Si docker n'est pas installer il faut l'installer avec les commandes suivantes :
Installer les dépendances
sudo apt update
sudo apt install -y ca-certificates curl gnupg lsb-release
Ajouter la clé GPG officielle Docker
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | \
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
Ajouter le dépôt Docker
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
https://download.docker.com/linux/debian \
$(lsb_release -cs) stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
Installer Docker
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io
docker --version
Installer Docker Compose (plugin officiel)
sudo apt install -y docker-compose-plugin
docker compose version
Utiliser Docker sans sudo (Optionnel mais conseillé)
sudo usermod -aG docker $USER
newgrp docker
Test :
docker run hello-world
Maintenant on peut installer l'interface web
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Ensuite, accédez à l'interface web via votre navigateur à l'adresse http://<votre-ip>:3000.
Remplacez
<votre-ip>par l'adresse IP de votre machine où Ollama est installé.
Dans l'interface web, vous pouvez configurer les modèles Ollama que vous avez téléchargés et commencer à interagir avec eux via une interface graphique conviviale.
Si vous n'avez pas accès au modèle dans l'interface web vous devez changer le fichier service de ollama pour qu'il écoute sur toutes les interfaces.
sudo systemctl edit ollama.service
Rajoutez ces lignes dans la section [Service] :
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
Appliquez les changements :
sudo systemctl daemon-reload
sudo systemctl restart ollama