diff --git a/ollama/readme.md b/ollama/readme.md index e69de29..2caa6e7 100644 --- a/ollama/readme.md +++ b/ollama/readme.md @@ -0,0 +1,216 @@ +# 🚀 Installation de NVIDIA Container Toolkit + +Ce guide dĂ©crit comment installer et configurer **NVIDIA Container Toolkit** pour permettre l’utilisation du GPU NVIDIA dans des conteneurs Docker. + +📖 Documentation officielle : +👉 [NVIDIA Container Toolkit Install Guide](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.17.7/install-guide.html) + +--- + +## 1ïžâƒŁ PrĂ©sentation + +Le **NVIDIA Container Toolkit** fournit les outils nĂ©cessaires pour exĂ©cuter des conteneurs Docker qui exploitent les GPU NVIDIA. +Cela permet d’accĂ©lĂ©rer les applications (IA, calcul, multimĂ©dia) dans des environnements conteneurisĂ©s. + +--- + +## 2ïžâƒŁ Installation + +### a. Ajouter la clĂ© GPG et le dĂ©pĂŽt NVIDIA + +```bash +curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \ + | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg + +curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \ + | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \ + | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list +``` + +Ces commandes ajoutent le dĂ©pĂŽt officiel **NVIDIA Container Toolkit** et sĂ©curisent la source avec une clĂ© GPG locale. + +--- + +### b. Activer la branche `experimental` (optionnel mais parfois nĂ©cessaire) + +```bash +sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list +``` + +> 💡 Cette Ă©tape dĂ©commente la ligne contenant `experimental` pour accĂ©der aux versions les plus rĂ©centes des paquets si besoin. + +--- + +### c. Mettre Ă  jour et installer le toolkit + +```bash +sudo apt-get update +sudo apt-get install -y nvidia-container-toolkit +``` + +--- + +## 3ïžâƒŁ Configuration du runtime Docker + +Configurer Docker pour utiliser le runtime NVIDIA : + +```bash +sudo nvidia-ctk runtime configure --runtime=docker +sudo systemctl restart docker +``` + +Ces commandes : +- ajustent la configuration Docker pour ajouter le runtime `nvidia`, +- redĂ©marrent le service Docker pour appliquer les changements. + +--- + +## 4ïžâƒŁ VĂ©rification + +Lancez un conteneur de test pour vĂ©rifier que votre GPU est dĂ©tectĂ© : + +```bash +docker run --rm --gpus all nvidia/cuda:12.6.2-base-ubuntu22.04 nvidia-smi +``` + +Vous devriez voir apparaĂźtre les informations de votre carte graphique (nom, driver, mĂ©moire). + +--- + +## 5ïžâƒŁ Utilisation avec Docker Compose + +Une fois Docker configurĂ©, vous pouvez lancer vos conteneurs avec accĂšs GPU : + +```bash +docker compose up -d +``` + +> 💡 Assurez-vous que votre `docker-compose.yml` contient la section suivante pour les services qui doivent accĂ©der au GPU : + +```yaml +deploy:# 🚀 Installation de NVIDIA Container Toolkit + +Ce guide dĂ©crit comment installer et configurer **NVIDIA Container Toolkit** pour permettre l’utilisation du GPU NVIDIA dans des conteneurs Docker. + +📖 Documentation officielle : +👉 [NVIDIA Container Toolkit Install Guide](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.17.7/install-guide.html) + +--- + +## 1ïžâƒŁ PrĂ©sentation + +Le **NVIDIA Container Toolkit** fournit les outils nĂ©cessaires pour exĂ©cuter des conteneurs Docker qui exploitent les GPU NVIDIA. +Cela permet d’accĂ©lĂ©rer les applications (IA, calcul, multimĂ©dia) dans des environnements conteneurisĂ©s. + +--- + +## 2ïžâƒŁ Installation + +### a. Ajouter la clĂ© GPG et le dĂ©pĂŽt NVIDIA + +```bash +curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \ + | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg + +curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \ + | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \ + | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list +``` + +Ces commandes ajoutent le dĂ©pĂŽt officiel **NVIDIA Container Toolkit** et sĂ©curisent la source avec une clĂ© GPG locale. + +--- + +### b. Activer la branche `experimental` (optionnel mais parfois nĂ©cessaire) + +```bash +sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list +``` + +> 💡 Cette Ă©tape dĂ©commente la ligne contenant `experimental` pour accĂ©der aux versions les plus rĂ©centes des paquets si besoin. + +--- + +### c. Mettre Ă  jour et installer le toolkit + +```bash +sudo apt-get update +sudo apt-get install -y nvidia-container-toolkit +``` + +--- + +## 3ïžâƒŁ Configuration du runtime Docker + +Configurer Docker pour utiliser le runtime NVIDIA : + +```bash +sudo nvidia-ctk runtime configure --runtime=docker +sudo systemctl restart docker +``` + +Ces commandes : +- ajustent la configuration Docker pour ajouter le runtime `nvidia`, +- redĂ©marrent le service Docker pour appliquer les changements. + +--- + +## 4ïžâƒŁ VĂ©rification + +Lancez un conteneur de test pour vĂ©rifier que votre GPU est dĂ©tectĂ© : + +```bash +docker run --rm --gpus all nvidia/cuda:12.6.2-base-ubuntu22.04 nvidia-smi +``` + +Vous devriez voir apparaĂźtre les informations de votre carte graphique (nom, driver, mĂ©moire). + +--- + +## 5ïžâƒŁ Utilisation avec Docker Compose + +Une fois Docker configurĂ©, vous pouvez lancer vos conteneurs avec accĂšs GPU : + +```bash +docker compose up -d +``` + +> 💡 Assurez-vous que votre `docker-compose.yml` contient la section suivante pour les services qui doivent accĂ©der au GPU : + +```yaml +deploy: + resources: + reservations: + devices: + - driver: nvidia + count: all + capabilities: [gpu] +``` + +--- + +## ✅ RĂ©sumĂ© + +- Ajout du dĂ©pĂŽt NVIDIA sĂ©curisĂ© +- Installation du `nvidia-container-toolkit` +- Configuration de Docker pour activer le runtime NVIDIA +- VĂ©rification avec `nvidia-smi` dans un conteneur + +Vous ĂȘtes maintenant prĂȘt Ă  exĂ©cuter des conteneurs GPU ! + reservations: + devices: + - driver: nvidia + count: all + capabilities: [gpu] +``` + +--- + +## ✅ RĂ©sumĂ© + +- Ajout du dĂ©pĂŽt NVIDIA sĂ©curisĂ© +- Installation du `nvidia-container-toolkit` +- Configuration de Docker pour activer le runtime NVIDIA +- VĂ©rification avec `nvidia-smi` dans un conteneur + +Vous ĂȘtes maintenant prĂȘt Ă  exĂ©cuter des conteneurs GPU ! \ No newline at end of file