NVIDIA CUDA Toolkit

CUDA est une architecture parallèle et une API qui permet l'exécution de code C, C++ et Fortran directement sur le GPU, en exploitant ainsi ses capacités de calcul parallèle.

Il s'agit d'un outil puissant pour les développeurs cherchant à exploiter la puissance des GPU pour améliorer les performances de leurs applications parallèles, couvrant un large éventail de domaines allant de l'intelligence artificielle aux simulations scientifiques complexes.


Les avantages :
- Performance accrue : en exploitant la puissance des GPU, les applications peuvent être considérablement accélérées par rapport à une exécution sur CPU seul
- Développement simplifié : l'environnement de développement intégré et les outils fournis simplifient le processus de développement, de débogage et d'optimisation des applications parallèles
- Large écosystème : fait partie d'un écosystème plus large incluant des outils de développement, des bibliothèques logicielles et du matériel GPU de haute performance


Caractéristiques de l'outil :

- API CUDA : fournit des bibliothèques et des outils permettant de gérer la mémoire du GPU, de lancer des kernels (fonctions exécutées sur le GPU), et de synchroniser les opérations entre le CPU et le GPU

- Compilateur NVCC : compilateur qui permet de compiler du code CUDA. Il transforme le code C/C++ avec des extensions CUDA en code qui peut être exécuté sur le GPU

- Bibliothèques CUDA : inclut plusieurs bibliothèques optimisées pour des tâches courantes en calcul haute performance :
cuBLAS pour les opérations de base en algèbre linéaire
cuFFT pour les transformations de Fourier rapides
cuRAND pour la génération de nombres aléatoire.
cuDNN pour l'accélération des réseaux de neurones profonds
Thrust pour les algorithmes parallèles à haut niveau

- Outils de débogage et de profiling :
CUDA-GDB pour le débogage du code exécuté sur le GPU
NVIDIA Visual Profiler et Nsight Compute pour le profiling et l'analyse des performances des applications CUDA

- Support Multi-GPU et HPC : supporte la programmation pour des systèmes avec plusieurs GPU, permettant ainsi une évolutivité des applications sur des clusters et des supercalculateurs