Stations de travail IA
Stations de travail à hautes performances pour l'entraînement et l'inférence en IA.
| Photo | Produit | Prix | Capacité |
|---|
Comprendre la capacité du modèle
La capacité du modèle fait référence au nombre de paramètres qu'un modèle d'IA contient (par ex. 70B = 70 milliards de paramètres). Les modèles plus volumineux nécessitent généralement plus de mémoire et de puissance de calcul, mais peuvent offrir un raisonnement amélioré et une meilleure qualité de sortie.
Précision (FP16 / FP8 / FP4) affecte la quantité de mémoire requise pour une capacité de modèle donnée : les formats de précision inférieure réduisent approximativement de moitié les besoins mémoire par palier (FP16 → FP8 → FP4), au détriment de la précision de sortie.
| Taille du modèle | Mémoire typique (FP16) | Mémoire typique (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |