Latence d'Inférence
Le délai entre l'envoi d'une donnée à une IA et la réception de sa prédiction.
Ce délai inclut le pré-traitement, le calcul du modèle et le post-traitement. Pour les applications critiques (voitures autonomes, trading haute fréquence), chaque milliseconde compte. L'optimisation passe par des techniques comme la quantification, l'élagage (pruning) et l'utilisation de matériel dédié (NPU, GPU).
graph LR
Center["Latence d'Inférence"]:::main
Rel_network_latency["network-latency"]:::related -.-> Center
click Rel_network_latency "/terms/network-latency"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 Explique-moi comme si j'avais 5 ans
🛡️ It's like waiting for a calculator to show the result after you press 'equals'. In AI, it's the split-second wait for a robot to recognize your face.
🤓 Expert Deep Dive
Inference latency is bounded by compute intensity (FLOPs) and memory bandwidth. Optimization involves operator fusion, constant folding, and precision reduction (Quantization). Tail latency (P99) is critical in distributed systems to prevent cascading timeouts. Benchmarking standards, notably MLPerf, provide comparative data across CPU, GPU, and ASIC architectures (TPUs, NPUs).
❓ Questions fréquentes
Comment réduire la latence d'inférence ?
En simplifiant le modèle, en utilisant des accélérateurs matériels ou en optimisant le code d'exécution (runtime).