Inferenzlatenz
Die Zeitdauer von der Eingabe bis zur Ausgabe einer Vorhersage durch ein KI-Modell.
Für Echtzeitsysteme ist eine geringe Latenz entscheidend. Sie wird durch die Modellarchitektur, die Hardware und die Datenübertragung beeinflusst. Optimierungen erfolgen oft durch Model Compression (Pruning, Quantization) oder den Einsatz von Edge Computing, um die Verarbeitung näher zum Nutzer zu bringen.
graph LR
Center["Inferenzlatenz"]:::main
Rel_network_latency["network-latency"]:::related -.-> Center
click Rel_network_latency "/terms/network-latency"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 Erkläre es wie einem 5-Jährigen
🛡️ It's like waiting for a calculator to show the result after you press 'equals'. In AI, it's the split-second wait for a robot to recognize your face.
🤓 Expert Deep Dive
Inference latency is bounded by compute intensity (FLOPs) and memory bandwidth. Optimization involves operator fusion, constant folding, and precision reduction (Quantization). Tail latency (P99) is critical in distributed systems to prevent cascading timeouts. Benchmarking standards, notably MLPerf, provide comparative data across CPU, GPU, and ASIC architectures (TPUs, NPUs).
❓ Häufig gestellte Fragen
Warum ist Inferenzlatenz wichtig?
Hohe Latenz führt zu schlechter Nutzererfahrung in interaktiven Apps und kann in kritischen Systemen (z.B. Robotik) gefährlich sein.