Latencia de Inferencia
El tiempo que tarda una modelo de IA en procesar una entrada y generar una respuesta.
Es vital en aplicaciones en tiempo real como vehículos autónomos o reconocimiento de voz. Depende de la complejidad del modelo, el hardware subyacente y la eficiencia del software de servicio. Técnicas como la cuantización y la destilación de modelos ayudan a reducirla sin sacrificar demasiada precisión.
graph LR
Center["Latencia de Inferencia"]:::main
Rel_network_latency["network-latency"]:::related -.-> Center
click Rel_network_latency "/terms/network-latency"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 Explícalo como si tuviera 5 años
🛡️ It's like waiting for a calculator to show the result after you press 'equals'. In AI, it's the split-second wait for a robot to recognize your face.
🤓 Expert Deep Dive
Inference latency is bounded by compute intensity (FLOPs) and memory bandwidth. Optimization involves operator fusion, constant folding, and precision reduction (Quantization). Tail latency (P99) is critical in distributed systems to prevent cascading timeouts. Benchmarking standards, notably MLPerf, provide comparative data across CPU, GPU, and ASIC architectures (TPUs, NPUs).
❓ Preguntas frecuentes
¿Qué afecta la latencia de inferencia?
El tamaño del modelo, el tipo de hardware (CPU/GPU), el ancho de banda de la red y el tamaño del batch.