Pular para o conteúdo
● ONLINE
Arquivo

Tag: ttft

Servindo LLMs no Kubernetes com vLLM e TTFT

Servir LLMs no Kubernetes com vLLM parece simples até o primeiro pico de tráfego. O que separa uma prova de conceito de um serviço confiável é medir TTFT, controlar GPU e aceitar as limitações reais da fila.

↑