Pular para o conteúdo
● ONLINE
Hub Temático

Autor: Rogerio Lima

Rogerio Lima (Rogerio Pousada) é especialista em Infraestrutura de TI, Administração de Servidores Linux, Observabilidade (Zabbix Certified Professional / Prometheus / Grafana), Cloud Computing (AWS) e Engenharia DevOps/SRE, com mais de 15 anos de atuação em ambientes de missão crítica.

Servindo LLMs no Kubernetes com vLLM e TTFT

Servir LLMs no Kubernetes com vLLM parece simples até o primeiro pico de tráfego. O que separa uma prova de conceito de um serviço confiável é medir TTFT, controlar GPU e aceitar as limitações reais da fila.

↑