Tag: LiteLLM
-
LLM gateway, não só API gateway: a política que decide quem atende cada request
LLM gateway não é só API gateway com outro nome. A política de roteamento com gatilho, trava de fallback e teto de gasto por classe. -
Cost attribution por feature, workflow e tenant: de qual bolso saiu cada token
Cost attribution de LLM: o contrato de atribuição que amarra cada request a feature, workflow e tenant, do gateway ao relatório por tenant. -
Token budget por agente: o rate limiter que protege o seu orçamento
Token budget por agente: rate limit de provedor controla taxa, não gasto. Como impor teto de custo por request, sessão, agente e tenant.