Uma chamada isolada a um modelo tem um custo que se consulta numa tabela. Um agente não. Dê a um sistema a liberdade de planear, chamar ferramentas, ler o resultado e decidir se vale a pena tentar outra vez, e um pedido do utilizador passa a ser um número desconhecido de operações facturadas, decidido em execução pelo agente e não à partida por si. É essa a promessa inteira da IA agêntica, e é também a razão pela qual as equipas financeiras abrem a factura no fim do mês e não a conseguem explicar.
Porque é que a IA agêntica custa muito mais do que uma chamada isolada ao modelo?
A IA agêntica custa mais do que uma resposta isolada porque um pedido do utilizador desencadeia uma cadeia: passos de planeamento, chamadas a ferramentas, recuperação de informação, releitura do contexto que vai crescendo, e repetições quando um passo falha. O indutor de custo é a tarefa concluída, não o token, e o número de passos que uma tarefa leva é decidido pelo agente durante a execução. Geri-lo significa medir o custo por tarefa concluída em vez de por chamada, colocar limites de passos e de despesa dentro do próprio produto, e atribuir cada execução ao cliente e à funcionalidade que a causaram.
Um pedido, um número desconhecido de operações
Uma resposta de conversação é uma transacção: uma entrada, uma saída, uma linha na factura. Uma execução de agente é um ciclo. Planeia, chama uma ferramenta, lê o que veio de volta, decide se chegou, e volta ao início até achar que terminou ou até um limite o travar. Dois utilizadores a fazer aquilo que parece ser a mesma pergunta podem gerar facturas muito diferentes consoante a primeira tentativa tenha corrido bem ou mal. A unidade que o cliente vê, e normalmente a unidade a que fixou o preço, é o pedido. A unidade que lhe é facturada é o passo, e nada na tabela de preços lhe diz quantos passos um determinado pedido vai levar.
O contexto cresce, e paga-se por ele em cada volta
A parte que apanha as pessoas de surpresa não é o número de chamadas mas o que cada chamada transporta. Em cada passo o agente reenvia o histórico acumulado: a instrução original, as ferramentas que já chamou, o que cada uma devolveu, o seu próprio raciocínio até ali. Uma execução de dez passos não custa dez vezes uma chamada isolada, custa mais, porque a entrada cresce a cada passagem. Acrescente documentos recuperados e resultados de ferramentas que são eles próprios longos, e o contexto pode tornar-se o custo dominante da execução. Guardar contexto em cache e aparar o que não serve ajuda, e ambas as coisas são decisões de produto que têm de ser tomadas de propósito, em vez de descobertas numa factura.
A falha é uma rubrica de custo, não uma excepção
Os agentes repetem. Uma ferramenta esgota o tempo, uma API devolve algo malformado, um passo produz um resultado que o passo seguinte não consegue usar, e o ciclo volta ao início. Cada uma dessas tentativas é facturada quer a execução tenha acabado por ter sucesso quer não, e as execuções que falham por completo são as mais caras de todas: custo inteiro, valor entregue nenhum. Num produto bem instrumentado, as execuções falhadas e repetidas são uma linha visível com um dono. Na maioria dos produtos são invisíveis, diluídas num total que depois se lê como se fosse o custo do trabalho bem sucedido.
O custo por tarefa concluída é o número que conta
A medida útil não é o custo por token nem o custo por chamada. É o custo totalmente carregado de uma tarefa concluída: cada passo, cada chamada a ferramenta, cada repetição, cada tentativa falhada que precedeu a bem sucedida, atribuída ao cliente e à funcionalidade que a causaram. Isso é uma questão de custeio por actividades, e comporta-se como tal. Defina a actividade como o negócio a define, um pedido de apoio resolvido, um contrato redigido, uma factura reconciliada, e depois atribua os recursos que uma unidade dela consumiu de facto. Conhecido o custo de uma tarefa concluída, tudo o que vem a seguir passa a ter resposta: que preço praticar, que clientes são rentáveis, e se o agente sai mais barato do que o processo que substituiu.
Um agente não consome um preço por token. Consome um preço por tentativa, e é ele que decide quantas tentativas faz.
O que pôr de pé antes de lançar o próximo agente
Antes de uma funcionalidade agêntica ficar disponível para todos, dê-lhe três coisas. Um tecto rígido de passos e de despesa por execução, imposto no produto e não revisto na factura mensal. Um registo, para cada execução, de que cliente, que funcionalidade e que desfecho lhe pertenceram, para que o custo possa ser atribuído em vez de diluído numa média. E um custo por tarefa concluída reportado ao lado da taxa de sucesso, porque as duas coisas só significam alguma coisa juntas. Um agente que tem sucesso em noventa por cento das vezes a quatro vezes o custo orçamentado não é uma funcionalidade a funcionar, e nenhum total de factura lho vai dizer sozinho.
Marque uma demonstração ao vivo do CostCtrl e veja como passos, chamadas a ferramentas, repetições e execuções falhadas se juntam num custo real por tarefa e por conta.
Leitura relacionada: o custo da IA agêntica e quanto custa realmente servir uma funcionalidade de IA.