Prompts de custeio com IA · Leia isto primeiro
Por que a IA inventa números em finanças e o risco no conselho
Um grande modelo de linguagem não consulta nada. Ele preve as próximas palavras mais plausíveis, e um número com aparência plausível e exatamente o tipo de texto que ele e bom em produzir. Na maior parte da escrita isso e inofensivo. Em finanças e perigoso, porque um valor fabricado que parece real vai passar direto para um modelo, uma previsão ou um documento para o conselho antes que alguém o questione. Esta página explica por que isso acontece e o risco que corre quem leva um número inventado até a mesa de decisão. Para as sete instruções prontas que impedem a fabricação, veja Como impedir a IA de inventar seus números.
O essencial
A solução não e um modelo melhor nem um truque mais esperto; e um conjunto curto de instruções de proteção que você adiciona a cada prompt de custeio. Elas forcam a IA a trabalhar apenas com os dados que você fornece, a mostrar as formulas, a sinalizar o que esta faltando, e a admitir quando não sabe. Use as sete abaixo individualmente, ou cole o bloco combinado no fim desta página na frente de qualquer prompt. Elas transformam um adivinhador confiante em um assistente cuidadoso.
Por que acontece
Isto não e um bug que uma versão futura vai remover discretamente. E inerente ao modo como os modelos de linguagem funcionam. Eles são treinados para gerar texto que e estatisticamente provável dado tudo o que veio antes, sem nenhum conceito embutido de se uma afirmação e verdadeira ou se um número foi de fato calculado. Quando o seu prompt deixa uma lacuna, o modelo a preenche com o que for mais plausível, e "plausível" e "correto" não são a mesma coisa. Pesquisas independentes reportaram taxas de alucinação aproximadamente na faixa de 15 a 25 por cento em tarefas financeiras e numericas quando não há salvaguardas em vigor; esse valor e aproximado, varia muito conforme o modelo e a tarefa, e deve ser verificado em vez de citado como preciso. A direção da conclusão e o que importa: sem proteções, essas ferramentas inventam em um ritmo que importa em finanças.
Nos mesmos testamos antes de escrever isto. Diante de uma instrução vaga, "construa um modelo TDABC para mim", sem dados anexados, o modelo produziu um modelo completo e confiante: inventou um custo de departamento, um número de funcionarios e uma taxa de capacidade por minuto, nenhum dos quais existia, e os apresentou com a mesma autoridade calma que usaria para um resultado real. Nada no resultado sinalizou que a base era ficção. E esse exatamente o modo de falha do qual precisamos nos proteger, porque quanto mais polida a resposta parece, menos provável e que alguém a verifique.
As sete proteções
1. Restrinja-a aos dados que você fornece
A instrução mais importante. Remove as lacunas que o modelo, de outra forma, preencheria com invenção.
Trabalhe apenas com os dados que eu fornecer. Não invente nenhum número, taxa ou volume.
2. Faça-a sinalizar cada pressuposto
Quando o modelo precisa assumir algo, você quer isso dito em voz alta, não enterrado na aritmetica.
Liste cada pressuposto que você fizer. Se faltar um valor, identifique-o como DADOS EM FALTA e me diga o que você precisa.
3. Faça-a mostrar a formula antes do número
Uma formula visível e verificável; um número nu não e. Isto também pega deslizes aritmeticos.
Mostre a formula em cada passo antes de calcular qualquer valor.
4. De a ela permissão para dizer "não sei"
Os modelos inventam em parte porque são pressionados a serem úteis. Permita explicitamente uma não resposta.
Se você não conseguir derivar um valor dos meus dados, diga isso. Não estime.
5. Faça-a citar a linha de origem
Ligar cada número a uma linha dos seus dados torna a fabricação óbvia, porque os números inventados não tem origem.
Para cada número, cite a linha de origem exata nos meus dados.
6. Faça-a separar fato de inferência
Você precisa saber que partes são os seus dados, quais são pressupostos, e qual e a opinião do modelo.
Separe claramente o que você calculou a partir dos meus dados, o que você assumiu, e o que e a sua sugestão.
7. Faça-a verificar os totais
Uma verificação de reconciliação no fim pega invenção e erro aritmetico numa só passagem.
Depois do cálculo, verifique se as partes somam o total e sinalize qualquer discrepância.
O bloco completo de proteções
Cole isto uma vez no topo de qualquer prompt de custeio. Combina as sete em uma única instrução que o modelo tem de seguir antes de tocar nos seus dados.
Antes de responder, siga estas regras durante toda a resposta: 1. Trabalhe apenas com os dados que eu fornecer. Não invente nenhum número, taxa ou volume. 2. Liste cada pressuposto que você fizer. Se faltar um valor, identifique-o como DADOS EM FALTA e me diga o que você precisa. 3. Mostre a formula em cada passo antes de calcular qualquer valor. 4. Se você não conseguir derivar um valor dos meus dados, diga isso. Não estime. 5. Para cada número, cite a linha de origem exata nos meus dados. 6. Separe claramente o que você calculou a partir dos meus dados, o que você assumiu, e o que e a sua sugestão. 7. Depois do cálculo, verifique se as partes somam o total e sinalize qualquer discrepância.
Uma proteção reduz o risco; um modelo real elimina-o
Esta e exatamente a disciplina que aplicamos quando construimos um modelo de custos: trabalhar apenas com dados reconciliados, mostrar cada formula, sinalizar cada pressuposto, ligar cada número a uma origem. Uma proteção de prompt reduz a probabilidade de um valor fabricado, mas não consegue reconciliar o seu razão, validar os seus indutores ou responder pelo resultado. Só um modelo construído sobre os seus dados reais e reconciliados faz isso. Se os números importam o suficiente para serem protegidos, construa-os sobre algo sólido.
Agende um profitability health check Voltar a todos os prompts
Relacionados
Prova
Um distribuidor na Nova Zelândia. €1,335M de custo de servir tornado visível, depois reduzido à metade, e 830 clientes deficitários reduzidos a 295.
Ler o estudo de caso →Com quem você vai falar
Miguel Guimarães, Sócio-fundador
Trabalhando com custos e lucro há mais de 25 anos. Apresentou o caso de cost-to-serve da Damco no Managing for Profit (Amsterdã RAI, dezembro de 2009), no mesmo programa que Robert S. Kaplan.
Ligue +351 910 313 731
