Prompts de custeio com IA · Leia isto primeiro
Como impedir a IA de inventar os seus numeros
Um grande modelo de linguagem nao consulta nada. Ele preve as proximas palavras mais plausiveis, e um numero com aparencia plausivel e exatamente o tipo de texto que ele e bom em produzir. Na maior parte da escrita isso e inofensivo. Em financas e perigoso, porque um valor fabricado que parece um valor real vai passar direto para um modelo, uma previsao ou um documento para o conselho antes que alguem o questione. Esta pagina e a disciplina que impede que isso aconteca.
Em resumo
A solucao nao e um modelo melhor nem um truque mais esperto; e um conjunto curto de instrucoes de protecao que voce adiciona a cada prompt de custeio. Elas forcam a IA a trabalhar apenas com os dados que voce fornece, a mostrar as formulas, a sinalizar o que esta faltando, e a admitir quando nao sabe. Use as sete abaixo individualmente, ou cole o bloco combinado no fim desta pagina na frente de qualquer prompt. Elas transformam um adivinhador confiante em um assistente cuidadoso.
Por que acontece
Isto nao e um bug que uma versao futura vai remover discretamente. E inerente ao modo como os modelos de linguagem funcionam. Eles sao treinados para gerar texto que e estatisticamente provavel dado tudo o que veio antes, sem nenhum conceito embutido de se uma afirmacao e verdadeira ou se um numero foi de fato calculado. Quando o seu prompt deixa uma lacuna, o modelo a preenche com o que for mais plausivel, e "plausivel" e "correto" nao sao a mesma coisa. Pesquisas independentes reportaram taxas de alucinacao aproximadamente na faixa de 15 a 25 por cento em tarefas financeiras e numericas quando nao ha salvaguardas em vigor; esse valor e aproximado, varia muito conforme o modelo e a tarefa, e deve ser verificado em vez de citado como preciso. A direcao da conclusao e o que importa: sem protecoes, essas ferramentas inventam em um ritmo que importa em financas.
Nos mesmos testamos antes de escrever isto. Diante de uma instrucao vaga, "construa um modelo TDABC para mim", sem dados anexados, o modelo produziu um modelo completo e confiante: inventou um custo de departamento, um numero de funcionarios e uma taxa de capacidade por minuto, nenhum dos quais existia, e os apresentou com a mesma autoridade calma que usaria para um resultado real. Nada no resultado sinalizou que a base era ficcao. E esse exatamente o modo de falha do qual precisamos nos proteger, porque quanto mais polida a resposta parece, menos provavel e que alguem a verifique.
As sete protecoes
1. Restrinja-a aos dados que voce fornece
A instrucao mais importante. Remove as lacunas que o modelo, de outra forma, preencheria com invencao.
Trabalhe apenas com os dados que eu fornecer. Nao invente nenhum numero, taxa ou volume.
2. Faca-a sinalizar cada pressuposto
Quando o modelo precisa assumir algo, voce quer isso dito em voz alta, nao enterrado na aritmetica.
Liste cada pressuposto que voce fizer. Se faltar um valor, identifique-o como DADOS EM FALTA e me diga o que voce precisa.
3. Faca-a mostrar a formula antes do numero
Uma formula visivel e verificavel; um numero nu nao e. Isto tambem pega deslizes aritmeticos.
Mostre a formula em cada passo antes de calcular qualquer valor.
4. De a ela permissao para dizer "nao sei"
Os modelos inventam em parte porque sao pressionados a serem uteis. Permita explicitamente uma nao resposta.
Se voce nao conseguir derivar um valor dos meus dados, diga isso. Nao estime.
5. Faca-a citar a linha de origem
Ligar cada numero a uma linha dos seus dados torna a fabricacao obvia, porque os numeros inventados nao tem origem.
Para cada numero, cite a linha de origem exata nos meus dados.
6. Faca-a separar fato de inferencia
Voce precisa saber que partes sao os seus dados, quais sao pressupostos, e qual e a opiniao do modelo.
Separe claramente o que voce calculou a partir dos meus dados, o que voce assumiu, e o que e a sua sugestao.
7. Faca-a verificar os totais
Uma verificacao de reconciliacao no fim pega invencao e erro aritmetico numa so passagem.
Depois do calculo, verifique se as partes somam o total e sinalize qualquer discrepancia.
O bloco completo de protecoes
Cole isto uma vez no topo de qualquer prompt de custeio. Combina as sete em uma unica instrucao que o modelo tem de seguir antes de tocar nos seus dados.
Antes de responder, siga estas regras durante toda a resposta: 1. Trabalhe apenas com os dados que eu fornecer. Nao invente nenhum numero, taxa ou volume. 2. Liste cada pressuposto que voce fizer. Se faltar um valor, identifique-o como DADOS EM FALTA e me diga o que voce precisa. 3. Mostre a formula em cada passo antes de calcular qualquer valor. 4. Se voce nao conseguir derivar um valor dos meus dados, diga isso. Nao estime. 5. Para cada numero, cite a linha de origem exata nos meus dados. 6. Separe claramente o que voce calculou a partir dos meus dados, o que voce assumiu, e o que e a sua sugestao. 7. Depois do calculo, verifique se as partes somam o total e sinalize qualquer discrepancia.
Uma protecao reduz o risco; um modelo real elimina-o
Esta e exatamente a disciplina que aplicamos quando construimos um modelo de custos: trabalhar apenas com dados reconciliados, mostrar cada formula, sinalizar cada pressuposto, ligar cada numero a uma origem. Uma protecao de prompt reduz a probabilidade de um valor fabricado, mas nao consegue reconciliar o seu razao, validar os seus indutores ou responder pelo resultado. So um modelo construido sobre os seus dados reais e reconciliados faz isso. Se os numeros importam o suficiente para serem protegidos, construa-os sobre algo solido.
Agende um profitability health check Voltar a todos os prompts