Você pediu à IA: “Qual a probabilidade de essa copy converter bem?”
Ela respondeu: “Alta. Essa abordagem tem boas chances de ressoar com o público-alvo.”
Você publicou. Queimou verba. A campanha foi para o ralo.
O problema não foi a copy. Foi a pergunta.
Existe uma descoberta técnica que está circulando nos bastidores da comunidade de desenvolvedores e que todo profissional de marketing que usa IA precisa entender agora: LLMs não produzem scores de confiança confiáveis. Um post que viralizou no Hacker News com o título “Don’t ask an LLM for a confidence score” resume bem o problema: quando um modelo de linguagem diz que tem “alta confiança” em algo, isso não é uma métrica calibrada. É, na melhor das hipóteses, um padrão linguístico. Na pior, é uma alucinação vestida de certeza.
E o mundo do marketing digital está cheio de gente tomando decisões de campanha, copy e investimento em tráfego pago com base nesse fantasma.
Por que a IA soa tão confiante quando está errada
Antes de falar em workflows práticos, vale entender o mecanismo do problema — sem entrar em matemática pesada.
Modelos de linguagem grandes (LLMs) geram texto token a token, prevendo o que vem a seguir com base em padrões aprendidos. Quando você pergunta “qual a probabilidade disso funcionar?”, o modelo não acessa nenhum banco de dados de experimentos. Ele não roda um cálculo estatístico. Ele gera a resposta mais provável para essa pergunta — e respostas com tom de confiança moderada a alta são, estatisticamente, as mais comuns nos textos com que foi treinado.
Em outras palavras: a IA aprende que esse tipo de pergunta costuma receber esse tipo de resposta. E replica isso.
Satya Nadella, CEO da Microsoft, disse recentemente em entrevista à TechCrunch que empresas que confiam em uma única IA para tudo podem não sobreviver. O raciocínio dele vai além de diversificação de ferramentas: trata-se de não terceirizar o julgamento crítico para um sistema que, por design, não tem como saber o que não sabe.
Isso se torna especialmente perigoso no marketing porque:
- Copy e campanhas dependem de contexto ultra-específico (seu produto, seu avatar, seu mercado, seu momento) que a IA não tem acesso real.
- A IA nunca rodou um teste A/B para você. Ela apenas conhece padrões gerais do que funcionou para outros, em outros contextos, em outros momentos.
- O tom de certeza é independente da precisão. Um modelo pode dizer “essa headline tem alto potencial de conversão” e “esse produto dificilmente vai vender online” com o mesmo grau de convicção — e estar errado nas duas afirmações.
Quais perguntas substituem o score de confiança
A boa notícia: você não precisa abandonar a IA. Você precisa fazer perguntas melhores.
Em vez de pedir uma nota de confiança ou uma probabilidade, use perguntas que forcem o modelo a raciocinar, não a avaliar.
Troque isso:
“Qual a probabilidade de essa copy converter bem?”
Por isso:
“Quais suposições precisariam ser verdadeiras para essa copy converter bem? E quais sinais indicariam que essas suposições estão erradas?”
Esse tipo de pergunta força a IA a expor o raciocínio subjacente. Você consegue avaliar se o raciocínio faz sentido para o seu contexto — algo que você pode fazer, e a IA não.
Outros exemplos de perguntas calibradas para marketing:
- Para copy: “Liste três tipos de leitor que provavelmente NÃO vão responder bem a essa copy e por quê.”
- Para campanhas: “Quais elementos dessa estrutura de campanha costumam falhar em mercados de alta competição? O que eu deveria testar primeiro para validar os pressupostos?”
- Para estratégia de conteúdo: “Esse posicionamento já foi tentado por alguém? Quais seriam os argumentos contrários mais fortes a ele?”
- Para produto/oferta: “Descreva o cenário em que essa oferta fracassa completamente. O que teria causado isso?”
Perceba o padrão: você não está pedindo à IA para ser o árbitro da verdade. Está pedindo que ela seja um sparring partner que expõe fraquezas, não um oráculo que decreta probabilidades.
Workflows práticos que reduzem o risco de agir em cima de certeza fabricada
Entender o problema é metade do caminho. A outra metade é mudar o processo. Aqui estão três workflows que você pode implementar agora:
1. O protocolo de pré-mortem antes de publicar
Antes de colocar qualquer campanha no ar com copy gerada ou revisada por IA, rodamos o que os times de produto chamam de pré-mortem:
Prompt: "Imagine que essa campanha foi ao ar e fracassou em 30 dias.
Descreva as três causas mais prováveis desse fracasso com base
na copy, na oferta e no público descrito abaixo. [cole o contexto]"Esse exercício inverte o viés de confirmação. Em vez de pedir validação, você pede adversidade. As respostas costumam ser muito mais úteis — e reveladoras — do que qualquer score de confiança.
2. Triangulação de perspectivas
Nunca tome uma decisão importante com base em uma única resposta da IA. Use o que chamamos de triangulação:
- Perspectiva 1: Peça à IA para defender a ideia como um especialista otimista.
- Perspectiva 2: Peça à IA para criticar a mesma ideia como um cético experiente.
- Perspectiva 3: Peça à IA para descrever quais dados ou experimentos resolveriam o impasse entre as duas perspectivas anteriores.
A sua decisão vem depois de ler as três. O que você está fazendo é usando a IA para mapear o espaço de possibilidades, não para fechar a questão.
Isso é especialmente importante em decisões de tráfego pago, onde o custo de estar errado é imediato e mensurável. Plataformas de anúncio não se importam com o que a IA achava provável.
3. O checklist de calibração humana
Para cada entrega importante que passa por IA (copy de anúncio, email de vendas, roteiro de VSL, estratégia de funil), aplique estas cinco perguntas você mesmo, depois de ler o output:
- Eu consigo identificar a suposição principal aqui? Se sim, essa suposição está alinhada com o que sei do meu cliente real?
- Esse conteúdo poderia ter sido escrito para qualquer produto no meu nicho? Se sim, está genérico demais e precisa de personalização.
- O que meu melhor cliente diria ao ler isso? Se a resposta for “provavelmente não se identificaria”, reescreva.
- Existe alguma afirmação aqui que eu não conseguiria verificar se necessário? Se sim, retire ou investigue antes de publicar.
- Estou confortável em assinar meu nome embaixo disso? Sua reputação é o que está em jogo, não a da IA.
Esse checklist existe porque a IA não tem skin in the game. Você tem.
O paradoxo da competência aparente
Existe um efeito psicológico sutil e perigoso no uso de IA para marketing: quanto mais fluente e bem estruturada a resposta, mais você tende a confiar nela.
Isso cria um paradoxo. Os modelos mais avançados — como os que a Anthropic e a OpenAI continuam lançando — são cada vez melhores em soar competentes. Mas soar competente e ser calibrado em incerteza são coisas diferentes.
A Anthropic lançou recentemente versões cada vez mais capazes de seus modelos, e há uma corrida clara por capacidade linguística entre os grandes labs. Mas capacidade linguística não é o mesmo que conhecimento do seu mercado, do seu avatar, do seu histórico de testes. Quanto mais sofisticada a IA soa, mais ativo precisa ser o seu ceticismo.
Pense assim: um estagiário nervoso que diz “acho que pode funcionar, mas não tenho certeza” te dá mais informação útil do que um consultor que fala com autoridade absoluta sem ter visto os dados. A IA costuma ser o segundo tipo — não por mal, mas por design.
Conclusão: IA como ferramenta de pensamento, não de decisão
O maior erro que profissionais de marketing cometem com IA não é usar a tecnologia errada. É usar a tecnologia certa da maneira errada.
A IA é uma ferramenta extraordinária para expandir seu pensamento: gerar mais hipóteses, encontrar ângulos que você não considerou, acelerar a produção de variações, estruturar argumentos. Ela é uma ferramenta perigosa quando usada para encerrar o pensamento: validar uma decisão, confirmar que uma abordagem vai funcionar, ou atribuir probabilidades a resultados que dependem de variáveis que ela não conhece.
Mude as perguntas. Implemente os workflows. Mantenha o julgamento humano no centro das decisões que custam dinheiro.
E da próxima vez que a IA disser que sua copy tem “alto potencial de conversão”, lembre: ela também disse isso para o anúncio que não converteu na semana passada. A diferença é que você não perguntou por quê.
Quer aprofundar esse tema? Comenta aqui qual é o maior desafio que você enfrenta ao usar IA em decisões de campanha. Vou trazer mais conteúdo prático baseado nas suas dúvidas reais.
Fontes
- Don’t ask an LLM for a confidence score — Justin Flick via Hacker News
- Satya Nadella says companies that trust one AI for everything may not survive — TechCrunch
- OpenAI’s rogue model attack is just the beginning — Peter Wildeford via Hacker News
- Anthropic’s Dario Amodei responds: doesn’t oppose open-weight models, but fears Chinese AI — TechCrunch
