Como provar que foi a automação que aumentou o comparecimento, e não a sazonalidade da clínica?

"Como provar que foi a automação que aumentou o comparecimento, e não a sazonalidade da clínica?"

Você ligou a automação de confirmação. No mês seguinte, o comparecimento subiu.

Parece prova. Não é.

Aquele mês também teve feriado a menos, férias escolares acabando, uma campanha nova no ar e uma recepção que sabia que estava sendo observada. Qualquer um desses fatores sobe o comparecimento sozinho.

A resposta curta: você só prova o efeito comparando, no mesmo período, agendamentos que recebem a automação com agendamentos que não recebem. A sazonalidade atinge os dois lados igual. O que sobra na diferença é o que a automação fez.

Isso importa ainda mais quando a decisão é expandir o investimento para todas as unidades. Um resultado inflado agora vira contrato grande em cima de uma premissa falsa.

Neste guia você vai ver:

• Por que o antes x depois e o "mesmo mês do ano passado" enganam
• Como definir a métrica de comparecimento antes de ligar qualquer coisa
• Como montar um grupo de controle sorteado dentro da sua própria clínica
• Diferença em diferenças, série temporal interrompida e rollout escalonado, na prática
• Quantos agendamentos você precisa, como evitar contaminação e como converter o ganho em reais
• Um checklist de erros que invalidam a prova

Por que o antes x depois engana

O antes x depois compara o mês em que a automação entrou com o mês anterior. O problema é que os dois meses diferem em muito mais coisa do que a automação.

Repare no que muda de um mês para o outro numa clínica odontológica:

• Calendário: feriados prolongados, Carnaval, fim de ano, emendas.
• Renda do paciente: 13º salário, restituição, início de ano com contas acumuladas.
• Rotina familiar: férias escolares mudam quem consegue ir à consulta e em que horário.
• Mix de procedimento: um mês com mais avaliação de paciente novo tem comportamento de falta diferente de um mês com mais retorno de tratamento em andamento.
• Agenda do dentista: férias de um profissional, cadeira nova, horário estendido.

A sazonalidade não é detalhe estatístico. Ela mexe na demanda e no comportamento de falta da sua clínica todo ano. Se você quer entender o padrão da sua, veja o guia de sazonalidade da demanda na clínica odontológica.

O tutorial de regressão de série temporal interrompida de Lopez Bernal, Cummins e Gasparrini, publicado no International Journal of Epidemiology, descreve dois problemas que a sazonalidade causa: uma distribuição desigual de meses antes e depois da intervenção pode enviesar o resultado, sobretudo em séries curtas, e meses vizinhos tendem a ter desfechos parecidos, o que gera autocorrelação e sobredispersão (variação maior do que um modelo simples espera).

Traduzindo para a clínica: comparar dois meses é a série mais curta possível. É exatamente o cenário em que o viés da sazonalidade pesa mais.

Lembre: o antes x depois responde "o comparecimento mudou?". A pergunta que você precisa responder é outra: "o comparecimento mudou por causa da automação?".

O mesmo mês do ano anterior resolve?

Comparar com o mesmo mês do ano passado (o famoso YoY) é melhor que comparar com o mês anterior. Ele alinha o calendário: julho contra julho, dezembro contra dezembro.

Mas resolve só uma parte.

Em doze meses, a sua clínica mudou em várias frentes que o YoY não controla:

1. Verba de anúncio: mais investimento traz outro perfil de paciente, com outra propensão a faltar.
2. Equipe: CRC novo, recepção trocada, treinamento feito.
3. Preço e política: reajuste, entrada de convênio, mudança na cobrança da avaliação.
4. Agenda: dentista novo, horário noturno, sábado aberto.
5. Crescimento estrutural: a clínica simplesmente ficou maior e mais organizada.

Qualquer um desses itens move o comparecimento na mesma direção que você quer atribuir à automação.

Use o YoY como checagem de contexto ("o mês costuma ser bom ou ruim?"), nunca como a prova principal.

Os três vilões: história, regressão à média e efeito da equipe

Antes do desenho, conheça três erros que costumam fabricar "resultado" em clínica. Eles não aparecem no painel e enganam gente experiente.

1. Viés de história (o evento que chegou junto)

Viés de história é quando outro evento acontece no mesmo período da automação e produz o efeito que você está creditando a ela.

Exemplos típicos no mês da implantação:

• Campanha nova com público diferente.
• CRC novo, mais ativo no telefone.
• Reajuste ou mudança na política de cancelamento.
• Agenda reorganizada, com menos buraco entre consultas.

O tutorial do International Journal of Epidemiology chama isso de confusão que varia no tempo e cita outras intervenções simultâneas voltadas para o mesmo desfecho. Na clínica, é comum a implantação da automação chegar junto com alguma outra mudança.

2. Regressão à média (o mês ruim que volta ao normal)

Quando você decide automatizar? Muitas vezes, logo depois do pior mês de faltas.

Esse é o problema. Um mês fora da curva tende a ser seguido por um mês mais próximo do normal, com ou sem automação. É a regressão à média.

Se você liga a automação no fundo do poço, qualquer coisa que fizer vai "funcionar".

3. Efeito novidade e efeito da equipe (Hawthorne)

No mês do teste, todo mundo presta mais atenção. A recepção confirma com mais cuidado, o dentista cobra o número, o CRC liga para quem não respondeu.

Esse é o efeito Hawthorne: o comportamento muda porque está sendo observado. Some a isso o efeito novidade do próprio paciente, que responde mais à mensagem nova do que vai responder no sexto mês.

As duas coisas inflam o resultado do primeiro mês. As duas somem com o tempo.

Nota: grupo de controle concorrente neutraliza boa parte desses três vilões, porque eles atingem os dois grupos ao mesmo tempo. É por isso que ele vem antes de qualquer técnica estatística sofisticada.

Defina a métrica antes de ligar a automação

Muita "prova" morre aqui. A clínica muda a definição de comparecimento no meio do caminho, sem perceber.

Escreva a fórmula antes:

Comparecimento = pacientes que compareceram ÷ consultas agendadas para aquele período.

E fixe as regras dos casos de borda, iguais para os dois grupos:

Situação	Regra sugerida	Por que importa
Paciente remarcou antes da consulta	Sai do denominador do dia original e entra no dia novo	Evita contar remarcação como falta
Cancelou com aviso	Conta à parte (cancelamento avisado), fora da falta	A automação pode transformar falta em cancelamento, o que já é ganho de agenda
Faltou sem aviso	Falta	É o desfecho principal
Encaixe no mesmo dia	Fora do teste	Encaixe não passou pelo fluxo de confirmação
Chegou muito atrasado e não foi atendido	Defina uma vez e mantenha	Evita reclassificação conveniente depois

Se você quer um retrato de onde a sua taxa está hoje, o guia de benchmark de taxa de comparecimento em consulta odontológica ajuda a posicionar o ponto de partida.

Pontos percentuais x variação percentual

Esse erro aparece com frequência em relatório de fornecedor.

Exemplo hipotético: a taxa de falta cai de 30% para 24%. Isso é uma queda de 6 pontos percentuais (p.p.). Em variação relativa, é uma queda de 20%.

As duas frases descrevem o mesmo fato. Mas "reduzimos as faltas em 20%" soa muito maior que "6 p.p.".

Escolha uma forma, declare qual é, e use a mesma em todo o relatório. Para decidir investimento, pontos percentuais sobre o total de agendados é a leitura mais honesta, porque converte direto em paciente na cadeira.

O mesmo cuidado vale para estudo científico. Na revisão Cochrane citada mais abaixo, o risco relativo (RR) de 1,14 é uma razão entre taxas, não "14 pontos percentuais a mais".

Grupo de controle concorrente: o coração da prova

Aqui está o desenho que resolve a sazonalidade.

Grupo de controle concorrente (ou holdout) é uma parte dos agendamentos, sorteada, que NÃO recebe a automação no mesmo período em que a outra parte recebe.

Veja como funciona:

1. Todo agendamento novo recebe um sorteio: automação ou processo atual.
2. Os dois grupos convivem na mesma agenda, no mesmo mês, com os mesmos dentistas.
3. Feriado, férias, campanha nova e humor da recepção atingem os dois grupos igual.
4. No fim da janela, você compara o comparecimento dos dois.

A diferença entre eles é o efeito da automação. A sazonalidade se cancela, porque estava dos dois lados.

E o melhor? Isso não exige nenhum software sofisticado. Um sorteio registrado numa planilha já resolve.

O grupo de controle não fica sem atendimento

Esse é um medo comum do dono de clínica, e ele não se sustenta.

O controle segue exatamente o processo que a clínica já tinha antes: a confirmação manual da recepção, do jeito que era feita. O que você está medindo é o ganho da automação sobre o processo atual, e é essa a pergunta de negócio.

O tamanho do holdout é decisão sua. Um grupo de controle menor que o grupo com automação reduz o custo do teste, mas pede mais tempo para juntar volume.

Qual unidade sortear

A escolha da unidade de sorteio muda a força da prova e o risco de contaminação.

Unidade de sorteio	Vantagem	Risco	Quando usar
Por agendamento ou por paciente	Máxima comparabilidade, amostra cresce rápido	Recepção pode tratar os grupos de forma diferente	Padrão para a maioria das clínicas
Por dia da semana alternado	Fácil de operar	Dias da semana têm perfis de falta diferentes, precisa alternar ao longo das semanas	Quando o sistema não permite marcar o agendamento individual
Por dentista ou cadeira	Operação simples, sem mistura na agenda de cada um	Poucos dentistas = poucas unidades, e o dentista vira fator de confusão	Clínica com vários profissionais e agendas separadas
Por unidade (multiunidade)	Zero contaminação entre grupos	Poucas unidades, cada unidade tem seu próprio perfil	Rede com várias unidades, idealmente em rollout escalonado

Sorteie por paciente, não por consulta, quando o mesmo paciente tem várias consultas no período (tratamento em andamento). Assim ele não recebe automação numa consulta e deixa de receber na outra.

Uma clínica só: por que o sorteio precisa ser interno

Se você tem uma unidade e compara com "outra clínica parecida", a comparação é confundida pelo próprio local. Endereço, público, equipe e agenda são diferentes demais.

Com uma clínica só, o controle precisa estar dentro dela: sorteio de agendamento ou de paciente. É o único jeito de os dois grupos compartilharem tudo, menos a automação.

Contaminação do controle: o erro que zera a prova

Um grupo de controle contaminado não controla nada. Os três vazamentos mais comuns:

1. Recepção compensando: a equipe percebe que alguns pacientes "não receberam a mensagem" e confirma na mão só esses. O controle melhora, o efeito some, e você conclui que a automação não funciona.
2. Paciente nos dois grupos: o mesmo paciente tem uma consulta sorteada para automação e outra para controle. Sorteie por paciente para evitar.
3. Remarcação cruzando grupos: o paciente remarca e o novo agendamento é sorteado de novo. Regra: a remarcação herda o grupo do agendamento original.

A regra da recepção é simples. Ela confirma o grupo de controle exatamente como fazia antes do teste, nem mais, nem menos. Vale combinar isso por escrito e checar por amostragem.

Diferença em diferenças: a conta que limpa a sazonalidade

Quando você tem histórico dos dois grupos, ou quando compara unidades em vez de sortear agendamentos, a leitura certa é a diferença em diferenças (DiD).

A lógica: você não compara o nível dos grupos. Compara a variação de cada grupo e subtrai uma da outra.

É assim que fica, num exemplo hipotético:

Grupo	Comparecimento antes	Comparecimento depois	Variação
Com automação	70%	75%	+5 p.p.
Controle (processo atual)	70%	68%	-2 p.p.
Efeito estimado (DiD)			+7 p.p.

Repare no detalhe. No exemplo, o mês "depois" foi sazonalmente ruim: o controle caiu 2 p.p. O antes x depois do grupo com automação diria +5 p.p. e subestimaria o efeito.

A sazonalidade não só inventa ganho. Ela também esconde ganho real.

A hipótese que sustenta o DiD: tendências paralelas

O DiD só vale se os dois grupos andavam juntos antes da automação. É a hipótese de tendências paralelas.

Como checar na prática:

• Puxe o comparecimento mensal dos dois grupos (ou das unidades) nos meses anteriores.
• Coloque num gráfico simples, uma linha para cada grupo.
• As linhas devem subir e descer juntas. Distância constante é aceitável; tendências divergentes, não.

Com sorteio de agendamento, os grupos nascem iguais por construção, e a checagem vira formalidade. Com unidades diferentes, ela é obrigatória.

Série temporal interrompida: quando não dá para ter controle

Às vezes a automação já foi ligada para todo mundo. Não existe mais grupo de controle.

A alternativa é a série temporal interrompida (ITS): você modela a tendência do comparecimento ao longo de muitos meses antes da automação e verifica se, no ponto da intervenção, houve mudança de nível ou de inclinação que a tendência anterior não explica.

Três cuidados:

1. Mais pontos, melhor. O tutorial do International Journal of Epidemiology diz que não há limite fixo de número de pontos, porque o poder depende de vários fatores, e recomenda inspecionar visualmente os dados antes da intervenção. Na prática da clínica: uma série de poucos meses de cada lado não separa tendência de sazonalidade.
2. Modele a sazonalidade. Sem ajuste, a distribuição desigual de meses antes e depois enviesa o resultado, como o próprio tutorial alerta.
3. Trate a autocorrelação. Meses vizinhos se parecem. Tratar cada mês como observação independente dá uma falsa sensação de certeza.

ITS controlada: a série que a automação não toca

A ITS fica muito mais forte com uma série de comparação. O mesmo tutorial descreve a série temporal interrompida controlada, que adiciona um grupo de controle ou um desfecho de controle que não seria afetado pela intervenção.

Na clínica, candidatos a série de controle:

• Comparecimento de pacientes que não passam pelo fluxo automatizado (ex.: agendamentos feitos presencialmente no balcão, se a automação só atua sobre agendamento remoto).
• Comparecimento de um procedimento que a automação não toca (ex.: sessões de um tratamento com confirmação própria).
• Uma unidade que ainda não ligou a automação.

Se a série de controle sobe junto com a tratada, o ganho era da época. Se só a tratada sobe, a automação ganha força como explicação.

Controle sintético e modelos de contrafactual

Para quem tem várias séries históricas (várias unidades, vários procedimentos), existe um passo além: o controle sintético.

A ideia: combinar séries que não receberam a automação para prever o que a série tratada teria feito sem ela (o contrafactual). A diferença entre o observado e o previsto é o efeito. Ferramentas estatísticas como o pacote CausalImpact implementam essa lógica.

É um método poderoso, mas exige histórico longo e séries de controle que realmente não foram tocadas. Para a maioria das clínicas, o sorteio interno é mais simples e mais convincente.

Rollout escalonado: o desenho ideal para quem tem várias unidades

Se você tem mais de uma unidade (ou vários dentistas com agendas separadas), não precisa escolher entre "ligar tudo" e "deixar alguém de fora para sempre".

O rollout escalonado liga a automação em datas diferentes:

1. Mês 1: unidade A liga. B e C são controle.
2. Mês 2: unidade B liga. C segue como controle.
3. Mês 3: unidade C liga.

Em cada mês, quem ainda não ligou funciona como controle de quem já ligou. E todo mundo termina com a automação.

Duas regras fazem o desenho funcionar:

• Sorteie a ordem das unidades. Se você liga primeiro a unidade que "mais precisa", reintroduz regressão à média.
• Defina as datas antes. Adiar a próxima unidade porque o mês foi bom contamina a leitura.

Esse é o desenho mais alinhado à decisão de expandir: você prova numa unidade enquanto a expansão já está em andamento, sem esperar meses parado.

Comparação dos métodos, lado a lado

Método	Controla sazonalidade?	Controla evento concomitante?	O que exige	Força da prova
Antes x depois	Não	Não	Dois meses de dado	Fraca
Mesmo mês do ano anterior (YoY)	Parcial (calendário)	Não	Um ano de histórico	Fraca
Série temporal interrompida simples	Parcial, se modelada	Não	Muitos meses de histórico	Moderada
ITS controlada	Sim	Parcial	Histórico + série de controle	Boa
Diferença em diferenças	Sim	Parcial	Dois grupos com histórico paralelo	Boa
Controle sintético	Sim	Parcial	Várias séries longas não tratadas	Boa
Rollout escalonado sorteado	Sim	Sim, em boa parte	Várias unidades ou agendas	Forte
Holdout sorteado de agendamentos	Sim	Sim, em boa parte	Sorteio + regra anti-contaminação	Forte

Leia a tabela assim: quanto mais para baixo, menos a conclusão depende de "acreditar" que nada mais mudou.

Tamanho de amostra e janela mínima

Ganho de poucos pontos percentuais é pequeno perto do barulho natural de uma agenda. Por isso o teste precisa de volume.

Exemplo hipotético, com o cálculo padrão de comparação de duas proporções (80% de poder, 5% de significância):

Comparecimento do controle	Comparecimento esperado com automação	Agendamentos por grupo (aprox.)
70%	78% (+8 p.p.)	cerca de 470
70%	75% (+5 p.p.)	cerca de 1.250

Os valores de comparecimento aqui são ilustrativos. Troque pelos da sua clínica.

O que isso significa na prática? Uma clínica com poucos agendamentos por mês pode precisar de vários meses para enxergar um ganho pequeno com segurança. E se o sorteio for por dia, por dentista ou por unidade, o número necessário sobe, porque agendamentos do mesmo grupo se parecem entre si.

Três regras de janela:

1. Calcule antes e feche a data. A janela sai do volume necessário, não da ansiedade.
2. Não pare no primeiro mês bom. Olhar o resultado toda semana e parar quando ele fica bonito é a forma mais rápida de publicar um falso positivo.
3. Cubra pelo menos um ciclo de sazonalidade relevante, para não medir só o efeito novidade.

O que a literatura já diz sobre lembrete

Você não está testando algo no escuro. Lembrete de consulta já foi testado em vários ensaios clínicos, reunidos em revisão sistemática.

A revisão Cochrane sobre lembretes por mensagem de celular para comparecimento a consultas de saúde, publicada em 2013 com estudos até agosto de 2012, reúne ensaios em consultas de saúde em geral (não só odontologia). No geral, a taxa de comparecimento foi de 67,8% no grupo sem lembrete, 78,6% no grupo com lembrete por mensagem de celular e 80,3% no grupo com lembrete por ligação telefônica.

A mesma revisão encontrou evidência de qualidade moderada, em sete estudos com 5.841 participantes, de que lembrete por mensagem de texto melhorou o comparecimento em relação a nenhum lembrete, com risco relativo de 1,14 (IC 95% de 1,03 a 1,26).

E, em três estudos com 2.509 participantes, evidência de qualidade moderada de que a mensagem de texto teve impacto semelhante ao da ligação telefônica (RR 0,99; IC 95% de 0,95 a 1,02).

Três lições para o seu teste:

1. O efeito existe, mas tem tamanho de ensaio, não de milagre. Se o seu painel mostra um ganho muito maior que o da literatura, desconfie primeiro da medição.
2. O controle certo é o seu processo atual. Muita clínica já confirma por telefone. Comparar automação contra "nenhum lembrete" superestima o ganho que você vai ter de verdade.
3. Canal pode não ser a variável que decide. Teste primeiro se o fluxo funciona contra o processo atual. Discutir SMS, WhatsApp ou ligação vem depois.

Se você ainda está desenhando o fluxo, o guia sobre como automatizar a confirmação de consulta para reduzir falta cobre a cadência e as mensagens.

Por que o painel do fornecedor não é prova

O painel da ferramenta conta o que a automação tocou: mensagens enviadas, confirmações recebidas, pacientes que responderam "sim".

Ele não conta o que teria acontecido sem ela.

Pensa assim: o paciente que já ia comparecer de qualquer jeito responde "confirmo" e entra na estatística como sucesso da automação. O painel mistura quem ela salvou com quem não precisava ser salvo.

Só o grupo de controle separa as duas coisas. É a mesma lógica de medir se a agência traz paciente ou só lead: atividade não é resultado. Se a pergunta for faturamento a mais, e não só comparecimento, o guia sobre como medir o lift real da automação com grupo de controle aprofunda o desenho por lead.

Lembre: "confirmados pela automação" é uma métrica de atividade. "Comparecimento do grupo com automação menos comparecimento do grupo de controle" é uma métrica de resultado.

Como converter o ganho em reais (e apresentar com intervalo)

O dono da clínica não decide por pontos percentuais. Decide por paciente na cadeira e por margem.

Exemplo hipotético da conversão:

1. Agendamentos por mês: suponha 600.
2. Efeito medido: suponha +5 p.p. de comparecimento (grupo com automação menos controle).
3. Pacientes a mais na cadeira: 600 × 5% = 30 por mês.
4. Valor por comparecimento: use a sua taxa de fechamento vezes o ticket médio do que foi agendado. Suponha que cada comparecimento extra gere, em média, R$ 400 de receita líquida.
5. Ganho bruto: 30 × R$ 400 = R$ 12.000 por mês.
6. Custo: mensalidade da ferramenta, implantação e horas da equipe.

Agora a parte que quase ninguém faz: apresente com intervalo, não com número único.

O efeito medido tem margem de erro. Suponha que o intervalo de confiança do exemplo vá de +2 p.p. a +8 p.p. Então o ganho vai de 12 a 48 pacientes por mês, e a receita líquida de R$ 4.800 a R$ 19.200.

A pergunta de investimento vira: a automação se paga mesmo no limite de baixo do intervalo? Se sim, a decisão é segura. Se só se paga no limite de cima, você precisa de mais volume antes de expandir.

Para simular o impacto das faltas na receita com os números da sua agenda, use a calculadora de no-show.

Pré-registro simples: escreva antes de ligar

Pré-registro soa acadêmico, mas é uma folha. Você escreve, data e guarda antes de ligar a automação.

O que precisa estar nela:

1. Métrica principal: a fórmula de comparecimento e as regras de borda (remarcação, cancelamento com aviso, encaixe).
2. Grupos: unidade de sorteio, proporção do holdout e como o sorteio é feito.
3. Janela: data de início, data de fim e volume mínimo por grupo.
4. Regra da recepção: como o controle é atendido durante o teste.
5. Critério de sucesso: qual ganho mínimo, com qual intervalo, justifica expandir.
6. O que muda junto: campanhas, contratações e mudanças de agenda previstas na janela, registradas para leitura posterior.

O pré-registro protege você de você mesmo. Sem ele, é fácil mudar a métrica, a janela ou o critério depois de ver os dados.

Checklist: erros que invalidam a prova

Antes de apresentar o resultado para sócio, gestor ou para decidir a expansão, confira:

1. Comparou só antes x depois, sem grupo de controle.
2. Ligou a automação logo depois do pior mês de faltas (regressão à média).
3. Lançou campanha, contratou CRC ou mudou a agenda na mesma janela, sem registrar.
4. Mudou a definição de comparecimento no meio do teste.
5. Contou remarcação como falta, ou encaixe como agendamento do teste.
6. A recepção confirmou o grupo de controle de forma diferente do habitual.
7. O mesmo paciente caiu nos dois grupos.
8. Parou o teste no primeiro mês bom.
9. Escolheu a primeira unidade a ligar por "necessidade", não por sorteio.
10. Reportou variação percentual como se fosse ponto percentual.
11. Usou o painel do fornecedor como prova de efeito.
12. Apresentou um número único, sem intervalo.

Se algum desses itens aparece, o resultado ainda não é prova. É hipótese.

Seu próximo passo

1. Escreva o pré-registro hoje: métrica, regra de borda, grupo de controle, janela e critério de sucesso, numa página.
2. Rode o sorteio interno por uma janela fechada: holdout de agendamentos ou de pacientes, com a recepção orientada a manter o processo atual no controle.
3. Leia pela diferença entre os grupos (ou por diferença em diferenças, se comparar unidades) e converta em reais com intervalo: se a automação se paga no limite de baixo, expanda para as outras unidades em rollout escalonado.

Quer montar esse desenho junto com quem acompanha do anúncio ao comparecimento? Agende uma apresentação