Por André Vieira
By Brazil Stock Guide – Se as pesquisas presidenciais fossem apenas um placar, as diferenças entre os principais institutos pareceriam administráveis. Nos cinco levantamentos considerados nesta comparação, divulgados entre 14 e 17 de setembro, Luiz Inácio Lula da Silva aparece numericamente à frente de Flávio Bolsonaro no primeiro turno, mas a distância varia bastante: de 2,4 pontos percentuais na Atlas/Bloomberg a pouco mais de dez pontos na CNT/MDA.
No segundo turno, quatro dos cinco institutos colocam os dois candidatos separados por dois pontos ou menos. A CNT/MDA encontra uma distância maior, superior a sete pontos em favor de Lula. Até aí, nada particularmente incomum: institutos diferentes usam amostras, formas de coleta e procedimentos estatísticos distintos e, por isso, não produzem necessariamente os mesmos números.
A divergência fica mais interessante quando se tenta descobrir quem está por trás desses números. Ao abrir os resultados por escolaridade e renda, algumas pesquisas deixam de mostrar apenas intensidades diferentes de um mesmo fenômeno. Em determinados segmentos, apontam em direções opostas.
O exemplo mais claro é a escolaridade. Nexus, CNT/MDA e Datafolha encontram Lula numericamente mais forte entre eleitores de menor escolaridade. A Quaest aponta a mesma direção em seu estrato educacional mais baixo, ainda que utilize uma classificação diferente.
Na Atlas, o desenho é praticamente inverso. Entre entrevistados com ensino fundamental, Flávio Bolsonaro aparece com 49%, contra 44,1% de Lula. Entre aqueles com ensino superior, Lula alcança 50,4%, enquanto Flávio tem 31%. Na Nexus, Lula registra 55% contra 30% de Flávio entre os entrevistados com ensino fundamental. No ensino médio, a relação se inverte: Flávio aparece com 42%, contra 34%. No ensino superior, os dois ficam praticamente empatados, com 39% para Lula e 38% para Flávio.
Não muda apenas o tamanho da vantagem de um candidato. Em alguns levantamentos, muda o próprio sentido da relação entre escolaridade e voto.
A curva da renda também muda
Algo semelhante aparece quando as pesquisas são abertas por renda. Datafolha, Quaest e Nexus mostram Lula mais forte na base da distribuição, enquanto Flávio melhora à medida que se avança para faixas superiores.
Na Nexus, Lula tem 53% contra 24% entre entrevistados com renda de até um salário mínimo e 49% a 33% na faixa de um a dois salários. Entre dois e cinco salários mínimos, a relação se inverte: Flávio aparece com 44%, contra 35% de Lula. A Atlas encontra outra curva. Entre entrevistados com renda de R$ 2 mil a R$ 3 mil, Flávio tem 50,7%, contra 38,4% de Lula. Acima de R$ 10 mil, é Lula quem abre grande vantagem: 54,3% a 26,4%.
Esses números exigem cautela. As faixas de renda e escolaridade adotadas pelos institutos não são perfeitamente equivalentes e, quando uma amostra nacional é dividida em vários segmentos, cada grupo passa a conter um número menor de entrevistas e, portanto, uma incerteza maior. Isso impede comparações milimétricas e torna diferenças pequenas particularmente frágeis.
Mas não elimina o fenômeno observado. Em alguns segmentos, muda não apenas o percentual. Muda o candidato que aparece numericamente à frente — e, em certos casos, muda também a direção da curva social do voto.
Se uma pesquisa encontrasse Lula com 45% em determinado grupo e outra registrasse 48%, a diferença poderia facilmente decorrer da variação amostral e dos diferentes métodos empregados. Quando uma pesquisa encontra um candidato mais forte à medida que sobe a escolaridade ou a renda e outra encontra a relação oposta, a questão metodológica passa a ser diferente: os institutos estão captando a mesma estrutura do eleitorado?
Onde elas concordam
Isso não significa que os levantamentos descrevam eleições completamente diferentes. Existem pontos relevantes de convergência. Lula tende a apresentar desempenho melhor entre mulheres e no Nordeste, enquanto Flávio Bolsonaro tende a ter desempenho relativamente melhor entre evangélicos e no Sul.
Na Nexus, por exemplo, Lula registra 47% entre as mulheres e 57% no Nordeste. Flávio chega a 52% entre evangélicos e 61% nos estados da região Sul. Há, portanto, elementos do retrato eleitoral que se repetem em diferentes pesquisas.
É justamente essa convergência que torna mais intrigantes as diferenças encontradas em renda e escolaridade. Os institutos conseguem identificar algumas das mesmas clivagens políticas e, ao mesmo tempo, produzir mapas bastante diferentes em outras dimensões sociais.
A pergunta relevante, então, não é simplesmente qual pesquisa está certa. É outra: o que, no modo como cada instituto encontra, seleciona e posteriormente pondera seus entrevistados, pode contribuir para retratos tão diferentes do mesmo eleitorado?
Cinco pesquisas, diferentes portas de entrada
“Pesquisa eleitoral” parece um produto homogêneo. Mas bão é. Parte das diferenças começa antes mesmo de a primeira pergunta ser feita, na forma como cada instituto chega ao entrevistado.
A Quaest realiza entrevistas presenciais domiciliares. Municípios e setores censitários são selecionados e, dentro deles, são escolhidos domicílios e entrevistados sob critérios definidos no plano amostral. O plano registrado prevê também a possibilidade de procedimentos de pós-estratificação, incluindo técnicas de rake e modelos de MrP.
O rake é um mecanismo de calibração: se determinados grupos terminam o campo sub ou sobrerrepresentados, os pesos das entrevistas podem ser ajustados para aproximar a amostra das proporções escolhidas como referência. Já o MrP — multilevel regression and poststratification — utiliza modelos para estimar resultados em diferentes segmentos e depois recompõe essas estimativas levando em conta a distribuição desses grupos na população. A presença dessas ferramentas no plano metodológico, porém, não significa, por si só, que todas tenham sido utilizadas nessa rodada nem informa a intensidade dos ajustes eventualmente realizados.
O Datafolha também trabalha presencialmente, mas adota pontos de fluxo populacional. Municípios são selecionados e, em seguida, são definidos bairros e locais de abordagem. O plano prevê controles amostrais e procedimentos de ponderação.
A CNT/MDA combina entrevistas domiciliares e pontos de fluxo. Em resposta ao Brazil Stock Guide, o Instituto MDA informou que 65% das 2.002 entrevistas foram realizadas em domicílios e 35% em pontos de fluxo. Nos domicílios, segundo o instituto, é sorteado um ponto inicial e, a partir dele, aplicado um salto sistemático de quatro residências. Nos pontos de fluxo, depois de cada entrevista válida, uma nova pessoa é abordada a cada cinco transeuntes.
A MDA informou ainda que não houve ponderação ou pós-estratificação nessa rodada. Todos os casos receberam peso igual a 1. Segundo o instituto, pequenas diferenças entre as metas amostrais e a composição obtida no campo foram tratadas como variações aleatórias e mantidas sem correção. A renda, embora apareça no fim do questionário, pode ser perguntada antecipadamente quando necessário para verificar o preenchimento das cotas.
Na CNT/MDA, portanto, os cruzamentos publicados refletem diretamente os entrevistados obtidos no campo, sem uma reponderação posterior.
A Nexus usa outra porta de entrada: o telefone. O instituto trabalha com entrevistas telefônicas assistidas por computador e seleção de números por Random Digit Dialing, ou RDD, com controles da amostra e ponderação posterior.
A Atlas utiliza recrutamento digital. Seu método recruta entrevistados durante a navegação na internet e, depois da coleta, aplica procedimentos de pós-estratificação. Segundo o relatório metodológico analisado pelo Brazil Stock Guide, o conjunto mínimo de variáveis empregado nesse processo inclui sexo, faixa etária, escolaridade, renda, região e comportamento eleitoral anterior.
São métodos diferentes tentando estimar a mesma população. E essas diferenças importam porque a amostra efetivamente entrevistada não é necessariamente a mesma amostra que aparece na tabela final.
Quando nem toda entrevista tem o mesmo peso
A ponderação é uma das etapas centrais de uma pesquisa. Imagine que determinado grupo represente 20% da população que o levantamento pretende retratar, mas corresponda a apenas 10% dos entrevistados obtidos no campo. Para corrigir essa sub-representação, as respostas daquele grupo podem receber peso maior. Se outro segmento apareceu em excesso, seu peso pode ser reduzido.
As entrevistas continuam sendo as mesmas. O que muda é quanto cada uma delas contribui para o resultado publicado. Por isso, conhecer apenas a composição final da amostra não revela necessariamente quanto ela precisou ser alterada depois da coleta.
Na Atlas, por exemplo, a amostra publicada termina com 31,6% dos entrevistados no ensino fundamental, 40,2% no ensino médio e 28,1% no superior. Mas duas pesquisas podem chegar a uma composição final praticamente idêntica por caminhos completamente diferentes. Se 28% da amostra obtida originalmente tinham ensino superior, seria necessária pouca correção para chegar a 28,1%. Se originalmente fossem 40%, seria necessária uma intervenção estatística muito maior para produzir a mesma composição final.
O ponto de chegada pode ser semelhante. O caminho até ele, não.
É por isso que o Brazil Stock Guide solicitou aos institutos a composição não ponderada das amostras e a distribuição dos pesos aplicados antes da publicação. Esses dados permitiriam saber não apenas como ficou a amostra depois das correções, mas quanto ela precisou ser modificada para chegar até ali.
O voto passado entra no cálculo?
Há ainda uma diferença metodológica particularmente relevante. Pesquisadores vêm discutindo com maior atenção um problema que variáveis demográficas tradicionais nem sempre conseguem resolver: a probabilidade de participar de uma pesquisa pode variar entre grupos políticos.
Duas pessoas de mesma idade, sexo, renda, escolaridade e região podem ter probabilidades diferentes de atender a um telefonema, aceitar uma entrevista ou responder a um questionário online. Nos últimos anos, pesquisas internacionais passaram a utilizar com maior frequência identificação partidária ou voto anterior como variáveis adicionais de ajuste para tentar reduzir esse tipo de desequilíbrio.
O uso do voto anterior, porém, também introduz dificuldades. O entrevistado pode não se lembrar corretamente de como votou, pode preferir não responder ou pode reconstruir sua lembrança da eleição passada à luz de sua preferência atual. Não existe, portanto, uma técnica que elimine todos os problemas de representatividade.
As pesquisas brasileiras já coletam informações desse tipo. Atlas, Datafolha e Nexus perguntam sobre comportamento eleitoral anterior. Isso, porém, não significa que todos utilizem essas respostas para calibrar a amostra.
No caso da Atlas, o relatório metodológico informa expressamente “comportamento eleitoral anterior” entre as variáveis mínimas utilizadas na pós-estratificação. A distinção chama atenção porque a Atlas também apresenta algumas das maiores diferenças de renda e escolaridade em relação aos demais levantamentos analisados.
Isso não demonstra que a ponderação por comportamento eleitoral anterior tenha produzido essas diferenças. Sem conhecer a amostra original, os pesos aplicados e a contribuição relativa de cada variável para a pós-estratificação, não é possível determinar se as divergências observadas surgem do recrutamento dos entrevistados, da composição inicial da amostra, da não resposta, dos ajustes estatísticos posteriores ou de uma combinação desses fatores.
É exatamente por isso que esses dados são relevantes.
O que a margem de erro não mostra
Há outro cuidado necessário. A margem de erro divulgada para uma pesquisa nacional não deve ser automaticamente transportada para todos os seus cruzamentos. Quando uma amostra de duas mil entrevistas é dividida por renda, escolaridade, idade ou religião, cada grupo contém apenas uma fração do número original de entrevistados.
A própria Nexus publica margens específicas para seus segmentos. Na rodada de 14 de setembro, informou margem de quatro pontos percentuais para o grupo de ensino fundamental, três para o médio e cinco para o superior. Em grupos menores, a incerteza pode ser ainda maior.
Por isso, diferenças pequenas entre institutos devem ser interpretadas com cautela. Mas esse não é o ponto central desta comparação. A questão não é descobrir se um candidato tem 40% ou 43% dentro de determinado grupo. É entender por que, em segmentos socioeconômicos aparentemente comparáveis, pesquisas diferentes podem mudar até o candidato que aparece numericamente à frente — e, em alguns casos, inverter a relação entre renda, escolaridade e voto.
Uma amostra maior também não resolve automaticamente a questão. A Atlas entrevistou 5.018 pessoas, mais que o dobro do tamanho de várias das amostras consideradas nesta análise. Isso reduz a parcela da incerteza relacionada ao número de entrevistas, mas não elimina diferenças que possam decorrer da forma de recrutamento, da não resposta ou do tratamento estatístico aplicado depois da coleta.
Pesquisas estão sujeitas a fontes de erro mais amplas do que a margem apresentada ao lado do resultado. Importa quem pode ser selecionado, quem é efetivamente encontrado, quem aceita responder, quem fica de fora e como a composição obtida é posteriormente ajustada para representar a população.
O que ainda falta saber
O Brazil Stock Guide encaminhou questionamentos metodológicos aos cinco institutos considerados nesta análise. Até a publicação desta reportagem, apenas a CNT/MDA havia respondido. O instituto detalhou a divisão entre entrevistas domiciliares e pontos de fluxo, explicou seus procedimentos de seleção dos entrevistados e informou que não realizou ponderação ou pós-estratificação dos resultados nesta rodada.
Atlas, Quaest, Datafolha e Nexus também foram procurados. Entre as informações solicitadas estão a composição original das amostras antes da ponderação, as variáveis efetivamente utilizadas nos ajustes e a distribuição dos pesos atribuídos aos entrevistados. Caso enviem respostas, esta reportagem será atualizada.
Nenhuma dessas diferenças, isoladamente, permite concluir que um método seja correto e outro incorreto. Métodos distintos podem produzir boas estimativas — e todos enfrentam problemas próprios de cobertura, seleção, não resposta e ajuste.
O que os números mostram é algo mais específico: as pesquisas podem contar histórias relativamente parecidas quando se olha apenas para a primeira linha da tabela. Quando a tabela é aberta, porém, nem sempre parecem estar descrevendo o mesmo eleitorado.
Deixe uma resposta