Políticas públicas para Analista do IBGE: ciclo, avaliação e uso de evidências

O Analista do IBGE atua em um ponto sensível do Estado: transformar informação estatística confiável em insumos para decisões públicas. Estatísticas oficiais não “decidem” políticas, mas estruturam o diagnóstico, ajudam a priorizar problemas, orientam o desenho de intervenções, permitem monitorar a execução e sustentam avaliações com transparência e comparabilidade territorial. Neste capítulo, o foco é operacional: como conectar o ciclo de políticas públicas a evidências, como escolher desenhos avaliativos e como ler resultados considerando incerteza e limitações.

1. Como estatísticas oficiais subsidiam políticas públicas

Estatísticas oficiais contribuem em três frentes complementares:

• Diagnóstico e priorização: dimensionar magnitude, distribuição territorial e grupos afetados (quem, onde, quanto).
• Gestão e monitoramento: acompanhar insumos, atividades e entregas (o que foi feito, para quem, com que cobertura).
• Avaliação: estimar efeitos e eficiência, identificar desigualdades e orientar correções (o que mudou por causa da política).

Para o trabalho do IBGE, é crucial explicitar: (a) a unidade territorial (município, setor censitário, região imediata, etc.), (b) o período de referência, (c) a população-alvo e (d) a comparabilidade entre fontes e ao longo do tempo. Em políticas territoriais, a coerência espacial (limites, mudanças administrativas, geocodificação) é parte do “método”.

2. Ciclo de políticas públicas orientado por evidências

2.1 Agenda: definição do problema e priorização

Na agenda, evidências ajudam a transformar percepções em problemas públicos mensuráveis. O papel do analista é construir um “enunciado estatístico” do problema: indicador, população, território, período e desigualdades.

• Exemplo: “A taxa de evasão no ensino médio é maior em municípios com menor acessibilidade a escolas e maior vulnerabilidade social”.
• Entrega típica: mapa temático + série temporal + recortes por grupos e territórios.

2.2 Formulação: desenho da intervenção e escolhas de instrumentos

Na formulação, estatísticas oficiais ajudam a definir público-alvo, critérios de elegibilidade, intensidade do benefício e mecanismos de focalização territorial. Aqui, o analista deve antecipar como a política será medida: quais indicadores mudariam se a política funcionar e em quanto tempo.

Continue em nosso aplicativo

Você poderá ouvir o audiobook com a tela desligada, ganhar gratuitamente o certificado deste curso e ainda ter acesso a outros 5.000 cursos online gratuitos.

ou continue lendo abaixo...

Baixar o aplicativo

• Exemplo: programa de transporte escolar rural: definir cobertura mínima, rotas, critérios de priorização e metas por município.
• Entrega típica: teoria da mudança + matriz de indicadores + plano de avaliação (mínimo viável).

2.3 Implementação: execução, governança e qualidade do registro

Na implementação, o risco central é a política “existir no papel” e não se materializar de forma homogênea. Evidências entram como controle de consistência e rastreabilidade: cadastros, registros administrativos, auditorias amostrais e validações territoriais.

• Exemplo: verificar se municípios reportam entregas com padrões comparáveis (definições, periodicidade, cobertura).
• Entrega típica: painel de execução com alertas de qualidade (atrasos, outliers, quebras de série).

2.4 Monitoramento: acompanhamento contínuo e correção de rota

Monitoramento é medir “se está acontecendo” e “para quem”. Diferente de avaliação de impacto, monitoramento não identifica causalidade, mas detecta desvios e desigualdades de implementação.

• Exemplo: cobertura do programa por território e por grupos; tempo médio de atendimento; taxa de não comparecimento.
• Entrega típica: indicadores de processo com metas e semáforos (verde/amarelo/vermelho) com critérios explícitos.

2.5 Avaliação: julgamento de valor com base em evidências

A avaliação responde “funcionou?”, “para quem?”, “a que custo?” e “com que efeitos colaterais?”. O analista deve alinhar a pergunta avaliativa ao tipo de avaliação e ao desenho possível, dadas restrições éticas, operacionais e de dados.

3. Tipos de avaliação e perguntas típicas

3.1 Avaliação de processo (implementação)

Verifica se a política foi executada conforme o desenho e com qualidade. Útil quando resultados finais demoram ou quando há suspeita de falhas operacionais.

• Perguntas: a cobertura atingiu o público-alvo? houve atrasos? a oferta foi homogênea entre territórios?
• Métricas: cobertura, completude, tempo de espera, taxa de desistência, conformidade com protocolos.

3.2 Avaliação de impacto (efeito causal)

Busca estimar o efeito atribuível à política, isolando outras mudanças simultâneas. Exige um contrafactual: o que teria acontecido sem a política.

• Perguntas: a política reduziu a evasão? aumentou renda? diminuiu mortalidade evitável?
• Saída: estimativa de efeito (média, percentual, elasticidade) com incerteza.

3.3 Avaliação de eficiência (custo e produtividade)

Relaciona resultados a custos. Pode ser custo-efetividade (custo por unidade de resultado) ou custo-benefício (monetização de benefícios).

• Perguntas: qual o custo por aluno mantido na escola? qual alternativa entrega mais resultado com o mesmo orçamento?
• Cuidados: custos completos (incluindo administrativos), horizonte temporal e comparabilidade entre territórios.

3.4 Avaliação de equidade (distribuição e justiça)

Examina como benefícios e resultados se distribuem entre grupos e territórios. Uma política pode melhorar a média e piorar desigualdades.

• Perguntas: o efeito foi maior onde a vulnerabilidade é maior? houve exclusão de grupos? a focalização territorial reduziu disparidades?
• Saídas: efeitos heterogêneos por grupo/território; indicadores de desigualdade; mapas de gaps.

4. Teoria da mudança: do problema ao indicador

Teoria da mudança (TdM) explicita o mecanismo pelo qual a política gera resultados e quais condições precisam ocorrer. Ela organiza o raciocínio e orienta indicadores e avaliação.

4.1 Componentes essenciais

• Insumos: recursos financeiros, equipe, infraestrutura.
• Atividades: ações executadas (capacitar, transferir renda, construir, fiscalizar).
• Produtos (outputs): entregas imediatas (vagas criadas, visitas realizadas).
• Resultados (outcomes): mudanças no comportamento/condição (frequência escolar, acesso a serviços).
• Impactos: efeitos finais (aprendizagem, renda, mortalidade).
• Pressupostos: condições externas necessárias (adesão, coordenação, estabilidade institucional).

4.2 Passo a passo prático para construir uma TdM

1. Defina o problema com indicador, território e população-alvo (ex.: “baixa cobertura de pré-natal adequado em áreas rurais”).

2. Descreva a intervenção em linguagem operacional (o que será feito, por quem, com que intensidade).

3. Liste outputs mensuráveis (ex.: “número de equipes móveis”, “consultas realizadas”).

4. Formule outcomes esperados em prazos (curto/médio) e com direção (aumentar, reduzir).

5. Identifique riscos e pressupostos (ex.: “estradas transitáveis”, “estoque de insumos”).

6. Conecte indicadores a cada etapa e defina periodicidade e fonte (pesquisa, registro, painel).

7. Escolha perguntas avaliativas alinhadas à TdM (processo, impacto, eficiência, equidade).

5. Indicadores e metas: seleção, operacionalização e armadilhas

Indicadores são traduções mensuráveis de conceitos. Para políticas públicas, a seleção deve equilibrar relevância, mensurabilidade, sensibilidade a mudanças e comparabilidade territorial.

5.1 Critérios práticos de seleção de indicadores

• Validade: mede o que se pretende medir?
• Confiabilidade: é consistente ao longo do tempo e entre territórios?
• Sensibilidade: responde à intervenção em horizonte plausível?
• Desagregabilidade: permite recortes por território e grupos?
• Viabilidade: existe fonte com periodicidade adequada?

5.2 Metas: como definir sem “otimismo estatístico”

Metas devem considerar linha de base, tendência histórica, capacidade de implementação e incerteza. Uma meta não é apenas um número; é um compromisso com método de medição.

5.3 Armadilhas comuns

• Indicador de vaidade: melhora sem refletir bem-estar (ex.: “número de reuniões”).
• Substituição de objetivo: otimiza o indicador e piora o resultado real (gaming).
• Quebra de comparabilidade: mudança de definição, cobertura ou território sem ajuste.
• Defasagem temporal: indicador final demora; precisa de indicadores intermediários coerentes com a TdM.

6. Desenhos avaliativos: conceitos, pressupostos e ameaças à validade

Desenhos avaliativos organizam como inferir efeitos. Aqui, o foco é conceitual: quando usar, quais pressupostos e quais ameaças à validade interna (atribuição causal) e externa (generalização).

6.1 Antes-depois (pré-pós) sem grupo de comparação

Ideia: comparar o indicador antes e depois da política no mesmo grupo/território.

• Pressuposto implícito: nada além da política mudou de forma relevante no período.
• Ameaças: tendências pré-existentes, choques simultâneos (economia, clima), sazonalidade, regressão à média.
• Uso típico: avaliação rápida, piloto, monitoramento reforçado; não é ideal para impacto.

6.2 Grupo de controle (comparação entre tratados e não tratados)

Ideia: comparar resultados entre quem recebeu a política (tratamento) e quem não recebeu (controle).

• Pressuposto: grupos seriam comparáveis na ausência da política (ou foram tornados comparáveis por desenho).
• Ameaças: seleção (tratados diferem sistematicamente), contaminação (controle recebe algo semelhante), spillovers (efeitos indiretos), atrito (perdas de acompanhamento).
• Uso típico: quando há elegibilidade clara e possibilidade de construir comparação plausível.

6.3 Diferença-em-diferenças (DiD)

Ideia: comparar a mudança no tempo do grupo tratado com a mudança no tempo do grupo controle.

• Pressuposto-chave: tendências paralelas (na ausência da política, ambos evoluiriam de forma semelhante).
• Ameaças: tendências divergentes prévias, antecipação (mudança antes da implementação), mudanças de composição, choques que afetam grupos de forma diferente.
• Boas práticas: verificar pré-tendências, usar múltiplos períodos, controles e efeitos fixos quando apropriado.

6.4 Pareamento (matching)

Ideia: construir um grupo controle “parecido” com o tratado com base em características observáveis (ex.: perfil socioeconômico, infraestrutura, ruralidade).

• Pressuposto: seleção em observáveis (não há fatores não observados que afetem simultaneamente participação e resultado, após controlar observáveis).
• Ameaças: viés por variáveis não observadas, falta de sobreposição (common support), pareamento ruim por dados incompletos.
• Uso típico: quando não há randomização e há bons dados de covariáveis pré-intervenção.

6.5 Regressão descontínua (RD)

Ideia: explorar uma regra de elegibilidade com corte (ex.: municípios com população acima de X recebem o programa). Compara unidades logo acima e logo abaixo do corte.

• Pressuposto: unidades próximas ao corte são comparáveis; não há manipulação precisa do running variable; relação entre running variable e resultado é suave na ausência do programa.
• Ameaças: manipulação do critério, mudanças concomitantes no corte, especificação inadequada da forma funcional, escolha de janela (bandwidth).
• Uso típico: políticas com critérios administrativos claros e dados precisos do critério.

6.6 Validade interna e externa: checklist rápido

• Interna: seleção, confusão, tendências, mensuração, atrito, spillovers.
• Externa: o efeito vale para outros territórios? depende de capacidade local? depende de contexto econômico/urbano/rural?

7. Passo a passo para planejar uma avaliação com dados oficiais

Um plano mínimo viável de avaliação deve caber na realidade institucional: dados disponíveis, prazos, governança e ética.

1. Defina a pergunta avaliativa: impacto, processo, eficiência ou equidade (ou combinação).

2. Delimite a unidade de análise: indivíduo, domicílio, escola, estabelecimento, município, região; e o recorte territorial.

3. Descreva a intervenção e o momento de início: data, faseamento, intensidade, critérios de elegibilidade.

4. Construa a teoria da mudança e identifique indicadores por etapa (processo e resultado).

5. Escolha o desenho avaliativo compatível com a política (pré-pós, controle, DiD, matching, RD), justificando pressupostos.

6. Mapeie fontes e periodicidade: estatísticas oficiais e registros administrativos; defina janelas temporais (pré e pós).

7. Planeje qualidade e comparabilidade: definições, cobertura, mudanças territoriais, consistência temporal.

8. Defina estratégia de heterogeneidade: efeitos por território, rural/urbano, grupos sociais, faixas etárias.

9. Especifique como reportar incerteza: intervalos, erros-padrão, sensibilidade a escolhas (janela, covariáveis, pareamento).

10. Prepare produtos de comunicação: nota técnica, tabelas, mapas e mensagens-chave sem extrapolar causalidade quando não cabível.

8. Leitura de resultados com incerteza estatística (sem perder o sentido de política)

Resultados avaliativos devem ser lidos como estimativas com margem de erro, não como verdades absolutas. Para decisão pública, três perguntas ajudam:

• Magnitude: o efeito é relevante do ponto de vista substantivo (não apenas “significativo”)?
• Precisão: a incerteza é pequena o suficiente para orientar decisão? intervalos amplos sugerem cautela.
• Robustez: o resultado se mantém sob especificações razoáveis (ou muda muito com pequenas escolhas)?

Também é essencial distinguir:

• Ausência de evidência (intervalo amplo, baixa potência, dados fracos) de evidência de ausência (estimativa próxima de zero e precisa).
• Efeito médio de efeitos heterogêneos: uma política pode funcionar em áreas urbanas e não em áreas remotas, ou vice-versa.

9. Exercícios discursivos (políticas territoriais e sociais)

Exercício 1 — Política territorial de conectividade

Um programa federal amplia infraestrutura de internet em municípios remotos, priorizando aqueles com menor densidade de antenas e maior distância a centros regionais. A implementação ocorreu em ondas ao longo de 3 anos.

• Tarefa A: proponha uma teoria da mudança (insumos → atividades → outputs → outcomes → impactos) com pelo menos 2 pressupostos críticos.
• Tarefa B: proponha 6 indicadores (2 de processo, 2 de resultado intermediário, 2 de impacto), indicando unidade territorial e periodicidade.
• Tarefa C: escolha um desenho avaliativo (DiD, matching, RD, ou combinação) e justifique: qual é o contrafactual, quais pressupostos são necessários e quais ameaças à validade são mais prováveis.
• Tarefa D: descreva como você reportaria incerteza e como avaliaria heterogeneidade por ruralidade e região.

Exercício 2 — Política social com elegibilidade por corte

Um benefício é concedido a famílias com renda per capita declarada abaixo de um valor de corte. Há suspeita de manipulação na declaração para se enquadrar.

• Tarefa A: proponha um desenho de regressão descontínua conceitual: qual variável de ordenamento, qual janela ao redor do corte e quais testes/diagnósticos você exigiria para sustentar o desenho.
• Tarefa B: liste 4 ameaças à validade e como mitigá-las (ex.: auditoria, uso de renda verificada, placebo em cortes falsos).
• Tarefa C: proponha indicadores de equidade para verificar se o benefício alcança grupos mais vulneráveis e se reduz desigualdades territoriais.

Exercício 3 — Avaliação de eficiência em política de saúde territorializada

Um estado expande equipes de atenção primária em municípios pequenos. O objetivo é reduzir internações por condições sensíveis à atenção primária.

• Tarefa A: proponha uma estratégia de avaliação de processo (o que monitorar mensalmente/trimestralmente) e uma estratégia de impacto (qual desenho e por quê).
• Tarefa B: defina uma métrica de custo-efetividade e descreva quais custos devem entrar (diretos e administrativos) e qual horizonte temporal.
• Tarefa C: explique como você trataria a comparabilidade entre municípios (porte populacional, acesso geográfico, rede hospitalar) ao interpretar resultados.

Exercício 4 — Política educacional com seleção não aleatória

Um programa de reforço escolar é ofertado primeiro em escolas com pior desempenho e maior vulnerabilidade. Não houve sorteio.

• Tarefa A: explique por que uma comparação simples tratado vs. não tratado pode ser enviesada.
• Tarefa B: proponha um desenho com pareamento + diferença-em-diferenças (conceitual), indicando quais variáveis pré-intervenção seriam essenciais para parear.
• Tarefa C: proponha como verificar tendências paralelas e como comunicar limitações caso elas não se sustentem.