2015 . Ano 12 . Edição 85 - 20/01/2016

Novamente vinculado ao Ministério do Planejamento, o Instituto se organiza para proporcionar à administração pública uma estrutura única de avaliar e monitorar políticas públicas

João Cláudio Garcia

Nestas duas primeiras décadas do século XXI, o Brasil foi beneficiado por uma diversidade de políticas públicas voltadas para a solução de problemas como a pobreza, o déficit de habitação, a desigualdade social e crises econômicas, entre outros. Se as gestões e os governos passam, mas a população e as instituições permanecem, é crucial saber com a maior exatidão possível quais políticas, de fato, valeram a pena. Aí entra o papel da avaliação e do monitoramento, que vêm se tornando especialidade do Instituto de Pesquisa Econômica Aplicada.

Tomemos como exemplo o Bolsa Família, um dos mais repercutidos e amplos programas sociais já realizados pelo país. De que maneira ele poderia resistir a pressões políticas e instabilidades econômicas para completar 12 anos ininterruptos? Provando a que veio. Avaliações realizadas pelo Ministério do Desenvolvimento Social e Combate à Fome e pelo Ipea revelam que os casos de fraude entre os beneficiários não passam de 3,5%. O programa não contribuiu para o aumento da natalidade entre as famílias que recebem os recursos, nem para que elas deixassem de procurar emprego.

Avaliar, ou dar valor a algo, é uma atividade que contribuiu para derrubar mitos e estabelecer o que realmente importa em termos de benefício à sociedade. O caso do Bolsa Família, que atende a cerca de 13,8 milhões de famílias em todo o país, foi apenas um dos comentados durante o seminário Monitoramento e Avaliação de Políticas Públicas: instrumentos e experiências, organizado pelo Ipea de 23 a 25 de novembro de 2015, em Brasília.

MDS

“Acho que, no fundo, é a vocação do Ipea dentro do Estado brasileiro ocupar uma função importante no monitoramento e avaliação de políticas públicas. Isso é fundamental no contexto em que o Estado brasileiro vem fazendo um esforço de atendimento à maioria da sua população que foi historicamente esquecida”, afirmou o presidente do Ipea, Jessé Souza. “Temos, aqui, 70% da população brasileira de não privilegiados e para os quais a ação do Estado tem de compreender suas capacidades e incapacidades”, acrescentou.

Se em períodos anteriores da história brasileira a concretização dos objetivos de cada política era algo difícil de ser mensurado, técnicas e modelos desenvolvidos especialmente depois da década de 1960 têm tido papel essencial atualmente. “O seminário permitiu ao Ipea reconhecer quais são as capacidades de avaliação, com a perspectiva de analisá‑las. Isso permitirá avaliações diferenciadas de políticas públicas. É algo que, na administração pública, só o Instituto teria condições de fazer. Cria‑se uma perspectiva de coordenação promissora de capacidades”, explicou o chefe de Gabinete do Ipea, José Eduardo Elias Romão.

“A diversidade do Ipea tende muitas vezes à desintegração, ao isolamento e, infelizmente, em algumas vezes, ao diversionismo. Temos uma missão, uma atribuição normativa de prestar assessoramento com base em pesquisas de qualidade. O desafio não é convencermos uns aos outros da qualidade de um ou outro método ou instrumento utilizado, mas prover uma organização ótima para que essa diversidade seja produtiva e rápida, com a celeridade que o Estado e a população demandam”, completou Romão. Para atingir esse objetivo, o Instituto deve se reestruturar, por meio de um novo Estatuto, e vislumbra, a partir de 2017, elaborar novos produtos, inovações, a partir do conhecimento acumulado em avaliação e monitoramento.

João Viana/Ipea

Durante o seminário foram comentados vários casos de políticas públicas
avaliadas com sucesso pelos técnicos do Ipea

FORMAÇÃO

No futuro, o Mestrado Profissional em Desenvolvimento e Políticas Públicas, realizado pelo Ipea em parceria com a Escola Nacional de Administração Pública (ENAP), poderá proporcionar formação nas capacidades e métodos de avaliação. E o Instituto terá condições de formar um conjunto de bases de dados em rede sobre avaliação, incrementando seu potencial de atendimento a novas demandas. Embora o Ipea já tenha corpo técnico qualificado e preparado para avaliar políticas, o novo formato permitirá que o trabalho ocorra de maneira mais coordenada.

O intercâmbio de dados será frequente com instituições parceiras, especialmente o Ministério do Planejamento, Orçamento e Gestão, ao qual o Ipea voltou a ser vinculado em setembro de 2015, mas também com outras, como a Controladoria Geral da União (CGU) e o Tribunal de Contas da União (TCU). “No caso do orçamento, a qualidade depende da capacidade de avaliar as políticas. Um dos principais objetivos é o desenvolvimento inclusivo e percebemos que, na área social, houve avanços na capacidade de avaliação. Nossa parceria com o Ipea, que já era grande, será fortalecida com essa volta ao Planejamento”, disse Esther Dweck, secretária de Orçamento Federal do ministério.

João Viana/Ipea

Esther Dweck, secretária de Orçamento Federal do Ministério do
Planejamento, Orçamento e Gestão

Carlos Higino Ribeiro de Alencar, secretário‑executivo da CGU, ressaltou a importância do Ipea na derrubada de consensos leigos em relação a algumas políticas. “Há duas coisas que vejo como senso comum. Se eu acabasse com a corrupção, sobraria dinheiro para tudo. Não é verdade. A corrupção é um problema, tem um custo e ele pode ser quantificado. Outro senso comum é o preconceito em relação a políticas sociais, sob a alegação de que desestimulam o ímpeto ao trabalho. Vejo o Ipea quebrando esses mitos que se formam e são perigosos”, declarou.

O BRASIL AVALIA?

É praticamente consenso a ideia de que, em se tratando de avaliação de políticas públicas, o Brasil ainda tem muito a evoluir. No entanto, especialistas divergem sobre a validade de comparativos entre o estágio do país e o de outras nações em desenvolvimento, ou se devemos copiar estratégias de coordenação de avaliações adotadas lá fora.

Fabiana Rodopoulos, coordenadora‑geral de Estudos Econômico‑Fiscais da Secretaria do Tesouro Nacional, cita a Colômbia, o Chile e o México como alguns países mais avançados que o Brasil. “O caso chileno nos mostra que leva décadas para se chegar à maturidade das políticas de avaliação”, afirmou. Ela ressalta que há, no país, um comitê interministerial para avaliar programas anualmente e que as análises não são feitas dentro do próprio governo, mas por especialistas externos, de forma a transparecer um caráter isonômico e independente.

Michael Lehmann, professor‑adjunto do Departamento de Economia da Universidade de Brasília (UnB), concorda que o Brasil faz menos avaliações de políticas públicas que o Chile ou o México. Mas avalia que, para reverter esse quadro, serão necessárias mudanças na legislação. “Muitos gestores nos ministérios não têm incentivos e mecanismos para fazer avaliação de impacto. Eles podem saber da utilidade disso, mas será um trabalho a mais. Se eu me tornasse gestor, não faria avaliação de impacto. Por que arcar com o risco de saber que o programa que implementei simplesmente não tem o impacto esperado? Então, é preciso obrigar, por lei, as pessoas a fazerem avaliação de impacto”, propôs.

Lehmann contou um caso emblemático da importância de avaliações ex ante: a febre do microcrédito nos últimos 20 anos, que inclusive rendeu o Prêmio Nobel da Paz de 2006 para o bengalês Muhammad Yunus, conhecido como “banqueiro dos pobres” e um dos principais partidários dessa política. Segundo o professor da UnB, cinco estudos de 2015 sobre a efetividade do microcrédito – realizados em países asiáticos, além de México e Bósnia – mostraram que ele não tem impacto nenhum sobre os lucros do negócio, sobre a renda das pessoas e as taxas de pobreza de quem pegou o crédito. “Durante anos gastaram dinheiro para uma coisa que, aparentemente, não funciona. Se a avaliação tivesse sido feita naquela época, teria sido evitado um desperdício de recursos públicos”, concluiu.

EXPERIÊNCIA

Paulo Januzzi, secretário de Avaliação e Gestão da Informação (SAGI) do Ministério do Desenvolvimento Social e Combate à Fome, avalia de modo diferente a experiência brasileira em comparação com a de outros países. “Chile, Colômbia e México têm uma experiência importante, mas estão longe de ter um sistema de produção de informações estatísticas e capacidade de gestão interna nos governos e nas políticas sociais com a cobertura, intensidade, entrega e impacto que o Brasil logrou ao longo de 25 anos”, garantiu.

A SAGI é a única Secretaria da Esplanada dos Ministérios voltada exclusivamente à avaliação e ao monitoramento. Tem autonomia financeira para fazer avaliações e uma política de disseminação de informações – todos os documentos estão no sítio do MDS. Como a equipe que atua na Secretaria é pequena, apenas 14 técnicos, 80% dos trabalhos são feitos por contratação externa, o que, por outro lado, oxigena o ministério com o emprego de diferentes metodologias e eleva a credibilidade dos processos.

O técnico de Planejamento e Pesquisa do Ipea Ronaldo Coutinho Garcia concorda que se espelhar em trajetórias de outros países pode não ser o melhor caminho para o Brasil. Ele lembra que, em 2001 e 2002, a Secretaria de Planejamento e Investimentos Estratégicos (SPI) do Ministério do Planejamento e o Ipea fizeram um grande esforço para conhecer experimentos de montagem de processos de monitoramento e avaliação em nações como Austrália, Nova Zelândia, Inglaterra, Estados Unidos, Canadá, França e Suécia. “O que eles têm em comum? Cada um construiu seu processo de acordo com suas necessidades, sua temporalidade. E não há um modelo. Tentamos impingir modelos, e eles não existem”, afirmou.

Experiências bem‑sucedidas do Instituto

Avaliar políticas públicas é algo que está no DNA do Ipea, atividade que sempre foi e será um dos maiores atributos da instituição. Uma das análises mais recentes nesse sentido é sobre o impacto do Fundo Constitucional do Nordeste no desenvolvimento do semiárido (veja quadro com algumas das políticas públicas avaliadas pelo Ipea). Trata‑se de pesquisa realizada em parceria com o Ministério da Integração Nacional.

João Viana/Ipea

Daniel da Mata, técnico de
Planejamento e Pesquisa do Ipea,
sobre o impacto do Fundo
Constitucional do Nordeste no
desenvolvimento do semiárido

Os municípios beneficiados com empréstimos do Fundo, via Banco do Nordeste, eram 1.033 até 2005, quando um grupo interministerial acrescentou ao critério de pertencimento ao semiárido os quesitos índice de aridez – proposto pelas Nações Unidas e que confronta precipitação, evaporação de água e transpiração de plantas – e déficit hídrico, que leva em conta a qualidade do subsolo. Com esses novos critérios, outros 102 municípios foram incluídos na região beneficiada. A pesquisa do Ipea comparou‑os com outros 99 municípios vizinhos que, por pouco, não entraram no semiárido.

João Viana/Ipea

Carlos Henrique Corseuil, técnico
de Planejamento e Pesquisa do Ipea,
sobre o impacto do Contrato
de Aprendizagem

“Mostramos no trabalho que, antes da nova definição de semiárido, em 2004, os 102 e os 99 municípios, estes do grupo de controle, eram semelhantes em PIB per capita, escolaridade média, renda per capita e outras características”, relatou Daniel da Mata, técnico de Planejamento e Pesquisa do Ipea. “Depois, o Banco do Nordeste passou a emprestar muito mais nesses 102, comparados com o grupo de controle. São dois empréstimos a mais por cada empresa formal do município. A maioria dos empréstimos é por CPF, ou seja, para empresas informais, basicamente produtores da pecuária de menor porte e rendimento. Não há evidência de aumento da taxa de inadimplência.”

PESQUISA

Outro trabalho que está em processo de conclusão, desta vez na Diretoria de Estudos e Políticas Sociais, é uma avaliação de impacto do Contrato de Aprendizagem, um instrumento para inserir jovens no mercado de trabalho formal. Esse tipo de contrato foi escolhido para análise porque os jovens compõem a faixa etária que mais sofre com o desemprego, a informalidade, a elevada rotatividade e ocupações de curta duração no Brasil. A ideia foi acompanhar por seis anos jovens que ingressaram no mercado de trabalho com 17 ou 18 anos, entre 2001 e 2003, por contrato de trabalho por prazo determinado – seja Contrato de Aprendizagem ou outros, excluindo‑se o setor público e o agrícola.

A metodologia utilizada para a pesquisa foi o pareamento ajustado, com o objetivo de descobrir se aqueles que ingressaram no mercado de trabalho por Contrato de Aprendizagem foram beneficiados de alguma forma e se a trajetória deles nas empresas foi melhor. A comparação ocorreu entre aprendizes e não aprendizes, indivíduos que, apesar de não serem elegíveis ao programa, tendem a ser similares aos elegíveis.

“Descobrimos que o aprendiz tem uma probabilidade 8% maior de ter emprego pela CLT e por tempo indeterminado – o melhor tipo de contrato possível – que outro jovem ingresso no mercado de trabalho por um tipo de contrato diferente”, detalhou Carlos Henrique Corseuil, técnico de Planejamento e Pesquisa do Ipea. “O salário do aprendiz tende a crescer mais que o do jovem que não ingressou como aprendiz. E o aprendiz também se torna mais exigente em relação à qualidade do emprego que vai buscar no futuro. Ele passa mais tempo procurando empregos mais estáveis e com maiores remunerações e, de fato, encontra‑os”, conclui.

VIOLÊNCIA

Uma política pública famosa e que também já passou por avaliação de técnicos do Ipea é a Lei Maria da Penha. Publicada como Texto para Discussão nº 2.048 do Instituto, a pesquisa indica que a lei fez diminuir em cerca de 10% a taxa de homicídios contra as mulheres dentro de residências, o “que implica dizer que LMP foi responsável por evitar milhares de casos de violência doméstica no país”. No entanto, essa efetividade não se deu de maneira uniforme no país, por causa dos diferentes graus de institucionalização dos serviços protetivos às vítimas de violência doméstica.

João Viana/Ipea
 
João De Negri, técnico de Planejamento e Pesquisa
do Ipea, sobre o estudo que fomentou um conjunto de
discussões no governo federal para alterar as políticas de
incentivo às empresas inovadoras no Brasil

O estudo, que tem como um dos autores o técnico de Planejamento e Pesquisa do Ipea Daniel Cerqueira, utilizou o método conhecido como modelo de diferenças em diferenças, por meio do qual os números de homicídios contra mulheres dentro dos lares foram confrontados com aqueles que acometeram os homens. A ideia central para a identificação do modelo é que existem fatores associados à violência generalizada na sociedade e, em particular, à violência urbana, que afetam de forma regular os homicídios de homens e mulheres. Porém, há outros fatores ligados à questão de gênero que afetam apenas os homicídios de mulheres.

Para a secretária Nacional de Segurança Pública, Regina Miki, as políticas de combate à violência figuram entre as mais difíceis de serem avaliadas. “A Constituição de 1988 não nos permitiu sequer ter um sistema formado para segurança pública. Quando ela fala de saúde, educação, assistência social, ela cita um sistema que deveria ser constituído para implementação de políticas. Quando chega no Artigo 144, ela apenas elenca órgãos que compõem a segurança pública. Daí a dificuldade na promoção e avaliação das políticas.” Segundo a secretária, essa deficiência começa a ser superada com o Pacto Nacional de Segurança Pública, que está sendo maturado com gestores federais, estaduais e municipais há um ano.

EMPRESAS INOVADORAS

Há, também, casos de análises que serviram para a criação de políticas mais adaptadas à realidade nacional em setores específicos. A Diretoria de Estudos e Políticas Setoriais de Inovação, Regulação e Infraestrutura (Diset) do Ipea, por exemplo, acompanhou, durante 10 anos, 23.532 empresas. Os comparativos revelaram que empresas que inovavam remuneravam melhor os trabalhadores, ofereciam ocupações de melhor qualidade, garantiam mais direitos trabalhistas e registravam permanências mais longas de empregados. 

João Viana/Ipea

Gilson Bittencourt, secretário de Planejamento e
Investimentos Estratégicos do Ministério do Planejamento

Em 2010, os dados foram apresentados na Conferência Nacional de Ciência e Tecnologia e a avaliação fomentou um conjunto de discussões no governo federal para alterar as políticas de incentivo às empresas inovadoras no Brasil. “Dizíamos, à época, que o Brasil vinha mantendo sua posição relativa e que os avanços tinham sido importantes, mas que era preciso implementar diversas coisas, como uma melhor articulação entre universidades e empresas”, contou João De Negri, técnico de Planejamento e Pesquisa do Ipea. Os debates sobre essas políticas levaram à formulação, com apoio do Ipea, do Programa Inova Empresa, de 2013. Pela primeira vez, o foco da política industrial era a inovação tecnológica. O montante de recursos ofertados entre 2013 e 2014 foi de R$ 32,9 bilhões.

MÉTODOS

A diversidade de modelos de avaliação ficou patente nas apresentações ocorridas durante o seminário do Ipea, em novembro. O diretor‑adjunto de Estudos e Políticas Macroeconômicas do Instituto, Marco Antônio Cavalcanti, falou sobre o Modelo Dinâmico Estocástico de Equilíbrio Geral (DSGE) e sobre os Modelos de Gerações Sobrepostas (OLG). O primeiro permite análises de curto e médio prazos, enquanto o segundo é mais útil no longo prazo.

Atualmente, o modelo DSGE está sendo utilizado no Ipea em um trabalho que visa a compreender os impactos macroeconômicos da política fiscal, identificando, por exemplo, interações entre a política fiscal e a política monetária. “Assim, foi possível comparar os efeitos de um choque, como o aumento inesperado de investimento público, gastos sociais e gastos com funcionalismo público, sobre diferentes regras fiscais”, afirmou Marco Antônio.

Por sua vez, o OLG ajudará a Diretoria de Estudos e Políticas Macroeconômicas (Dimac) a entender as possibilidades e limitações de crescimento do país no longo prazo, considerando as interações entre um arcabouço de política fiscal, a necessidade de equilíbrio intertemporal das contas públicas e possíveis diferentes regras fiscais.

Outro modelo, a Análise por Envoltória de Dados (DEA), já foi utilizado em diferentes pesquisas no Ipea. Alexandre Marinho, técnico de Planejamento e Pesquisa, realizou estudos sobre os transplantes de órgãos e tecidos no Sistema Único de Saúde (SUS) a partir desse modelo, que vem sendo cada vez mais aplicado no Brasil e compara uma eficiência revelada (tida como eficiênciaotimizada) com a eficiência das unidades analisadas, estabelecendo um indicador de avaliação da relação insumos/produtos dessas unidades. Rogério Boueri, secretário‑adjunto de Política Fiscal e Tributária do Ministério da Fazenda, concorda que se trata de um bom modelo, mas não uma panaceia: “O DEA tem sido cada vez mais utilizado não só para avaliação, mas também para regulação, como no caso da Aneel, que o adota diretamente na revisão de tarifas”.

Por sua vez, a metodologia do modelo lógico já foi utilizada em pelo menos três frentes de pesquisas na Diretoria de Estudos e Políticas Regionais, Urbanas e Ambientais (Dirur) do Ipea. A primeira experiência da diretoria com essa metodologia intuitiva na área de política urbana foi, a pedido da Caixa, a avaliação de projetos de intervenção urbanística via Programa de Aceleração do Crescimento (PAC) no Complexo do Alemão (RJ). Essa iniciativa permitiu ao Instituto realizar outros dois trabalhos de avaliação: um para a Secretaria Nacional de Habitação, do Ministério das Cidades, e outro para a Prefeitura de São Paulo, via Secretaria de Desenvolvimento Urbano, por meio de um convênio.

A EXPERIÊNCIA DO PPA

Um instrumento que pode ajudar o país em processos de avaliação de políticas e para verificar se compromissos do governo são efetivados é o Plano Plurianual (PPA), regulamentado em 1998. Muitos ainda o consideram uma ferramenta burocrática, pouco efetiva, feita por baixos escalões do governo e alheia a aspectos de gestão, além de nem sempre conectada ao orçamento. Mas isso vem mudando.

“O principal desafio que enfrentamos, e conseguimos avançar – embora não ainda no plano ideal –, foi tentar restringir o PPA do ponto de vista do que é possível fazer em termos de metas com o recurso disponível, para depois entrar na fase de monitoramento, com capacidade de avaliar efetivamente se os programas não estão sendo executados e qual é o problema”, observa Gilson Bittencourt, secretário de Planejamento e Investimentos Estratégicos do Ministério do Planejamento.

O trabalho de elaboração do PPA 2016‑2019 envolveu mais de 4 mil técnicos do governo e 4 mil representantes da sociedade civil, de todas as regiões. Foram realizados seis seminários regionais, dois no Nordeste, e mais de 120 oficinas no âmbito do governo, para ouvir a população. O processo de avaliação também mudou: até então, todo ano, cada ministério entrava no sistema e registrava a atualização sobre o andamento de uma meta específica, sem muito espaço para justificativas. Ao final, a SPI consolidava tudo e sanava eventuais dúvidas com os ministérios.

João Viana/Ipea

Patrícia Morita Sakowski,
assessora‑chefe de Planejamento e
Articulação Institucional do Ipea

“O que propomos neste ano é, mantendo uma lógica de um PPA mais enxuto e focado e metas mais coerentes com o recurso disponibilizado, fazer com que ministérios preencham o sistema e ouvir a sociedade sobre a percepção das principais políticas. Não vai ser sobre o PPA todo, mas algumas políticas. A gente vai repassar isso via um trabalho em conjunto com a Secretaria de Governo e eles vão nos trazer a impressão deles em relação a essas políticas. Faremos a mesma coisa com os secretários estaduais de Planejamento”, acrescentou Bittencourt.

No Ipea, uma análise densa e recente sobre o PPA 2012‑2015 pode ser encontrada na coleção Pensamento estratégico, planejamento governamental & desenvolvimento no Brasil, coordenada pela Diretoria de Estudos e Políticas do Estado, das Instituições e da Democracia (Diest). Quatro livros da coleção já estão disponíveis gratuitamente em versão digital no Portal Ipea (www.ipea.gov.br).

Uma das iniciativas que ainda estão em estudo para incrementar ações de avaliação de políticas públicas no Brasil é a criação e institucionalização permanente de um sistema de avaliação e revisão da despesa pública no âmbito da União, integrado ao ciclo orçamentário, segundo revelou Fabiana Rodopoulos, do Ministério da Fazenda. Além da Fazenda, a iniciativa envolve o Ministério do Planejamento e o Banco Mundial, tendo interface com órgãos setoriais.

Com o seminário de novembro,que reuniu representantes de diferentes instituições públicas, como o Banco Nacional de Desenvolvimento Econômico e Social (BNDES), Banco Central, Ministério da Fazenda, Ministério do Planejamento, Ministério da Justiça, CGU, TCU, ONU e academia, o Ipea reforça uma de suas vocações.

“A principal motivação foi trazer experiências e instrumentos em avaliação e monitoramento, gerar debates e incentivar a reflexão dos envolvidos. No dissenso, convergimos para a necessidade de múltiplas abordagens. Nenhum instrumento de avaliação e monitoramento é suficiente ou perfeito. Uma visão mais rica deve utilizar as diferentes abordagens complementarmente”, sintetizou a assessora‑chefe de Planejamento e Articulação Institucional do Ipea, Patrícia Morita Sakowski, que organizou o evento.