Foto: Amanda Perobelli/Reuters

Por que produzimos diretrizes para a prática de avaliação


Essas orientações são um chamado para que a sociedade brasileira amplie sua atenção e capacidade de influenciar a produção das avaliações, com especial atenção ao modo como são realizadas e às finalidades às quais se destinam

Avaliações de políticas, programas, projetos e serviços têm se tornado cada vez mais importantes no Brasil. Evidente conquista do período de redemocratização e da consequente ampliação do interesse público e do diálogo entre os atores sociais, a demanda por avaliações têm crescido progressivamente. Esse crescimento vem junto com a expansão das políticas públicas, o fortalecimento da sociedade civil, a agenda de cooperação internacional e avanços no setor privado.

Das avaliações de larga escala na educação àquelas dedicadas à implementação de políticas, das pesquisas avaliativas produzidas pelas universidades aos estudos de impacto fomentados pelo Estado, agências multilaterais e organizações da sociedade civil, é evidente o crescente estoque de capital científico, técnico e político disponível no Brasil, como têm mostrado muitos autores, entre eles os colunistas do Nexo Claudio Ferraz e Alicia Kowaltowski.

Até aqui, é certo que muitas avaliações contribuíram para tornar as políticas públicas e os investimentos privados mais efetivos e transparentes e para aumentar o aprendizado e fortalecer as organizações em geral. Quando realizadas com respeito aos atores, com critérios válidos e métodos consistentes, são muitos os casos de avaliações que operaram como instrumentos democráticos e contribuíram para reduzir as desigualdades e assegurar direitos.

Mas as avaliações não foram apenas valorosas. Operadas por agentes e instituições reais em cenários políticos diversos, elas também falharam e foram subutilizadas e, em algumas situações, produziram danos. Não são poucos os casos de avaliações utilizadas para manipular a opinião pública, reforçar desigualdades, invisibilizar o racismo e cercear direitos. E mais recentemente, como argumenta Marta Arretche, não são poucos os casos de negação da evidência científica a demonstrarem que a prática e o uso das avaliações têm muito o que avançar.

Comprometida com a produção de avaliações relevantes e que possam fortalecer a democracia, a liderança da RBMA (Rede Brasileira de Monitoramento e Avaliação) apoiada pela Agenda de Avaliação do Gife, elaborou as Diretrizes para a prática de avaliação no Brasil. As Diretrizes são um chamado para que a sociedade brasileira amplie sua atenção e capacidade de influenciar a produção das avaliações, com especial atenção ao modo como são realizadas e às finalidades às quais se destinam.

Fruto da consulta a mais de 200 especialistas, pesquisadores, gestores públicos e grupos específicos, como jovens avaliadores e avaliadores negros, as Diretrizes para a prática de avaliação no Brasil estão apresentadas em quatro dimensões, definidas por pares de conceitos, nas quais encontram-se 26 diretrizes.

Diretrizes podem instrumentar conselheiros de direitos, ativistas e jornalistas a buscarem políticas e serviços públicos de maior qualidade

A primeira delas trata da Aprendizagem e Utilização, apontando que as avaliações devem dialogar e responder às necessidades de informação e conhecimento dos interessados, favorecendo o aprendizado sobre o objeto avaliado. Desse modo, as avaliações podem ampliar níveis de análise, reflexão, compreensão e apropriação e inspirar processos de formulação, implementação, prestação de contas e decisão sobre continuar, descontinuar ou ampliar iniciativas.

A segunda dimensão trata de Direitos e Integridade, apontando que as avaliações devem reconhecer e respeitar os direitos e posições sociais, culturais e políticas dos interessados como condição para sua legitimidade. Devem também respeitar os parâmetros normativos e legais vigentes. A afirmação é seguida de sete diretrizes que detalham e procuram tangibilizar a declaração principal.

A terceira dimensão trata de Contextualização e Valoração. As avaliações devem apoiar-se na melhor compreensão possível dos objetos. Devem formular, eleger e explicitar critérios tecnicamente consistentes, contextualmente apropriados, que façam sentido para os interessados e sejam adequados para responder às perguntas avaliativas. Este é o que muitos teóricos classificam como o coração da prática avaliativa, ou seja, o exercício de atribuir valor a um determinado objeto avaliado.

A quarta dimensão trata então de Método e Viabilidade. Ela aborda a relação da avaliação com o método científico, e com a necessidade de que os estudos sejam viáveis à luz das condições reais dos objetos e dos recursos institucionais, afirmando que “ao lado do uso criterioso de métodos científicos, as avaliações devem ser geridas de modo cuidadoso, transparente e flexível, devem contar com profissionais e equipes bem preparadas, além de assegurar o bom uso de recursos materiais e naturais”.

Baseadas nas diretrizes elaboradas para a América Latina e Caribe pela Relac (Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe), as diretrizes brasileiras foram adequadas ao contexto, valores e práticas nacionais. O documento destaca a necessidade de que as avaliações sejam utilizadas para fomentar diálogos republicanos entre os atores, para assegurar o uso inteligente, responsável e transparente dos recursos públicos e privados, e para favorecer gestão e decisões baseadas em evidências.

Destacam também a necessidade de produzir avaliações capazes de combater o racismo, reconhecendo ser esta uma agenda de primeira grandeza no Brasil e via essencial para reduzir as desigualdades e violências e caminhar na direção de um futuro com mais democracia e prosperidade para todas as pessoas. Nesse sentido, o documento lembra que as Diretrizes podem instrumentar conselheiros de direitos, ativistas e jornalistas a buscarem políticas e serviços públicos de maior qualidade, bem como sustentar a luta por direitos civis, políticos, sociais e ambientais.

Para os profissionais e instituições avaliadoras, as Diretrizes também podem cumprir importantes funções. Ao iluminar aspectos centrais à prática, elas podem oferecer suporte à concepção, implementação e uso de avaliações. Podem também basear processos de meta-avaliação, ou seja, aqueles que analisam criticamente as próprias avaliações. Como aponta o teórico Michael Scriven, “meta-avaliação é o imperativo profissional da avaliação: ela representa o reconhecimento de que ‘a avaliação começa em casa’, de que a avaliação é autorreferente e não apenas algo que se faz com os outros”.

Nesse laço entre ciência, política e gestão proposto pelas avaliações, são muitos os atores e as situações que podem se beneficiar das Diretrizes. Respeitando seus diferentes níveis de compreensão, inserções e objetos de interesse, as Diretrizes procuram favorecer o diálogo e a reflexão sobre a prática. A publicação refuta o viés normativo, recomendando que as diretrizes cumpram o papel de provocar reflexão, crítica e construção. Primeiro esforço da RBMA para propor marcos conceituais comuns para as avaliações realizadas no Brasil, e por isso mesmo com explícitas limitações, é preciso tomá-las como possibilidade e nunca como imperativo.

Como afirma o documento, as Diretrizes são uma plataforma de diálogo para o amplo e diverso campo avaliativo que a RBMA procura fomentar, marcado por uma “comunidade criativa, transdisciplinar e pluri-institucional na qual convivem muitas correntes, abordagens, orientações e intenções”.

Se uma democracia forte requer que todos os atores da sociedade participem ativamente da produção e expansão dos direitos políticos, civis, sociais e ambientais, não há dúvidas de que é preciso dar a devida atenção às avaliações, pelo modo como podem favorecer ou obstruir tais construções. Vamos falar sobre isso?

Rogério Silva é doutor em saúde pública pela USP (Universidade de São Paulo), é sócio da Pacto Organizações Regenerativas e um dos organizadores das Diretrizes para prática de avaliação no Brasil.

Marcia Joppert é doutoranda no programa de psicologia com concentração em avaliação na Claremont Graduate University, diretora da Rede Brasileira de Monitoramento e Avaliação e uma das organizadoras das Diretrizes para prática de avaliação no Brasil.

Max Gasparini é mestre em saúde coletiva pela Faculdade de Medicina da USP, é consultor da Move Social e um dos organizadores das Diretrizes para prática de avaliação no Brasil.

Os artigos publicados no nexo ensaio são de autoria de colaboradores eventuais do jornal e não representam as ideias ou opiniões do Nexo. O Nexo Ensaio é um espaço que tem como objetivo garantir a pluralidade do debate sobre temas relevantes para a agenda pública nacional e internacional. Para participar, entre em contato por meio de ensaio@nexojornal.com.br informando seu nome, telefone e email.

Todos os conteúdos publicados no Nexo têm assinatura de seus autores. Para saber mais sobre eles e o processo de edição dos conteúdos do jornal, consulte as páginas Nossa equipe e Padrões editoriais. Percebeu um erro no conteúdo? Entre em contato. O Nexo faz parte do Trust Project.

Já é assinante? x

Entre aqui

Continue sua leitura

Inscreva-se abaixo no Boletim Coronavírus, uma newsletter diária do Nexo: