1. Introdução

Na atual transição de séculos e na atual transitoriedade do mundo, a avaliação de programas sociais assume progressivamente um papel de importância na gestão de iniciativas de interesse público, seja de natureza governamental ou de natureza privada.

O fenômeno é de ordem mundial. Observa-se a organização do debate ao redor do tema em todos os continentes e proliferam as redes nacionais e internacionais sobre avaliação, a configuração de associações e a promoção de conferências.

As particularidades históricas do desenvolvimento da avaliação no Brasil estão relacionadas à reforma do estado e a sua busca por eficiência na resolução de problemas sociais e uso dos recursos públicos; ao amadurecimento da sociedade civil organizada, que ganhou poder institucional após a queda do regime militar e que passa a fortalecer suas estratégias de gestão como forma de expandir sua capacidade de transformação social; e ao crescente interesse do empresariado com a responsabilidade social corporativa que, por meio de investimentos sociais de empresas, comunga práticas de gestão empresarial e pressão por resultados com ações de intervenção e transformação do status de um espaço e/ ou de uma população (1).

Este artigo visa a contribuir com o debate da avaliação no país e oferecer a todos aqueles que se encontram frente a desafios neste campo, idéias, questões e provocações que possam auxiliá-lo em seu trabalho.

2. Um conceito de avaliação

Diversas são as definições existentes sobre avaliação de programas sociais. O conceito aqui apresentado nasceu a partir da experiência com distintas avaliações associada ao debate e sistematização do conhecimento que cada prática ofereceu.

Neste sentido, a avaliação é um processo de aprendizagem sistemático e intencional que um indivíduo, grupo ou organização se propõe a trilhar para aprofundar a sua compreensão sobre determinada intervenção social, o que permite julgar seu mérito, valor ou relevância. A avaliação leva à ampliação de consciência sobre determinado programa ou projeto o que possibilita que escolhas e decisões maduras possam ser feitas.

Ao contribuir para ampliar a consciência de indivíduos, grupos ou organizações, a avaliação contribui com a constituição de sujeitos, sua atuação e interação com o mundo. O papel pedagógico e libertador oferecido pelo processo avaliatório é claro, o que convida avaliadores e protagonistas de intervenções sociais a se assumirem como educadores e educandos.

Assumir o desafio da avaliação significa dispor-se a uma travessia onde a aprendizagem se coloca desde o início, e não apenas ao seu final, canonizada num extenso relatório repleto de informações. Como versa Guimarães Rosa em Grandes Sertões Veredas " Natureza da gente não cabe em nenhuma certeza. O real não está na saída e nem na chegada, ele se dispõe para a gente é no meio da travessia". O real está na travessia num mundo onde não há certezas. Nesta trilha nosso farnel deve estar repleto de prontidão para enfrentar a construção de sentido da avaliação, quando o grupo negocia o motivo, a identidade, os interessados e o foco da avaliação; a construção da descoberta, quando alinhamentos conceituais, confrontos com a realidade, encontros com o novo e percepção do que é velho são vividas e levam à construção da inovação, onde decisões de transformação e mudança são tomadas. O enraizamento e o cultivo das novas práticas são estações que completam o ciclo avaliatório.

Numa sociedade que ainda busca amadurecer o seu mecanismo democrático, deve-se trilhar esta travessia participativamente para que a avaliação se faça instrumento que vai além do desenvolvimento de uma intervenção social, mas que também alcança o fortalecimento do indivíduo, de seus direitos e capacidade de transformação de uma sociedade. A avaliação democrática, de cunho participativo, é um caminho a seguir. Os desafios que esta abordagem traz explicitam o caráter político de um processo avaliatório, no qual a importância de se compor com diferentes atores sociais e criar espaços reais de acolhimento ao debate de diferenças estão presentes, o que torna a negociação a pedra de toque para avançar rumo a resultados profícuos.

A este conceito está associado um conjunto de princípios:

• A avaliação é uma opção para quem deseja refletir, aprender e se desenvolver.

Há que desejá-la.

• A avaliação necessita de construção coletiva.

Há que construí-la em comunhão.

• A avaliação pressupõe confrontar poderes, conceitos e expectativas distintas.

Há que negociá-la.

• A avaliação está sempre em construção.

Há que cultivá-la.

• A avaliação toca em iniciativas relacionadas às histórias de vida de pessoas com ela envolvidas

Há que se ter confiança.

3. Uma forma de trilhar a travessia

A tarefa parece desafiadora: Empreender uma avaliação que leve o grupo à efetiva aprendizagem. Neste item será abordado um conjunto de passos que compõe o processo avaliatório, com questões provocativas que estimulem o leitor a refletir e seguir a travessia (2).

• Alinhamento

Estágio inicial que prepara a ambiência para que a avaliação seja realizada conforme as necessidades do programa social em questão e que reveste o pavimento para a utilização dos resultados. Neste momento defini-se quem participa e com qual papel de avaliação. Busca-se construir um conceito comum sobre avaliação entre os integrantes do grupo, observando as experiências pessoais e seus significados. Com isso o grupo vai definindo a identidade de sua própria avaliação. A expectativa e a motivação que os interessados têm com a avaliação são compartilhadas. Com isso busca-se compreender a forma de pensar sobre avaliação e o jeito de sentir a avaliação. O estado para a confiança é reforçado. Outros aspectos do processo como a necessidade de um facilitador externo, os recursos a serem investidos e o prazo para a realização do trabalho são neste momento negociados.

Perguntas orientadoras:

• Quem deve participar? De que forma?
• Que experiências tivemos com avaliação? O que significaram?
• O que entendemos por avaliação?
• Queremos avaliar?
• Porque iremos avaliar?
• O que faremos com os resultados?
• Quais os recursos ( pessoas, tempo, dinheiro) que investiremos?

• Definição do foco da avaliação

Frente ao alinhamento oferecido com o passo anterior, o grupo de interessados está preparado para mergulhar na discussão sobre o foco da avaliação, ou seja, sobre o que deve ser avaliado. É o momento de fazer perguntas sobre o que se quer saber a respeito da iniciativa social. O foco se traduz em uma pergunta avaliatória, que será respondida ao longo da avaliação. Uma boa pergunta de avaliação é aquela traz em sua resposta o subsídio para uma profunda reflexão e delineamento de inovações estratégicas em uma iniciativa social. Boas perguntas são simples porque tocam na essência. O desafio do grupo é chegar a esta essência. Alguns cuidados devem ser tomados. A polaridade quantidade x profundidade está sempre presente. Muitas perguntas dificultam que todas as respostas sejam perseguidas com a profundidade necessária. Também revelam que a essência não foi tocada. O instigante é olhar o grupo de perguntas e questionar: o que este conjunto perguntas juntas revela? O que está por trás? Qual a pergunta que pode unificar a todas?

A natureza da pergunta também deve ser observada. Perguntas avaliatórias olham para acontecimentos desde o passado até o momento presente. Já perguntas de planejamento atentam para o futuro. Se a pergunta é voltada para o planejamento, o processo é outro que não a avaliação. Entretanto perguntas de planejamento podem oferecer um bom pano de fundo para se chegar às perguntas avaliatórias. O segredo é pensar o que se pode aprender com a experiência vivida que permite responder a pergunta de planejamento com propriedade.

Existe uma concepção vigente no campo social de que a avaliação deve ser orientada pelos objetivos do projeto e responder em que medida eles foram alcançados. Esta é uma abordagem muito relacionada a orientações lógicas na elaboração de projetos. Nesta perspectiva, as possibilidades de perguntas avaliatórias existentes ficam extremamente reduzidas. Em geral estas perguntas atendem a demandas gerencialistas e têm limitadas capacidades de apoiar o desenvolvimento do projeto. Esta abordagem tem sentido em situações específicas, mas não pode ser generalizada para todo o campo da avaliação. Outras possibilidades existem. Para que a avaliação seja efetivamente um processo de aprendizagem as perguntas precisam ser feitas em liberdade.

Perguntas orientadoras:

• O que queremos avaliar?
• Que perguntas temos a respeito da iniciativa social?
• Qual a essência do que buscamos?

• Elaboração dos indicadores

A elaboração de processos sensíveis e precisos de avaliação muitas vezes está relacionada à construção de um conjunto de indicadores que tenham vigor na percepção de uma situação, o que permite que um determinado grupo de pessoas avance na leitura de uma dada realidade social.

Assim como o conceito de avaliação é diverso, diversas também são as definições do conceito indicador. Aqui, o definimos como aspectos ou atributos identificáveis e perceptíveis que revelam o estado, a magnitude ou a natureza de determinados objetos ou sujeitos. Os indicadores são mais precisos à medida que se relacionem ao contexto que querem conhecer, ou seja, são particulares a cada realidade.

Ao mesmo tempo em que podem permitir comparação entre diferentes territórios, como acontece com aquilo que chamamos de indicadores clássicos de saúde e desenvolvimento social (IDH, Coeficiente de Mortalidade Infantil, Taxa de Alfabetização, entre tantos outros), ou que podem permitir a construção de séries históricas (que demonstram mudanças ao longo do tempo), os indicadores precisam ser tomados como expressões específicas de cada fenômeno, valorizando particularidades, explorando razões e abrindo condições de entender a razão das mudanças.

Neste sentido, os indicadores estão em permanente construção. Não podem prescindir de um processo contínuo de observação, compreensão, desconstrução e reconstrução da realidade à qual pertencem. No campo social, os indicadores não podem ser tratados como verdade absoluta, como métrica precisa das mudanças, mas sim como reunião de evidências, como explicitação de indícios, como convite a reflexões.

Perguntas orientadoras:

• Quais são os aspectos da realidade que podem nos informar sobre o comportamento da situação social em relação à pergunta avaliatória?
• O que estes aspectos/ indicadores significam?

• Definição das fontes de informação

Fontes de informação são pessoas ou objetos que permitem conhecer e verificar o status de um indicador na realidade. São pessoas, documentos, registros que permitem conhecer a situação. Cada indicador deve ter, pelo menos, uma fonte de informação associada.

Perguntas orientadoras:

• Quais as fontes de informação para cada indicador?

• Definição das formas de coleta de dados

Para cada fonte de informação definida anteriormente deve ser planejada uma forma de coleta de informações. Forma de coleta é o mecanismo que permitirá ao grupo que empreende a avaliação levantar dados a respeito dos indicadores. É o meio que irá mediar a relação com as fontes de informação. Pode ser uma simples reunião, ou entrevistas, questionários, grupos focais, análise de documentos, observação em campo, observação de registros visuais e/ ou áudio visuais, entre outros.

Não é raro o caso em que um grupo propõe-se a fazer uma avaliação e logo começa a elaborar um questionário. A avaliação começa com o instrumento de coleta, sem considerar os momentos anteriormente citados. Ao dar este salto a avaliação corre sério risco de revelar-se diferente do que muitos esperavam, ter utilidade restrita frente às expectativas e pouco contribuir com o desenvolvimento da iniciativa social.

Perguntas orientadoras:

• Como coletaremos as informações com cada uma das fontes?

• Coleta de dados

A coleta de dados é o momento de levantar as informações. Realizar as reuniões, as entrevistas, aplicar os questionários etc. Esta fase revela complexidades de gestão, que envolve articular pessoas ( fontes de informação), negociar cronogramas, preparar equipes, organizar a informação coletada. Um bom planejamento do trabalho contribui para que os dados sejam efetivamente obtidos.

Perguntas orientadoras:

• Os instrumentos de coleta de informações estão preparados?
• A equipe está formada e capacitada?
• O cronograma foi negociado?
• Os recursos disponíveis estão ajustados às necessidades da coleta de dados?

• Análise dos dados coletados

A análise dos dados coletados é o momento a ordenação e análise propriamente dita da informação. Esta análise respeita a natureza da informação, sendo qualitativa ou quantitativa. A conjugação de informações destas duas naturezas oferece um rico resultado.

A análise pode ser feita em constante contato com os interessados no projeto que sugerem hipóteses, aprofundam reflexões e questionam por novas análises a medida em que as informações são produzidas.

 Perguntas orientadoras:

• Como os dados coletados serão organizados?
• Qual o tratamento que as informações necessitam?
• O que estes dados revelam?

• Comunicação

As informações produzidas durante a avaliação depois de analisadas e ordenadas precisam ser comunicadas para todos os grupos que tem interesse na iniciativa social avaliada, com o intuito de provocar reflexões e debates e não apenas de informar. É uma comunicação com enfoque formativo.

A comunicação pode acontecer de maneiras muito distintas, a depender do tipo de informação e do público a quem se destina. A maneira consagrada é o relatório associado a reuniões de apresentação dos resultados. Independente da forma, um importante princípio a ser observado na comunicação de uma avaliação é o do diálogo. Estratégias de comunicação são elaboradas para iniciar ou alimentar uma conversa com determinados grupos de interessados na iniciativa. É uma fala cheia de conteúdo em direção a um interlocutor, que pode nos devolver ao grupo responsável pela avaliação novas palavras, idéias e percepções sobre o assunto tratado. Assim, um dos segredos desta comunicação é ter claro o que falar e ter abertura para escutar. Neste diálogo as descobertas se constróem, novas idéias e percepções são formadas e o grupo amadurece para tomar decisões sobre a iniciativa social em questão.

A comunicação deve ser viva e acontecer ao longo da avaliação. Aguardar o final do processo para comunicar os achados da avaliação a todos pode ser um erro estratégico. Alimentar o grupo constantemente com as informações permite que ele vá amadurecendo ao longo do processo, o que lhe possibilita repensar continuamente os caminhos da avaliação, formular hipóteses e pensar sobre alternativas possíveis para as questões enfrentadas.

Se propomos que a avaliação se torne um processo de aprendizagem, isto significa que avaliar é um ato educativo. Neste contexto a comunicação é mediadora da relação homem - mundo; é meio para o debate sobre temas a serem problematizados.

Perguntas orientadoras:

• Quando comunicar?
• O que comunicar?
• Que espaços de diálogo serão criados?
• Como as informações orientam a reflexão a iniciativa social?

Estes passos compõem uma indicação de caminho para esta travessia avaliatória, mas não esgotam as possibilidades que podem ser exploradas. A depender da natureza e do foco da avaliação, outras formas, mais simples inclusive, podem ser trilhadas. Há que se botar a caminho para aprender das experiências.

4. Padrões sugeridos para avaliações

A expressiva quantidade e diversidade de avaliações realizadas nos EUA motivaram o debate acerca dos padrões ( standards) que poderiam determinar a qualidade de uma avaliação. Foi formado um comitê na década de 90, o Joint Committe on Standards for Educational Evaluation que reune profissionais do campo da avaliação com o objetivo de construir um conjunto de categorias que pudesse auxiliar a atribuição de mérito a avaliações. Foram propostos quatro grandes padrões que abrigavam cada qual sub-itens. O interesse e utilidade deste artigo se restringem à abordagem dos quatro padrões propostos (3), resumidos abaixo.

• Utilidade , que a avaliação seja útil para quem a deseja.
• Precisão , que as informações obtidas sejam precisas e confiáveis.
• Viabilidade , que as condições de trabalho sejam respeitadas ( tempo, recursos, opções metodologias, entre outros).
• Ética , que os direitos de todos os envolvidos sejam resguardados.

5. Redes de Avaliação na América Latina

O amadurecimento da avaliação em diversos países da América Latina tem levado à criação de redes nacionais que buscam fortalecer e integrar profissionais que atuam neste campo.

No Brasil foi criada 2002 a Rede Brasileira de Avaliação (www.avaliabrasil.org.br) que tem como missão " Desenvolver e fortalecer cultura e práticas de avaliação de interesse público no Brasil, por meio da articulação entre pessoas e organizações, da gestão do conhecimento, do aprimoramento profissional e da defesa da avaliação como ação política transformadora". Esta Rede é informal e atua por meio de nós regionais, já constituídos em diversos estados tais como São Paulo, Rio de Janeiro, Bahia, Distrito Federal e Minas Gerais. A Rede tem realizado reuniões, cursos e debates eletrônicos.

No cenário latinoamericano foi articulada a Red de seguimiento, evaluación y sistematización en América Latina y el Caribe (ReLAC) que agremia as redes do Brasil, da Colômbia, América Central e Peru e " Busca fortalecer a cultura e a prática do monitoramento, avaliação e sistematização como um processo social e político fundamental para o melhoramento das políticas, programas e projeto, considerando maior transparência e participação cidadã". Para mais informação consultar o site www.preval.org.

6. Desafios para o desenvolvimento do campo da avaliação no Brasil

Diversos são os desafios que podem limitar o desenvolvimento da avaliação no Brasil. Neste artigo não se pretende esgotar esta discussão e por isso pontuam-se alguns de destacada importância, que seguem com uma breve argumentação.

• Sobre o acúmulo de conceitos e práticas

 A história construída ao redor da avaliação no Brasil é recente. O amadurecimento deste campo relaciona-se ao acúmulo de experiência por parte de avaliadores e gestores de programas sociais, com conseqüente incremento do diálogo por parte deste atores, o que leva à concepção de novas abordagens, novas práticas, novos enfoques e novas compreensões sobre a arte de avaliar. E serão conceitos e práticas legitimamente brasileiras.

• Sobre a utilização da avaliação

No atual cenário em que as avaliações são desenvolvidas no Brasil, a sua utilização tem se configurado como desafio imperativo. Transformar informações em saber por meio de um processo de aprendizagem onde os dados do campo são o ponto de partida para uma efetiva reflexão é parte fundamental do processo avaliatório, quando ele toma vida e deixa de se configurar como um amontoado de dados dispostos ordenadamente em um documento, para viver em corações e mentes dos envolvidos com o projeto e, assim, transformar-se em ações práticas de mudança.

O uso de uma avaliação é determinado desde o início de uma avaliação e não apenas quando os resultados são apresentados. As características do grupo, o envolvimento da liderança, a postura do avaliador, a necessidade da avaliação e a qualidade da comunicação dos achados estão entre os aspectos que influenciam a utilização de avaliações.

• Sobre a interdisciplinaridade

A avaliação se constrói como campo do saber existe ao transitar por galerias do conhecimento que hoje estão fragmentadas. A avaliação é um conhecimento que se faz em simbiose com outras áreas.

Entre as disciplinas que têm contribuído para a avaliação estão a sociologia, a antropologia, a psicologia, a administração, a educação, a estatística e a comunicação social.

Na composição entre estas partes se faz o todo da avaliação. O desafio colocado é transitar por diferentes campos, aproveitar saberes de distintas fontes e criar um espaço comum de troca entre todos.

• Sobre o debate científico: objetividade e subjetividade

A ciência moderna considera a separação entre o sujeito e o objeto no estudo de fenômenos, seja nas ciências naturais ou sociais. Esta separação constrói um senso comum de que dados não objetivos, que atendam a rigorosas premissas metodológicas e que distanciem o observador do objeto observado, têm significância reduzida e caem em descrédito.

A objetividade oferecida por uma ciência rigorosa reforça a necessidade de informações quantitativas para entender uma situação e atuam na premissa de que os fenômenos podem ser explicados como realmente são e por isso a verdade é única e inegociável. Valores humanos não têm espaço neste pensar científico.

Entretanto um olharconstrucionista, que admite que a realidade social é construída coletivamente pelo grupo de atores que a compõe em determinado momento histórico, revela novas paisagens a serem exploradas.

A importância prática e concreta deste debate reside sobre a possibilidade de se explorar novas alternativas metodológicas de conhecimento da realidade que comunguem de novos valores, que assumam a subjetividade e, conseqüentemente, o contexto histórico na busca por informações. Guba e Lincoln oferecem uma abordagem interessante neste sentido denominada "A Quarta Geração da Avaliação" (4) e já apontam para caminhos futuros do campo avaliatório.

7. Recursos para aprofundar o conhecimento na área de avaliação

Este artigo traz uma abordagem introdutória sobre avaliação. Para aprofundar os conceitos aqui apresentados e conhecer outras abordagens avaliatórias você pode utilizar algum dos recursos descritos baixo.

a) Rede Brasileira de Avaliação

• A Rede Brasileira de Avaliação é um ótimo espaço de aprendizagem conforme já mencionado (www.avaliabrasil.org.br).

b) Publicações

• A publicação Introdução à avaliação de programas sociais do Instituto Fonte traz 11 artigos clássicos sobre avaliação. Sua tiragem foi restrita por razões relacionadas à direitos autorais, mas um conjunto de exemplares foi distribuído para bibliotecas de universidades públicas em diversos estados brasileiros. Para conhecer o resumo dos artigos e as bibliotecas onde é possível encontrar a publicação, acesse o site www.fonte.org.br.

• Desenvolvendo a Cultura de Avaliação em Organizações da Sociedade Civil . Chianca, T.; Marino, E.; Schiesari, L. Instituto Fonte/ Editora Global. São Paulo, 2001.

• Manual de Avaliação de Projetos Sociais . Eduardo Marino. Editora Saraiva/ Instituto Ayrton Senna. São Paulo, 2003.

• Avaliação Participativa de Programas Sociais . Maria Cecília Roxo N. Barreira. Veras Editora. São Paulo, 2002.

• Avaliação de Impacto dos Trabalhos de ONGs . Chris Roche. Cortez Editora/ Oxfam/ Abong. São Paulo, 2000.

• Ensaio - Avaliação e Políticas Públicas em Educação . Periódico trimestral. Fundação Cesgranrio. Rio de Janeiro. Informações: ensaio@cesgranrio.org.br.

• The Evaluation Exchange - A periodical on emerging strategies in evaluating child and family services. Periódico oferecido gratuitamente pelo Harvard Family Research Project. Assinaturas podem ser requisitadas pelo e-mail hfrp_pubs@gse.harvard.edu ou pelo web site www.gse.harvard.edu/hfrp .

c) Internet

• A Preval tem como objetivo fortalecer as capacidades para a geração e análise sistemática de informação sobre resultados e impacto de intervenções na redução da pobreza rural na América Latina (www.preval.org).

• A Associação Americana de Avaliação publica o American Evaluation Journal e o New Directons for Evaluation. A Associação também realiza uma conferência anual. Informações no site www.eval.org .

• O Community Development Resourses Association oferece artigos em inglês sobre avaliação, entre outros temas (www.cdra.org.za)

• International Institute for Qualitative Methodoloy (www.ualberta.ca/~iiqm) é uma referência para informações sobre metodologias qualitativas.

• A maioria dos livros sobre avaliação de autores americanos é publicada pela Sage Publications. Pesquisas e compras podem ser feitas pelo site www.sagepub.com.

(1) - Uma discussão aprofundada deste aspectos pode ser encontrada no texto Rede Brasileira de Avaliação: Primeiro Movimentos , disponível no site www.avaliabrasil.org.br.

(2) - Uma abordagem detalhada sobre estes passos é encontrada no texto "Os Quatro Elementos da Avaliação" de Silva, R. e Brandão, D. (2003). Disponível no site www.fonte.org.br.

(3) - A publicação Introdução à Avaliação de Programas Sociais oferece um artigo onde todos os itens são citados e explicados. Buscar no site www.fonte.org.br.

(4) - Guba, E.; Lincoln Y. The Fourth Generation Evaluation. Sage Publications 1989. O capítulo de introdução a este livro pode ser lido em português na publicação Introdução à Avaliação de Programas Sociais. Instituto Fonte. www.fonte.org.br.