Avaliação de Políticas e Programas de Saúde: contribuições para o debate

Marly M. Cruz
“Os avaliadores são desafiados a compreender e explicar fenômenos complexos (…).
Apreender esta complexidade não requer um privilégio de apenas uma forma de
conhecer e valorizar, mas sim um levantamento de todas as nossas formas de
entendimento em um quadro que contemple a diversidade e respeite a diferença”.
(Greene, 2001: 35)
1. Avaliação em saúde: alguns aspectos teóricos e conceituais
Para iniciarmos uma reflexão sobre avaliação de políticas de saúde em nossa atual conjuntura, queremos convidar o leitor para uma aproximação com o tema sem nenhuma pretensão de esgotá-lo. Nosso principal eixo de construção e argumentação será o de apresentar alguns aspectos teóricos e metodológicos do campo da avaliação, e, mais especificamente, das políticas e programas de saúde, para situar de onde estamos falando.
Importante explicitar, desde já, que partiremos nesta discussão de uma concepção de avaliação que valoriza o debate e a participação dos diferentes atores nos processos avaliativos; que consideramos a construção da avaliação como algo dinâmico, que extrapola o âmbito governamental e as regras formais e que se consolida em ações e práticas no âmbito da organização dos serviços de saúde. Assim, nosso intuito nesse texto é trazer elementos que perfazem o processo político e decisório, seja no contexto dos serviços, seja na consolidação das diretrizes programáticas do sistema e com isso trazer contribuições para o debate deste campo.
Vamos, então, iniciar esta conversa com a própria ideia que encontramos de avaliação no senso comum. Se pararmos para observar, a avaliação está presente em vários contextos da vida, seja no âmbito pessoal ou nas instituições. A todo instante falamos de avaliação ou estamos sujeitos a processos avaliativos, mas não nos damos conta disso. O fato é que participamos de alguma forma de processos que visam verificar resultados, alcance de objetivos, checagem de conhecimentos e outros, e, em razão deles, nos organizamos socialmente, o que se constituiu na trajetória histórica da humanidade. Reconhecer este aspecto é um primeiro passo na construção de uma avaliação que considere os sujeitos que participam dos processos.
A história moderna da avaliação sistemática das intervenções sociais começa no século XVIII, na Grã-Bretanha e na França com as novas correntes ideológicas e filosóficas que serviram de arrimo ao pensamento científico moderno acarretando assim a multiplicação e o refinamento dos métodos de pesquisa social e a implementação de transformações sociais, políticas, econômicas e culturais (Dubois, Champagne e Bilodeau, 2011). No entanto, a avaliação se instituiu como uma prática e estratégia de governos no período após a Grande Depressão nos Estados Unidos até a Segunda Grande Guerra Mundial.
Nesse contexto a avaliação emerge como um mecanismo que visava acompanhar as políticas públicas implementadas e equacionar os problemas sociais existentes (Worthen, Sanders e Fritzpatrick, 2004; Figueiró, Frias e Navarro, 2010). Assim, a avaliação consolidou-se como uma prática de intervenção política do Estado, nos sistemas, serviços, programas e projetos político-sociais, e definiu-se também como um campo de conhecimento, com a busca de aportes científicos que lhe dessem sustentação e credibilidade. E, nos últimos tempos, o campo se expandiu e passou por muitas transformações, incorporando influências dos distintos campos do saber, como as ciências sociais, a economia, a pesquisa clínica e epidemiológica e o direito. Com isso, se configurou em seu âmbito um conjunto diverso de tendências e abordagens norteadoras.
Figura 1: O campo da avaliação e a relação com os distintos campos do saber
As etapas marcantes da história da avaliação coincidem para Guba e Lincoln (1989) com algumas características importantes da avaliação evidenciando assim o que denominaram de gerações (quadro 1). Estes autores reconheceram nesta diversidade a configuração de pelo menos quatro gerações de estudos de avaliação: a primeira (1900-1930), que tem como ênfase a construção e a aplicação de instrumentos de medidas para avaliar os beneficiários de uma intervenção; a segunda (1930-1960), centrada na descrição da intervenção, que marca o surgimento da avaliação de programas; a terceira (1967-1980) apoiada no julgamento de mérito e do valor de uma intervenção para ajudar na tomada de decisões; e a quarta (1980 – atual) que se refere à negociação entre os atores interessados e envolvidos na avaliação.
Quadro 1. As etapas da história da avaliação e suas principais características
Gerações da Avaliação Períodos Principal Característica
I Reformismo (1800-1900)

Eficiência e testagem (1900-1930)
Medida
II Idade da Inocência (1930-1960) Descrição
III Expansão (1960-1973)

Profissionalização e Institucionalização (1973-1990)
Julgamento
IV Dúvidas (1990 até nossos dias)
Fonte: Madaus, Stufflebeam e Scriven, 1989; Guba e Lincoln, 1989 apud Dubois, Champagne e Bilodeau, 2011.
A delimitação dessas gerações retrata as mudanças de ordem teórico-conceituais e políticas que se fizeram e, ainda se fazem presentes na configuração e legitimação do campo. Tais mudanças evidenciam uma polissemia a partir dos distintos eixos teóricos que surgiram, e que ao mesmo tempo revelaram as grandes tensões do campo. Esses eixos podem ser verificados com a maior ênfase dada à questão dos métodos em avaliação por autores como Ralph Tyler, Carol Weiss, Huey Chen, Peter Rossi, David Campbell; a centralidade da valoração em avaliação para qual, autores como Michael Scriven, Robert Stake, Egon Guba e Yvonna Lincoln têm dado maior importância; ou mesmo a ênfase nos usos da avaliação, que têm sido tratados como peça-chave entre autores da quarta geração como David Stufflebeam, Michael Patton, David Fetterman.
Mas, no nosso entendimento, a perspectiva de gerações de avaliação não significa a supressão de uma geração em favor da outra. As abordagens e modos de avaliar presentes em cada geração ainda convivem e se complementam em diferentes estudos na atualidade. Significa dizer que convivem muitas vezes numa mesma proposta de avaliação a perspectiva que compreende a negociação entre atores interessados e envolvidos (quarta geração) com as visões da avaliação que têm como ênfase o julgamento do mérito (terceira geração), a descrição da intervenção (segunda geração) ou mesmo a mensuração de efeitos (primeira geração), num arranjo de estratégias para compor a abordagem avaliativa, mediante o esforço de responder a uma ou mais perguntas avaliativas.
Neste ponto é importante reconhecer que existe um ‘divisor de águas’ nestas gerações e praticamente entre os avaliadores: o reconhecimento de que a avaliação envolve necessariamente um julgamento[1], uma atribuição de valor ou mérito, uma medida de sucesso ou não de uma política ou programa público de acordo com atributos de qualidade determinados ou pactuados.
Em qualquer estudo de avaliação haverá a necessidade de explicitação clara dos critérios e parâmetros utilizados para a emissão do julgamento, conforme ressalta Worthen, Sanders e Fritzpatrick (2004) ao considerarem que a avaliação corresponde “à identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor ou mérito, a qualidade, a utilidade, a eficácia ou a importância do objeto a ser avaliado em relação a esses critérios” (p. 35).
E o que varia entre as gerações é a posição do avaliador diante da avaliação, o uso preferencial da avaliação, o modo de entender e produzir os parâmetros e critérios e o envolvimento ou não de atores na construção de processos avaliativo. Dependendo das escolhas vemos prevalecer a posição do avaliador como juiz, a afirmação de critérios universais de julgamento, reforçando uma visão de ciência como a busca da realidade e verdade absoluta, não possibilitando o reconhecimento da diferença e a perspectiva dos atores envolvidos. Por outro lado, verificamos abordagens construtivistas (Almeida, 2006) onde há uma preocupação de incorporação dos atores interessados na  definição dos parâmetros e uma abertura maior para outras perspectivas e visões sobre a realidade possibilitando quebrar com a ideia de uma verdade absoluta e um padrão único e universal de avaliação[2].
Mas o debate proposto nos estudos de quarta geração parecem também permear leituras de autores de outras gerações. É assim que autores como Contrandriopoulos (2006) ressaltam a importância do envolvimento dos diferentes atores na construção dos  parâmetros que serão adotados, isto porque[os atores] podem ter campos de julgamentos diferentes, se posicionarem e construírem (individual ou coletivamente) um julgamento capaz de ser traduzido em ação”(p. 710). Assim, há nesta contribuição um destaque para o caráter multifacetado do julgamento, que envolve uma intervenção complexa, como no caso das políticas públicas, com a atribuição de valores pautada em critérios válidos e legítimos e o uso dos resultados da avaliação no
sentido da mudança social.
Contudo, é interessante perceber que mesmo com a entrada destas perspectivas no debate ainda se estabelece como hegemônico na avaliação da qualidade em saúde, o referencial de Donabedian (1990), que desenvolveu um modelo de avaliação centrado nos componentes de estrutura, processo e resultado para a observância dos pilares da qualidade (eficácia, efetividade, eficiência, equidade, acessibilidade, otimização, legitimidade) [3].
O modelo donabediano vem sendo contrastado com outras propostas que buscam romper com a ideia do modelo ‘caixa preta’ (Denis e Champagne, 1997), que iremos retomar posteriormente, ao procurar identificar os fatores que interferem de fato para a obtenção dos melhores efeitos. Apesar de este modelo abordar o processo, a ênfase dada no uso dessa vertente é para a avaliação de resultado sem uma reflexão mais profunda sobre os diferentes atributos de qualidade sugeridos e nem tampouco uma compreensão e  explicação clara sobre os problemas de qualidade relacionados ao processo.
O que parece caber, diante das múltiplas abordagens existentes sobre como avaliar, é identificar a que se mostra mais útil para uma reflexão norteadora que possa agregar valores a processos sociais. Afinal, a multiplicidade de abordagens revela a influência das várias vertentes que surgiram e apontaram diferentes narrativas, diferentes traduções do saber e do fazer em avaliação na combinação da atribuição de causalidade entre feitos e efeitos à mudança social pretendida (Cruz e Reis, 2011).
Desse modo, é que também consideramos que o ato de julgar na avaliação precisa levar em consideração critérios e parâmetros reconhecidos pelos interessados como confiáveis. É a prática do julgamento que evidencia o caráter de não neutralidade na avaliação, pelas implicações subjetivas e por permitir a ressignificação de elementos que ajudam a consubstanciar o parecer dado. É prudente reconhecer, nesse caso, a definição de critérios e padrões de julgamento, que contem, principalmente, com uma negociação entre os principais interessados na intervenção e na avaliação, para que os resultados da mesma possa melhor orientar os usuários, profissionais e os gestores e outros interessados.
Por isso também, entendemos que para se avançar na prática de avaliação de políticas em saúde, faz-se necessário minimamente se construir desenhos de avaliações que busquem responder o porquê. Saber se alcançou ou não os efeitos esperados não ajudam necessariamente para a orientação da melhoria da política. Este pode ser considerado um importante desafio metodológico a ser enfrentado na medida em que precisa se discutir estratégias para a definição de perguntas pactuadas que orientem para uma avaliação, que responda aos interesses dos sujeitos diretamente vinculados à intervenção.
Para tanto fica evidente a necessidade de se inserir nos modelos de avaliação a influência dos fatores do contexto político, organizacional, cultural, econômico, socio-demográfico (determinantes e condicionantes), na relação com a implementação ou com a obtenção de efeitos mais a longo prazo ou aqueles não previstos no desenho da política.
A proposta que aqui apresentamos, da avaliação baseada na utilidade, começa a se configurar no campo da avaliação em meados da década de 1990 e buscará se contrapor a estes outros modelos de avaliação que de alguma forma reforçam a busca de uma verdade nos processos políticos e sociais. Na chamada ‘avaliação útil’ a ênfase está na utilização dos resultados, tanto no processo de construção do ‘modelo avaliativo’, como na avaliação dos processos, decisões, parâmetros, resultados e mudanças alcançadas. As perguntas que norteiam esta proposta são: a avaliação servirá para quem? Como será utilizada? Como foi construída e implementada? Ou seja, reconhece-se que a possibilidade de mudança social só se dá se ocorrer uma inclusão dos diferentes atores no processo avaliativo, enfatizando a utilização que os mesmos farão destes recursos, refutando a ideia de um avaliador-juiz externo ao processo.
Em linhas gerais, a proposta deste texto é reconhecer as ações de avaliação como subsidiárias ou intrínsecas ao planejamento e à gestão, como instrumento de suporte à formulação de políticas, ao processo decisório e de formação dos sujeitos envolvidos, e não afirmá-la como mecanismo externo aos processos sociais. Para isso é preciso definir formalmente as responsabilidades respectivas de quem encomenda a avaliação e de quem avalia para se aprimorar os resultados dos conhecimentos produzidos e incorporá-los à realidade. Além disso, na gestão em saúde, a avaliação de políticas deve ter como finalidades a melhoria das ações de saúde, a prestação de contas e a produção de conhecimentos úteis e oportunos para uma prática de saúde de qualidade na visão dos atores
envolvidos na política em questão.
Todo este debate traz questões importantes para se pensar o campo e vai também ao encontro de leituras que buscam refletir sobre as contribuições da avaliação para o desenvolvimento das políticas públicas. Afinal, esse é um tema que tem ocupado as agendas políticas na busca por intervenções mais promissoras, custo-efetivas e racionais. A questão é: pra quem?
(Box 1 – Análise de Política ou Avaliação de Política?)
Nesse sentido, numa posição crítica do processo de avaliação de políticas públicas, Faria (2005) argumenta que essas concepções enfatizam a perspectiva normativa e deixam de reconhecer o caráter político da avaliação. Assim, para o autor é possível observar que “nos debates e nos estudos correlatos mais recentes [há uma] prevalência de um viés normativo e/ou uma priorização dos aspectos mais técnicos da avaliação das políticas públicas, bem como uma ênfase em seu papel de instrumento gerencial” (p.98). O autor explicita assim que as normas são preestabelecidas como padrão de qualidade, sem se levar em conta a interação com o contexto que pode ser mediada por processo contínuo de reflexividade.
Essa forte inclinação para a avaliação normativa (Champagne et al, 2011a) também esvazia, no nosso entendimento, o caráter explicativo e a possibilidade de construção de avaliações que considerem o maior envolvimento dos atores e a utilização pelos mesmos dos resultados obtidos. Por tudo isso, advogamos em favor da avaliação útil e de uma perspectiva crítica do conhecimento produzido neste âmbito.
2. Da formulação à avaliação de políticas e programas
Numa perspectiva internacional, a avaliação, enquanto um processo social formal e sistemático vem se configurando, desde a década de 1960, num esforço de legitimação e institucionalização de uma prática consistente de julgamento do sucesso das políticas públicas implementadas para enfrentar os problemas sociais existentes, sobretudo, no que se referia à prestação de contas (Worthen, Sanders e Fritzpatrick, 2004). Paralelo a isso, as pesquisas em políticas públicas se tornaram foco de interesse das atividades científicas, principalmente pelo fato de ter implicações diretas na regulação e no controle dos investimentos por parte do Estado.
A década de 1990 testemunhou, nas democracias ocidentais de um modo geral, e na América Latina, em particular, “a busca de fortalecimento da ’função avaliação’ na gestão governamental” (Faria, 2005:97). Assim, foram implementados, em diversos países da América Latina, inclusive no Brasil, sistemas de avaliação das políticas públicas de escopo variável, o que, na visão do autor, se justificou “pela necessidade de “modernização” da gestão pública, em um contexto de busca de dinamização e legitimação da reforma do Estado” (ibid).
Ou seja, nas últimas décadas, ocorreu uma difusão da avaliação como algo capaz de instrumentar os países nos seus processos decisórios, reforçando a necessidade de uma política de avaliação para subsidiar os sistemas de gestão e controle do Estado. Com isso, definiu-se um dado modelo de avaliação que parte da retórica do argumento tecnicamente fundado (que advém da ciência) para respaldar a ação estatal, numa pretensão de argumento científico para decisões implicadas em acordos políticos.
A avaliação como um campo de conhecimento problematiza esta institucionalização, reunindo elementos para a discussão dos contextos políticos e decisórios, mas não abandona a perspectiva de gerar subsídios à tomada de decisão, bem como a possibilidade de definição de uma política de avaliação.
No Brasil o movimento de constituição de uma política de avaliação articulada à gestão é muito recente, com diretrizes que acabaram por reforçar abordagens fragmentárias e conservadoras, com a dissociação dos processos avaliativos já em curso uma tendência inversa da adotada pelos países desenvolvidos.
Na perspectiva dos programas de saúde, embora se observem algumas iniciativas de setores ou unidades de monitoramento e avaliação, espaços “estruturais” a serem privilegiados na institucionalização da avaliação, verificam-se uma incapacidade organizacional e funcional com que estas operam. O fato dos governos serem os grandes demandantes e, por isso, interessados em potencial pela avaliação, é difícil pensar em avaliações que não estejam vinculadas a instrumentarem os governos.
O movimento de institucionalização do Monitoramento e Avaliação (M&A) iniciou na década de 2000 com diferentes iniciativas nas três esferas de governo num contexto marcado pelo avanço dos processos de descentralização do sistema de saúde no Brasil, a partir das mudanças desencadeadas com a implantação do Sistema Único de Saúde (SUS). Tanto a implantação quanto a consolidação do SUS envolveu, e continua envolvendo, atores e contextos locais diversos, relações de poder, reorganização de serviços, realocação do processo decisório (Santos & Natal, 2005). Nesse sentido, os princípios e valores que inspiram e orientam a reforma do sistema de saúde brasileiro imprimem um olhar diferenciado e justificam a existência de análises ou, propriamente, de avaliações das políticas de saúde como um processo permanente e contínuo (Contandriopoulos, 2006).
Ao tratar da institucionalização da avaliação, em particular na atenção básica, Felisberto (2004) enfatiza que a inserção da avaliação na rotina dos serviços se dá por meio da implantação de uma cultura avaliativa. Podemos imaginar que a implantação desta cultura somente ocorre se adotamos a perspectiva de uma avaliação útil, que possibilite a inclusão/interferência dos diferentes grupos envolvidos no processo avaliativo (os prestadores, os profissionais, os usuários, os gestores), potencializando e renovando a avaliação no cotidiano.
A proposta de uma avaliação pautada pelo uso parte do reconhecimento de que os processos de avaliação são projetos de racionalização e de substituição de práticas, o que não ocorre sem tensões e conflitos políticos. O estabelecimento de novas relações de poder, em qualquer nível institucional, não poderá ser feito sem levar em conta as mediações políticas, buscando um processo avaliativo coerente com os princípios do SUS e com os anseios de gestores, profissionais e usuários. Será, portanto, um processo em aberto, em construção, que mediará os esforços e interesses destes diferentes grupos. Como uma política de avaliação em constante movimento e com o reconhecimento de seus usos.
Hartz (2001) ressalta que no processo de institucionalização da avaliação é preciso a definição de uma política de avaliação. Ou seja, a
definição de propósitos e de recursos; definição de tipos de abordagens; localização em organograma das instâncias onde a prática avaliativa deve ser desenvolvida e as relações que devem ser estabelecidas para utilização dos seus resultados. A questão nesse caso é que não basta avaliar políticas, completar um ciclo com a verificação da influência da avaliação e a utilização dos resultados para a melhoria da política, mas sim a de definir as bases de como esse processo vai se dar com regularidade e ter responsabilidades com a qualidade do mesmo.
O investimento na cultura avaliativa implica, assim, num aprendizado e numa apropriação sobre desenhos e abordagens de avaliação tomando-os a seu favor na construção de uma perspectiva própria de avaliação. Afinal, a avaliação requer uma aproximação e um debruçar sobre questões remetidas ao o que, por que, para que, para quem, como, de forma a potencializá-la como um recurso que faça parte da cotidiano das práticas e não apenas como objeto de legitimação do feito.
Para pensarmos na formulação e na avaliação de políticas e programas, tomamos, a princípio como referência, a atuação do gestor do
SUS, interessado prioritário, mas não o único, nas três esferas de governo. Esta atuação se consubstancia, segundo Souza (2002), através do exercício das funções gestoras na saúde, cujas subfunções e atribuições compreendem: formulação de  políticas/planejamento; financiamento; coordenação, regulação, controle e avaliação (do sistema/redes e dos prestadores públicos ou privados); e prestação direta de serviços de saúde.
A formulação e a implementação de políticas ou programas de saúde requer um saber sobre se o que foi planejado (teoria da intervenção) foi executado conforme o esperado e se as ações implementadas levaram aos resultados esperados (Champagne et al, 2011b), ou seja, se a estratégia escolhida é a adequada ou se precisa ser reformulada. A questão é que o gestor, que em geral é quem demanda avaliações, parte do pressuposto que dá para avaliar a intervenção em si e isso, por si só, marca um desafio metodológico pela fragmentação do objeto.
Ao nos depararmos com essas subfunções e atribuições, identificamos o quanto a articulação entre elas ainda precisa ser construída. O que, ao mesmo tempo, seria fundamental para a construção de sistemas de avaliação mais condizentes com as necessidades e úteis do ponto de vista da produção de respostas apropriadas para as mudanças necessárias (Cruz e Reis, 2011).
Mesmo que partamos do princípio que o planejamento, a implementação e a avaliação correspondem a atividades distintas, ao considerarmos seus propósitos, suas finalidades não há como negar a complementaridade entre elas no que se refere ao ciclo de uma política, um programa ou de um projeto. Afinal, qual de nós que lidamos com políticas públicas, ou mais especificamente com programas, não tratamos em nosso cotidiano desses temas, ou melhor, dessas tramas?
Enfim, não queremos nos deter aqui nos modelos existentes para o planejamento e para a gestão, mas sim ressaltar que quem está envolvido com atividades de avaliação precisa ter maior proximidade com o planejamento da política ou programa, entender como tem se dado a sua implementação e o modelo adotado (Cruz e Reis, 2011). Assim, a construção de um plano de avaliação deve tomar como base o diagnóstico da situação encontrada (linha de base), as ações planejadas e a boa utilização dos achados da avaliação que poderão orientar melhor o trabalho da gestão (Santos et al, 2011).
Portanto, dada as conexões intrínsecas entre planejamento, implementação e avaliação, com sustentatbilidade, é fundamental que as pessoas envolvidas nessas etapas compartilhem suas informações, mesmo sabendo que muitas vezes essas atividades ocorrem de forma conjunta (Paim e Teixeira, 2006). Esse é um ponto crítico na medida em que, em muitos casos, não há uma comunicação que flua bem entre os envolvidos nessas áreas de atuação dentro da política de saúde, em particular.
No cotidiano da gestão em saúde ainda são concentrados mais esforços em avaliações operacionais, do tipo normativa, que propriamente em pesquisas avaliativas. Em geral, as pesquisas avaliativas são objetos de maior interesse para a academia que podem estar mais ou menos articuladas com a gestão ou respondendo a perguntas de interesse para a sociedade civil organizada. Essa articulação deve se dar por entendermos que as atividades de avaliação são etapas essenciais de uma gestão de qualidade (Cruz e Santos, 2007). Isso, na medida em que fornece informações sobre necessidades de reajustes no programa, estabelece evidências sobre a efetividade das ações; permite a prestação de contas aos atores envolvidos, inclusive os financiadores; provê informações úteis para a formulação de políticas, sem deixar de contemplar o contexto, assim como aprimora o processo de tomada de decisão.
Diante do exposto, as principais possibilidades para aprimorar os processos de M&A na gestão do SUS é identificar os potenciais atores que venham a contribuir com os passos necessários, que deve ir desde a definição das perguntas avaliativas à disseminação dos resultados (Cazin, Mendes e Albuquerque, 2010). Essa é uma maneira de transformar a dureza e a burocratização da prática de avaliação de política em uma prática construída de forma mais flexível, compartilhada e negociada.
3. Tipologias de avaliação de políticas e programas
Como dito anteriormente, as avaliações respondem a questões avaliativas a partir de hipóteses geradas no monitoramento sobre as diferenças observadas no processo de implementação ou em relação aos efeitos alcançados. Usualmente, as avaliações são mais complexas, dependendo, da(s) pergunta(s) a ser(em) respondida(s), o que, por sua vez, orienta a tipologia da avaliação (Cazin, Mendes e Albuquerque, 2010). De certo que esta é uma das possibilidades de classificação das avaliações tomando-se como referência o seu foco.
É comum no campo da avaliação se usar a terminologia foco de forma indiscriminada. Contudo, nesse artigo estaremos nos referindo a foco como estando vinculado ao tipo de efeitos da política ou programa que buscamos explicar, e a qual queremos nos deter, como por exemplo, os do processo, os de resultado ou os de impacto. Esse é um ponto crucial da avaliação porque temos uma tendência a dizer que queremos saber o impacto de uma política, ou que avaliamos o impacto de uma política sem nem sempre nos  aproximarmos disso. Vamos ver o porquê!
Ao fazer referência anteriormente ao modelo donabediano (1990) vimos que os principais componentes de uma intervenção correspondiam à estrutura, ao processo e ao resultado (curto, médio e longo prazo). Apesar de falar de estrutura e processo de qualidade para a garantia de resultados de qualidade, a avaliação de qualidade pautada nos pilares definidos pelo autor, se detinha mais à observância de resultados de mais longo prazo e em grandes populações que requerem desenhos experimentais.
Paralelo ao modelo de Donabedian, outros modelos surgiram, outras nomenclaturas para os componentes estruturais da intervenção, como insumos, atividades, produtos, resultados e impacto, como no caso do modelo CDC (CDC, 1999); ou do modelo CIPP – Contexto, Insumo, Processo, Produto (Stufflebeam, 2001), bem como a denominação de outros atributos de qualidade, principalmente aqueles referidos ao processo como disponibilidade, oportunidade, qualidade técnico-científica, adequação e outras (Vieira da Silva e Formigli, 2005).
No entanto, o maior investimento centrado nas avaliações de resultado ao longo dos anos levou a críticas aos chamados “modelo caixa preta” (Denis e Champagne, 1997), onde a avaliação está centrada na medida sobre o efeito na população ou mais a longo prazo, sem necessariamente saber se a intervenção estava implementada ou mesmo sem compreender os fatores que influenciaram favoravelmente ou desfavoravelmente a obtenção de tais resultados. Tal crítica tem repercutido numa tendência às avaliações de processo, sem se limitar a acreditação (verificação da conformidade), com ênfase no uso dos resultados para a melhoria da qualidade das ações de saúde.
As avaliações de processo, tidas como equivalentes à avaliação de implantação ou implementação, em geral, envolvem estrutura e processo, e enfatizam as explicações para a diferença entre o pretendido e o realizado (Champagne et al, 2011b), como por exemplo: as diferenças entre a cobertura pretendida e a cobertura alcançada, bem como as explicações para essas diferenças. De maneira geral, a avaliação de processo informa aos atores envolvidos na intervenção se as ações atingiram a população-alvo pretendida, o nível, a extensão e a qualidade dos serviços prestados e que recursos foram necessários para apoiar o esforço realizado.
Uma avaliação de processo visa complementar o monitoramento de estrutura (insumos), o processo (atividades) e o resultado de curto prazo (produto) com uma dimensão explicativa, viabilizando a compreensão do contexto organizacional que pode afetar a intervenção (Brasil, 2007). Os valores pretendidos neste tipo de avaliação estão nos instrumentos de planejamento, enquanto que os alcançados estão em livros de registro, relatórios de atividades, cadastro dos usuários, instrumentos de supervisão ou, na sua falta, são realizados inquéritos para se ter a informação esperada. Este tipo de avaliação responde a questões do tipo: a) a intervenção foi implantada conforme o planejado? b) Qual percentual da população acessou a intervenção? d) Quais as possíveis explicações para os achados? e) Que barreiras dificultaram ou inviabilizaram o acesso?
A coleta de dados para uma avaliação de processo usualmente é realizada por meio de abordagens qualitativas para descrever as atividades e as percepções relacionadas ao programa, especialmente durante os estágios iniciais de seu desenvolvimento e implantação/implementação (Samico, Figueiró e Frias, 2010). Essas abordagens incluem, mas não se limitam, a técnicas como: observações, entrevistas, grupos focais (equipe do programa, usuários e outros informantes-chaves) e revisão de documentos da intervenção. Essa caracterização também pode incluir abordagens quantitativas, tais como: inquéritos sobre adesão à intervenção ou sobre mudanças de comportamentos e atitudes (Brasil, 2007).
Contrariamente a algumas impressões, a avaliação de processo não é um tipo de avaliação a ser feita apenas quando a intervenção não consegue recursos para fazer uma avaliação de resultados. Numa perspectiva de cadeia de efeitos, a avaliação de processo é fundamental porque fornece informações cruciais sobre o porquê a intervenção está ou não funcionando e sobre como melhorá-la (Cruz e Santos, 2007). Uma avaliação de processo requer uma razoável quantidade de tempo da equipe ou do avaliador para coletar, analisar as informações necessárias e chegar a conclusões e recomendações.
As avaliações de desempenho de intervenções em saúde não têm consenso na literatura especializada, sendo um tema recorrente no contexto de consolidação do campo da avaliação. Para alguns, o desempenho de sistemas de saúde são atividades integradas ao gerenciamento dos programas, e que, por isso, não se constituiriam como objeto de estudos avaliativos. Para Contandriopoulos, Trottier e Champagne (2008) é necessário compreender sistemas de saúde como um sistema de ação social e o desempenho como o equilíbrio entre quatro funções principais deste sistema: a adaptação se refere à capacidade da organização de saúde em obter e administrar os recursos necessários, inovar-se e adaptar-se às necessidades do seu público; o alcance de metas revela a capacidade do setor saúde, na medida em que há metas e objetivos definidos e que podem ser mensurados através dos efeitos obtidos, tais como a redução da incidência, além de indicadores de promoção da saúde e satisfação do usuário; a produção está ligada ao processo de oferta e utilização de serviços de saúde individual ou coletiva; a manutenção de valores exprime o modo como valores e princípios da sociedade guiam o sistema e atuam facilitando ou limitando o funcionamento das três dimensões, através de três valores principais: solidariedade, equidade, e dignidade.
Para os autores, a composição do sistema de saúde seria resultante da interação entre estruturas físicas particulares (unidades de saúde, espaço físico, dispositivos tecnológicos, recursos públicos ou privados, etc.), relações político-organizacionais (políticas de saúde governamentais ou não, organização de grupos sociais, etc.) e representações simbólicas (representações de saúde e doença, da vida, valores e normas coletivas). Os principais grupos sociais – que, no caso da saúde, organizam-se em quatro grupos principais (profissionais, gestores, financiadores e atores “políticos”) – atuam dentro da estrutura do sistema, em um constante jogo de cooperação e competição por sua concepção e controle (ibid).
As avaliações de resultado, ou de efetividade/eficácia, são metodologicamente mais complexas, visto que enfocam como e por que as atividades de uma dada intervenção atingiram os seus resultados numa população alvo, se esta for a beneficiária da intervenção. Essa
avaliação pode explicar por que alguns resultados não foram alcançados por alguns ou por todos os participantes de uma intervenção; descreve, em extensão ou abrangência, os efeitos da intervenção, e indica o que poderia ter acontecido na sua ausência (Brasil, 2007; Champagne et al, 2011c).
Assim, uma avaliação de resultado usualmente requer um elemento comparativo em seu desenho: um grupo controle ou um grupo de comparação que não recebeu a intervenção. Além disso, enfatiza as relações causais entre intervenção e efeito. Esse tipo de avaliação responde a questões do tipo: a) a intervenção explica os efeitos esperados? b) a intervenção ou o programa foi a causa dos resultados observados?
As avaliações de impacto, que para algumas abordagens são compatíveis às avaliações de resultados, abordam os efeitos de uma intervenção de mais longo prazo. O impacto não pode ser atribuído exclusivamente a uma única intervenção, ainda que se busque na avaliação de impacto identificar o peso da intervenção avaliada para a obtenção do impacto enquanto efeito na população geral (ibid).
Assim, a avaliação de impacto deve ter um desenho abrangente, que inclua também os efeitos combinados de intervenções convergentes. Por isso, avaliações de impacto são tecnicamente complexas e de alto custo por buscar responder a perguntas do tipo: a) Quanto do efeito se deve à intervenção? b) Quanto da variação do efeito observado foi devido à intervenção?
Essas não são perguntas fáceis de responder e, em geral, requer, assim como nas avaliações de resultado, estudo com grupos de intervenção e controle e a introdução do contrafactual, ou seja, que ajuda a identificar o que aconteceria com o desfecho esperado se a intervenção não acontecesse.
O grande desafio para os desenhos das avaliações é o de conseguir apreender o quanto o alcance ou não das mudanças esperadas diz respeito aos fatores contextuais, que podem interferir na obtenção da mesma. Daí a necessidade de acompanhar determinantes e mudanças contextuais, por meio de indicadores, que possam ajudar a explicar a influência na implementação e nos efeitos da intervenção.
Os fatores contextuais podem estar referidos a facilidades que podem ser compreendidas como aspectos, circunstâncias e/ou fenômenos que contribuíram para o sucesso da atividade/resultado; as barreiras como aspectos e circunstâncias, relacionados ao projeto e instituições envolvidas, que dificultaram a execução da atividade e o alcance do resultado; e as externalidades que dizem respeito a aspectos e circunstâncias, fora das possibilidades do projeto e governabilidade dos atores envolvidos, que dificultaram ou influenciaram a execução das atividades.
4. Avaliação útil de políticas e programas
Pensar na produção de avaliação útil de políticas e programas é pensar se a avaliação atende às necessidades de informação dos usuários potenciais desta, questão primordial para a abordagem da avaliação focada na utilização (Patton, 1997). A utilidade está inserida como um dos critérios de metavaliação, ou seja, de qualidade da avaliação (Worthen, Sanders e Fritzpatrick, 2004; Contandriopoulos, 2006), fez com que muitos avaliadores centrassem atenção em abordagens para a garantia do uso dos achados da avaliação.
O uso, a utilização das informações produzidas na avaliação de políticas e programas, seja para ajustes na implementação, como para formulação de novas políticas, é que podem vir a promover a mudança social desejada por atores sociais e políticos. Porém, a garantia de uso dos resultados da avaliação devem ser previstos desde o seu planejamento (estudo de avaliabilidade), para que sejam definidos os meios para o envolvimento dos potenciais usuários da avaliação (stakeholders). As avaliações internas e as mistas tendem a responder a perguntas avaliativas úteis, tendo em vista a posição do avaliador interno, que muitas vezes identifica as melhores estratégias para a garantia do uso (Patton, 1997).
Os achados de uma avaliação podem ter implicações tanto para continuidade e revisão das ações que estão sendo avaliadas, quanto para fornecer aos diversos parceiros que interagem em relação a essas ações (planejadores, executores, doadores e usuários) informações para ajustar a intervenção. Esses achados também podem ser úteis para outros programas, contribuindo para a implantação/implementação de processos ou propostas similares (Almeida e Báscolo, 2006).
Além disso, as avaliações têm o uso inerente de produzir conhecimento a partir da prática avaliativa que se caracteriza fundamentalmente como um processo de mobilização e gerenciamento do conhecimento técnico disponível, para verificar e explicar se uma mudança planejada ocorreu. Contudo, pensar no uso, na influencia de uma avaliação está diretamente relacionado com um pensar sobre a conotação pejorativa muitas vezes dada a avaliação devido a sua implicação política e de interferência nas relações de poder.
Um aspecto a ser destacado, que o Patton (1997) ressalta, é que a utilização não deve se reduzir à elaboração do relatório da avaliação e de sua divulgação. Sem dúvida que essas são estratégias importantes para a difusão, mas podem não ser legitimadas pelos potenciais usuários da avaliação e por isso não se transformar em objeto de uso. Não para reconhecer que os achados de uma avaliação podem ter implicações tanto para continuidade e revisão da intervenção, quanto para os diversos parceiros que interagem com a mesma.
Tomando como exemplo de tentativa de envolvimento dos usuários da avaliação, tem-se o Pacto pela Saúde que trouxe a unificação da pactuação de indicadores existentes, como no caso do pacto de indicadores da atenção básica que foi concebido como instrumento nacional de avaliação das ações e serviços de saúde referentes à atenção básica (Brasil, 2003). Apesar de uma pactuação envolver necessariamente diferentes atores, esta foi desenvolvida e regulamentada por portarias ministeriais, contando experiências e contribuições implementadas para facilitar o planejamento e a avaliação da situação de saúde, o SISPACTO e o sistema de informação que buscou dinamizar a realização do pacto e sua programação.  Pode ter havido mudança na dinâmica pela busca de consenso, mas não na burocratização e verticalização do processo.
As avaliações de políticas do SUS necessariamente devem buscar articular, além dos indicadores tradicionais das ações e dos serviços, individuais e coletivos, também os indicadores de desigualdades e iniquidades, de determinantes da saúde, de ações intersetoriais, culturais, ambientais e de participação social, entre outros, quantitativos e qualitativos, abertos às dimensões da ética, do conflito, da subjetividade e da micropolítica, que sirvam ao trabalho local e à aferição e mudança permanente das práticas (Schneider, 2009).
Contudo, a abertura para se trabalhar com a apreensão e a explicação de fenômenos relacionados ao feito e ao efeito, na avaliação operacional ou na pesquisa avaliativa, requer, do ponto de vista metodológico, a apropriação de métodos mistos (Greene, Benjamin e Goodyear, 2001; Samico, Figueiró e Frias, 2010), bem como de técnicas de consenso, como no caso do método Delphi.
Dessa forma, o acesso aos resultados do processo avaliativo, na visão dessa autora, constitui-se em poderoso instrumento de democratização da informação sobre objetivos, metas e resultados alcançados pelos órgãos de saúde, ao tornar públicas e transparentes as avaliações realizadas, favorecendo o empoderamento e a mobilização social, que se refletem em fomento da participação e do controle das ações e serviços prestados pelo SUS, na busca da equidade e da qualidade em saúde.
VI. Algumas considerações e desafios
Chegamos a esse ponto não para encerrar, colocar um ponto final ou mesmo concluir, mas apenas para lembrar de alguns pontos fundamentais para alimentar a continuidade do debate. Uma das primeiras considerações tem a ver com o consenso existente de que seja a avaliação operacional ou a pesquisa avaliativa é uma das práticas sociais que exige julgamento de valor ou mérito e, ao mesmo tempo, gera aprendizagens e informações que orientam as mudanças necessárias para as melhorias de uma política ou programa. Por sua vez, a avaliação tem um potencial de fomentar a reflexão com usuários, profissionais, gestores e outros atores envolvidos nas intervenções em saúde.
Não existe dúvida sobre a importância dos avanços por meio de diferentes experiências de avaliação de políticas públicas de saúde, tanto no âmbito dos serviços como da academia. Iniciativas no País como a formação em M&A em diferentes modalidades implementadas por distintas instituições de ensino, a criação de redes virtuais de compartilhamento de experiências e práticas nessa área, a ampliação da divulgação científica; um maior reconhecimento e valorização de abordagens mais apropriadas e consistentes de acordo com os interesses dos interessados pela avaliação.
No que tange aos desafios da prática da avaliação em saúde, ainda são notórias as incongruências e desajustes no cotidiano, pois identificamos algumas questões a serem tratadas, como: a incorporação de ações e de processos avaliativos nos diferentes níveis do SUS como algo descontextualizado; não priorização em responder questões avaliativas oriundas dos usuários, ou mesmo da sociedade civil organizada; necessidade de incorporar uma prática avaliativa mais dialógica e participativa; e o premente investimento na construção de uma cultura avaliativa condizente com os interesses que visem a melhoria do sistema único
de saúde.
Esse é um campo fértil que precisa ser cuidado e cultivado a partir de um diálogo permanente com outros saberes e práticas no contexto da saúde coletiva. A complexidade dos objetos da avaliação tem exigido um esforço de se repensar as abordagens e os métodos na produção de avaliações úteis com credibilidade e legitimidade.
Enfim, não dá para negar o quão fundamental é este debate no seio das políticas públicas, e mais particularmente, das políticas públicas de saúde. A avaliação de políticas e programas apesar de comprometida com a tomada de decisão, não é neutra ou desprovida de valores. Penso que é importante localizar a avaliação como uma prática de pesquisa que não é isenta e que se insere no debate político, sendo absolutamente fundamental reconhecer-se neste processo, para que não seja utilizada apenas como um argumento técnico e racional vinculada a idéia de mudanças pretendidas.
Daí a necessidade de entender melhor, a partir de experiências concretas de avaliações de política ou programas, o potencial reflexivo e de influencia desde o momento em que se decide avaliar uma intervenção, daí dizer que a avaliação por si só é também uma intervenção. Assim como é preciso compreender como no processo avaliativo se acumula aprendizagens, amplia-se a capacidade de reflexividade e são gerados conhecimentos úteis para futuras iniciativas que podem orientar melhor os gestores, executores, usuários
e todos os demais potenciais interessados pela intervenção e ou pela avaliação.

Notas de rodapé:
[1] Na lógica disciplinar da sociedade moderna o julgamento ainda é associado à ideia de punição, de castigo, de sanção. Tal percepção foi reforçada à medida que se reproduziu modelos avaliativos pouco participativos e não comprometidos
com o retorno dos resultados e trabalho junto aos atores envolvidos. Neste texto, propomos a incorporação da perspectiva de julgamento como a busca de um parâmetro, acordado entre as partes, para acompanhamento e desenvolvimento das
ações e práticas de saúde propostas no ámbito de serviços e programas. Com isso, visamos enfrentar o ‘pré-conceito’ atrelado à avaliação e que a associa à punição.
[2] Sobre a discussão de ciência ver o Capítulo 1 do livro. Vale apenas acrescentar que as três primeiras gerações traduzem o
discurso hegemônico da ciência vivido em sua época, a crítica à ciência moderna, realista e universal é algo que começa a se delimitar entre os anos 1970/1980 possibilitando inclusive neste âmbito uma releitura das contribuições possíveis para a produção de conhecimento.
[3] Para conhecimento e maior aprofundamentosobre os pilares da qualidade de Donabedian sugerimos ao leitor a obra do próprio autor intitulada The Seven Pillars of Quality que se encontra nas referenciais desse artigo.
Referências bibliográficas
ALMEIDA, VP. Avaliação de programas sociais: de mensuração de resultado para uma abordagem construtivista. Pesquisa e práticas
Psicossociais. Pesquisas e Práticas Psicossociais, v. 1, n. 2, São João del-Rei, dez. 2006.
ALMEIDA C, BÁSCOLO E. Use of research results in policy decision-making, formulation and implementation: a review of the literature. Cadernos de Saúde Pública, v. 22, supl , p. S7-S19 , 2006.
ARRETCHE, MTS. Tendências no estudo sobre avaliação. In: Rico EM (org) et ali. Avaliação de Políticas Sociais: uma questão em debate. São Paulo, Cortez, 1998. p.29-39.
BRASIL. Ministério da Saúde. Pacto de indicadores da atenção básica: instrumento de negociação qualificador do processo de gestão do SUS . Rev. Bras. Saúde Matern. Infant., Recife, 3 (2): 221-224, abr. / jun., 2003.
BRASIL. Ministério da Saúde. Oficina de Monitoramento e Avaliação com foco na Melhoria do Programa. Brasília: Ministério da Saúde. Secretaria de Vigilância de Saúde. Programa Nacional de DST/AIDS 2007.
CENTERS FOR DISEASE CONTROL AND PREVENTION (CDC). Framework for Program Evaluation in Public Health. MMWR, September 17, 48, 1999, p. 1-40.
CRUZ, MM; SANTOS, EM. Avaliação de saúde na atenção básica: perspectivas teóricas e desafios metodológicos. In: Gustavo Corrêa Matta; Ana Lúcia de Moura. (Org.). Políticas de saúde: a organização e a operacionalização do Sistema Único de Saúde. Rio de Janeiro: EPSJV/Fiocruz, 2007, p. 267-284.
CRUZ, MM; REIS, AC. Monitoramento e Avaliação como uma das funções gestoras do Sistema Único de Saúde (SUS). In: Godim, R.; Grabois, V.; Mendes, W (Orgs). Qualificação Gestores do SUS. Rio de Janeiro: EAD/ ENSP, 2011, 415-426, 2ª. ed.
CONTANDRIOPOULOS, AP. Avaliando a institucionalização da avaliação. Ciência &. Saúde Coletiva, Set 2006, vol.11, no.3, p.705-711.
CONTANDRIOPOULOS, AP; TROTTIER, L.H; CHAMPAGNE, F. Improving performance: a key for Quebec´s health and social services centres. Infoletter (Thema), v. 5, n. 2, 2008.
DONABEDIAN, A. The Seven Pillars of Quality. In Arch. Pathol. Lab. Med., 114:1115-1118, 1990.
FARIA, C A P. A política da avaliação de políticas públicas. Revista da Avaliação de Políticas Públicas. Vol.20, n.59, 2005. p.97-109.
FELISBERTO, E; FREESE, E; BEZERRA, LCA; ALVES, CKA; SAMICO, I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad. Saúde Pública, Rio de Janeiro, 26(6):1079-1095, 2010.
FIGUEIRÓ, AC; FRIAS, PG; NAVARRO, LM. Avaliação em saúde: conceitos básicos para a prática nas instituições. In: Samico, I; Felisberto, E; Figueiró, AC; Frias, PG (Orgs) Avaliaçãoem Saúde: Bases Conceituaise Operacionais. Rio de Janeiro: MedBook, 2010.
GUBA, EG, & LINCOLN, YS. The Coming of Age of Evaluation. In: Fourth Generation Evaluation. Newbury Park, CA: SAGE Publications, Inc. 1989, p. 21-49.
HARTZ, ZMA. Institucionalizar e Qualificar a Avaliação: outros desafios para a atenção básica. Ciência e Saúde Coletiva, 7:419-421. 2002.
PATTON, MQ. Utilization Focused Evaluation: The News Century Text. 3rd ed. Thousand Oaks,Califórnia:Sage Publications, 1997.
SCHENEIDER, A; PERALTA, JAG; BOTH, V; BRUTSCHER, V. Pacto pela Saúde: possibilidade ou realidade? Brasília: Passo Fundo IFIBE/CEAP, 2009.
SOUZA, C. Governos e sociedades locais em contextos de desigualdade e de descentralização. Ciência e Saúde Coletiva, 7(3): 431-441,
2002.
STUFFLEBEAM, DL. O modelo CIPP para avaliação. In: Instituto Fontes & Sanders Jr (Org) Introdução à Avaliação de Programas
Sociais. São Paulo: Instituto Fontes para o desenvolvimento social, 2004. p.58-87 (Coletânea de textos )
VIEIRA DA SILVA, L M. & Formigli, VLA. Conceitos, Abordagens e Estratégias para a Avaliação em Saúde. In: Hartz, ZMA. & Silva, LMV.(Orgs.) – Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas  e sistemas de saúde. Salvador: EDUFBA, Rio de Janeiro: FIOCRUZ, 2005.
Em dúvida como citar este texto? Utilize a referência abaixo
CRUZ, M. M. Avaliação de Políticas e Programas de saúde: contribuições para o debate. In MATTOS, R. A.; BAPTISTA, T. W. F. Caminhos para análise das políticas de saúde, 2011. p.181-199 . Online: disponível em www.ims.uerj.br/ccaps.
Você pode baixar a versão em pdf clicando no link abaixo. Na versão em pdf as páginas do texto estão numeradas. Ela também inclui todos os box vinculados a este capítulo. Para citar trechos deste texto, utilize a numeração desta versão em pdf.