A Metodologia A3

A avaliação em todo o seu processo apresenta uma necessidade dupla. Se por um lado, cada vez mais se utilizam os resultados da avaliação como indicadores de mudança, por outro lado, cada vez mais é preciso mudar para realizar os processos de avaliação. Tal manifestação revela a urgência de se estudar o momento do processo avaliativo, o que significa responder a questão — qual o ambiente de aplicação da avaliação? A Metodologia A3 é uma proposta modelo para a criação de um ambiente de condições, em que se aplique o processo avaliativo com mais possibilidades de sucesso, considerando conhecer o momento da avaliação na organização, o ambiente, a cultura instalada, os personagens envolvidos, bem como as necessidades, desejos de cada seção e setor da organização, além da identificação dos objetivos expressos da avaliação, o perfil dos avaliados e avaliadores.

O Modelo

Com vistas a responder esta questão, buscamos construir um modelo metodológico que dê conta de identificar o momento do processo avaliativo e o ambiente institucional vigente, de modo que, os resultados da avaliação realizada possam, efetivamente, diagnosticar situações e indicar as intervenções necessárias e possíveis de mudanças e aprimoramentos.

A avaliação tem na definição de seus objetivos a função de identificar como o processo de avaliação deverá acontecer, com a definição da abordagem, e como os resultados deverão ser apresentados, com a definição do caráter. Alguns objetivos podem ter uma única abordagem e permitir a apresentação de seus resultados em mais de um tipo de caráter. Uma abordagem estratégica para identificar a visibilidade de uma instituição ou programa pode apresentar resultados de caráter social e político. Elaborar uma proposta de avaliação de programa que atenda o ambiente e cultura da instituição, promova o conhecimento das ações e benefícios do programa e que tenha total participação dos envolvidos é tarefa complexa, perseguida por instituições e estudiosos no tema.

Princípios Básicos da A3

Princípio 1 — Ser uma proposta metodológica de orientação e apoio ao processo avaliativo.
Princípio 2 — Apresentar avaliação na dimensão de aprimoramento e transformação A Metodologia A3 objetiva contribuir para os resultados do processo de avaliação de quem deseja realizar avaliação sob o paradigma de transformar, crescer e aprimorar.

As Fases de Desenvolvimento da Metodologia A3 são:

Fase 1: Definição dos pressupostos do processo avaliativo.

- Para quê avaliar
- A quem cabe avaliar
- A quem é dirigida a avaliação
- Quais as vítimas da avaliação

Fase 2: Identificação dos fatores de relevância para o ambiente de aplicação da avaliação.

- Ambiente e momento
- Agente de transformação
- Critério de avaliação da produção
- Salvaguarda

Fase 3: Identificação dos fatores críticos para o ambiente de aplicação da avaliação

Os quatro fatores críticos para a construção do ambiente de aplicação da avaliação que, de acordo com o formato da avaliação, poderão ser desdobrados.

a) Planejamento e Estruturação

É um elemento estrutural dos mais importantes, considerando-se inclusive a participação de todos. Um plano de ação com a definição dos personagens envolvidos se caracteriza como fase crítica de todo o projeto e principalmente quanto à observância da adequação às realidades e necessidades da instituição. Importante conhecer como conscientizar a comunidade da nova abordagem avaliativa, qual o perfil do avaliador mais condizente com o corpo técnico a ser investigado, que instrumentos poderão ser mais efetivos e, finalmente, como orientar a divulgação dos resultados e promover as transformações sugeridas.

Devem constar do planejamento:

• A definição do plano de apresentação, divulgação dos resultados e acompanhamentos;
• Constitui-se base para esta fase o conhecimento da cultura instalada e o momento proposto para a avaliação.

b) Justificativa do processo avaliativo

A apresentação à comunidade e divulgação do plano de avaliação tem o caráter de justificativa. É de extrema importância sensibilizar a comunidade avaliada da visão de construção e transformação, sem traumas, castigos ou penalidades. Os objetivos de aprimorar e crescer devem ser exacerbados e disseminados. Todo o processo avaliativo deve ser apresentado. A comunidade institucional precisa conhecer as vantagens de se avaliar. A proposta deve ser adequada ao público a que se destina. A elaboração de documentos de promoção da proposta é necessária. Folders, cartazes e manuais com divulgação clara do projeto, objetivos, como e quando será realizado, bem como a projeção dos benefícios e aprimoramentos deverá ser preparada e distribuída.

c) Acompanhamento durante o processo

A equipe de avaliação ouve a comunidade nas suas considerações sobre o processo, analisa, e, caso considere procedente, correções no modelo proposto poderão ser aplicadas. A execução deve acontecer com integridade, confiabilidade e efetividade de todo o plano traçado. Desnecessário dizer da importância de haver possibilidade e flexibilidade de correções in loco. O objetivo de adequação deve ser preservado, porquanto o momento oportuno é premissa básica.

d) Consenso de equipe no julgamento de valor

Estudos e relatórios dizem respeito ao momento do julgamento. As informações são analisadas, sintetizadas, comparadas e julgadas. Serão construídas as projeções e recomendações de aprimoramentos e transformações, apresentadas à comunidade avaliada, que responderá a pergunta “se valeu a pena avaliar”. É a “avaliação da avaliação"

Fase 4: Identificação dos elementos operacionais e a construção dos indicadores para o ambiente de aplicação da avaliação

a) Da Avaliação

- Definição clara dos objetivos de avaliação.
- Definição do objeto de estudo.
- Definição clara da abordagem na avaliação do programa.
- Identificação do nível de consciência e participação dos envolvidos.
- Circunstânciasderealização.
- Identificação dos sujeitos da pesquisa.
- Definição do universo e amostra.

b) Do objeto em foco (projeto, programa, instituição)

- Consideração da hipótese de o objeto ser inovador, ainda que não cumpra inicialmente seus objetivos.
- A linha de tempo da existência do objeto e o período escolhido para a avaliação.
- Definição das competências do objeto.

c)Do Processo

- Tradução operacional dos impactos observados.?
- Estudos e teste de implantação dos meios de avaliação.
- Pré-difusão do processo.
- Dimensões da pesquisa, categorias de análise e construção de indicadores.