AVALIAÇÃO DE PROGRAMAS: A METODOLOGIA DA CONTADURÍA MAYOR DE HACIENDA DE MÉXICO

APRESENTAÇÃO

Este texto é parte da quinta etapa do Projeto de Capacitação em Avaliação de Programas Públicos. O seu objetivo é sintetizar o curso "Evaluación de Programas", promovido, de 30/09 a 03/10/96, pelo Tribunal de Cuentas de la República Oriental del Uruguay, como parte do programa de capacitação da Organização Latino-americana e do Caribe de Entidades Fiscalizadoras Superiores (OLACEFS).

Esse evento contou com a participação dos AFCE-CE Alexandre Amorim Rocha (SEPLOM) e Carlos Alberto Sampaio de Freitas (Gabinete do Ministro Humberto Souto). Dessa forma, o TCU deu prosseguimento a sua estratégia de incorporar as experiências e conhecimentos já existentes no campo em questão.

O curso tratou da metodologia da Contaduría Mayor de Hacienda de México (CMH) para avaliar programas públicos e foi ministrado pelos Srs. José Alejandro Montes da Oca Arizmendi e José Luis Chávez Delgado, chefes, respectivamente, da Subdirección de Evaluación del Sector Medio Ambiente, Recursos Naturales y Pesca e da Dirección de Evaluación de los Sectores de Servicios Sociales, Urbanos y de Apoyo, subunidades da Dirección General de Evaluación de Programas. O material didático preparado pelos instrutores norteará a presente síntese.

INTRODUÇÃO

No entendimento da CMH, "... el control gubernamental ha venido adquiriendo cada vez mayor relevancia, trascendiendo su función tradicional de verificar la regularidad de la gestión financiera y administrativa de las dependencias y entidades que integran la APF [Administración Pública Federal], para encargarse en la actualidad de evaluar si las operaciones de distintas naturaleza que lleva a cabo esas instituciones, en el ámbito de sus respectivas atribuciones, se efectuaron atendiendo a criterios de economía, eficacia y eficiencia." (p. 7).

Desde 1983, a função principal da EFS do México tem sido examinar a Cuenta Pública del Gobierno Federal, a qual discorre sobre as ações do governo em cada exercício, sendo encaminhada ao Congresso até o mês de junho do ano subseqüente. Esse exame envolve as seguintes atividades: análise dos resultados da gestão financeira, apurando-se o cumprimento dos objetivos e metas dos programas públicos; verificação da obediência às leis e normas aplicáveis; realização de auditorias financeiras, programáticas, de sistemas, de legalidade e de obras públicas; e comunicação das conclusões à Câmara dos Deputados, elaborando-se os relatórios Informe Prévio e Informe de Resultados.

O primeiro relatório é enviado à Câmara até o dia 10 do mês de novembro do ano de recebimento da Cuenta Pública, contemplando avaliações de natureza preliminar, feitas a partir dos documentos disponíveis. O segundo, por sua vez, é enviado até o dia 10 do mês de setembro do ano posterior ao citado recebimento, compreendendo avaliações baseadas em dados adicionais, obtidos por meio de questionários ou de verificações in loco.

ASPECTOS OPERACIONAIS

O Informe Prévio possui a seguinte estrutura:

• orientação setorial da despesa;
• principais resultados da ação setorial;
• avaliação programática;
• conclusões e recomendações.

O penúltimo tópico, em especial, descreve como os programas (ou subprogramas) foram selecionados, como os dados básicos foram obtidos e como as avaliações de natureza preliminar foram conduzidas. No caso da seleção, observam-se os critérios a seguir indicados:

• vinculação do programa às prioridades nacionais e setoriais;
• importância do programa na alocação dos recursos do setor correspondente;
• magnitude das variações existentes entre as metas previstas e atingidas, e entre os gastos orçados e realizados.

• congruência: medida da vinculação existente entre os objetivos e metas programáticos e as prioridades nacionais e setoriais;
• eficácia: medida do grau de atingimento das metas operacionais, de manutenção ou de ampliação da capacidade física;
• eficiência: medida do quão racionalmente os recursos orçamentários são aplicados;
• suficiência: medida da adequação das ações programáticas aos problemas nacionais ou setoriais que pretendem solucionar.

Uma vez obtida a aprovação do Contador Mayor de Hacienda, cada unidade da CMH elabora o seu Programa de Trabalho Anual, iniciando as atividades que culminarão no Informe de Resultados. As atividades em questão são agrupadas nas etapas a seguir definidas:

• planejamento das auditorias: preparação, para cada programa selecionado, de um Plano de Auditoria, com dados sobre os objetivos, os procedimentos e o cronograma de cada trabalho;
• execução das auditorias: realização de visitas técnicas, comunicadas previamente, para verificar se os registros condizem com os dados constantes da Cuenta Pública, se as metas físicas foram efetivamente atingidas e se as leis e normas aplicáveis foram obedecidas;
• elaboração do relatório final: preparação, com base nos papéis de trabalho das auditorias e após sucessivas revisões , do relatório que será encaminhado à Câmara dos Deputados.

• marco do planejamento da ação setorial e principais resultados: analisa a congruência entre os objetivos setoriais anuais e os objetivos de médio prazo fixados na lei orçamentária, e compara o desempenho observado com as prioridades pré-estabelecidas e com os resultados obtidos no ano anterior;
• avaliação dos programas: comenta a seleção dos programas, o alcance da avaliação e o refinamento, à luz dos novos dados, dos indicadores citados acima;
• conclusões e recomendações: sintetiza os juízos que foram formulados em decorrência dos novos dados e que nortearão as atividades de acompanhamento.

Do ponto de vista metodológico, a EFS do México esclarece que "... la evaluación de programas a la aquí se hace referencia es aquella que se realiza posteriormente a la ejecución de los programas y por una entidad independiente a la del poder ejecutivo." (p. 63). Ademais, trata-se de um elemento essencial do próprio processo de planejamento, permitindo ajustes à luz das incongruências, deficiências e omissões observadas. Em síntese, o esquema metodológico adotado estipula que as seguintes perguntas devem ser respondidas:

• O programa está dirigido para qual problema nacional?
• Qual parte do problema pretende-se resolver setorialmente?
• Os objetivos fixados foram atingidos plenamente?
• Qual é o custo associado ao pleno atingimento dos objetivos?

• Eficácia:

Onde: E = nível de eficácia;  MA = meta alcançada; MO = meta prevista.

Conclusões:  se E = 1, as metas previstas foram atingidas integralmente;    se E = 1, as metas atingidas superaram o previsto;   se E < 1, as metas atingidas ficaram aquém do previsto.

• Eficiência:

Onde: GUM1 = gasto previsto por unidade de meta; RO = dotação prevista; MO = meta prevista.		Onde: GUM2 = gasto efetivo por unidade de meta; RE = dotação executada; MA = meta alcançada.
Onde: EF = nível de eficiência.	Conclusões: se EF = 1, atuação com eficiência idêntica à prevista;  se EF = 1, atuação com eficiência superior à prevista;  se EF < 1, atuação com eficiência inferior à prevista

• Suficiência:

Onde: S1,i = nível de suficiência previsto no setor i; MRO = meta global prevista;  MSOi = meta prevista no setor i.	Onde: S2,i = nível de suficiência atingido no setor i; MRA = meta global atingida;  MSAi = meta atingida no setor i.
Conclusões:  se S1,i = S2,i, o impacto do programa, em termos sócio-econômico, é idêntico ao previsto;   se S1,i < S2,i, o impacto do programa é superior ao previsto;  se S1,i S2,i, o impacto do programa é inferior ao previsto.

CONCLUSÃO

Evidentemente, o êxito desse esforço de mensuração está condicionado pela disponibilidade de metas precisas e de registros detalhados sobre a estruturação, a condução e os resultados de cada programa. Não por coincidência, essa tem sido a tônica do processo de modernização da administração pública do México nas últimas décadas.

Dadas essas pré-condições, é forçoso concluir que a metodologia da CMH mostra-se bastante simples, não se confundindo com os modelos clássicos de avaliação de programas - mais complexos e estreitamente associados às ciências sociais. Trata-se, isto sim, da incorporação aos procedimentos usuais de auditoria de uma maior preocupação com os resultados obtidos pelos órgãos e entidades governamentais. Dessa forma, examina-se a consistência interna da lei orçamentária e dos instrumentos de planejamento do governo federal, e comparam-se os resultados previstos com os obtidos . Ademais, esses últimos são confrontados com os dados coletados nas auditorias.

APÊNDICE: O CASO BRASILEIRO

A metodologia da CMH, embora simples, não era aplicável ao Brasil até recentemente, pois havia um descompasso entre as etapas de programação e de avaliação do Orçamento Geral da União.

Efetivamente, as Leis de Diretrizes Orçamentárias (LDO) aprovadas para cada exercício previam, na programação, a fixação de metas para subprojetos e subatividades. A LDO para 1993 (Lei n. 8.447, de 21/07/92), por exemplo, fixava o seguinte:

Convém notar que o Sistema Integrado de Administração Financeira (SIAFI) proporciona facilidades que possibilitam, à luz das metas previstas e atingidas, o cálculo automático dos indicadores de eficácia, eficiência e suficiência para quase toda a administração pública.

Em outras palavras, o TCU, a Secretaria Federal de Controle e demais órgãos de controle da administração direta e indireta poderão funcionar como instâncias retroalimentadoras dos sistemas de planejamento dos Poderes Executivo, Judiciário e Legislativo.

As novas determinações das LDO e o uso da informática no controle da gestão orçamentária e financeira da União criaram condições excelentes para que as técnicas desenvolvidas pela CMH sejam adotadas pelo TCU, a um custo humano e financeiro baixíssimo. Em síntese, um pequeno investimento em softwares de análise dos dados contidos no SIAFI gerará, em grande quantidade, informações valiosíssimas para os trabalhos de planejamento de auditorias e de apreciação das Contas do Presidente da República.