Nacional Monte de Piedad

Teniendo en cuenta la teoría de cambio del proceso de fortalecimiento impulsado por NMP, esta institución realizó una evaluación de los resultados obtenidos durante el periodo 2013-2017. El objetivo general de la evaluación fue: 

identificar los efectos (resultados) que tuvo el proceso de fortalecimiento impulsado por NMP en las instituciones que fueron sujeto del mismo, detectar áreas de oportunidad y lecciones aprendidas sobre la gestión del proceso de ejecución del programa (Cívicus, Consultores en Gestión Pública y Social, S. C., 2018, p.6). 

La evaluación tuvo un componente cualitativo y otro cuantitativo. Para la evaluación cuantitativa participaron 117 OSC, mientras que en el componente cualitativo participaron 36. 

Resultados del componente cualitativo 

La evaluación buscó valorar los efectos del programa y explicar estos efectos. El éxito del programa se evaluó con 3 elementos: 

1. Contar con los documentos útiles para la organización y tener mayor claridad en la misión y modelo de atención.
2. Uso de los documentos para la transformación de la organización. 
3. Apropiación de los productos y de la lógica del fortalecimiento. 

Para cada uno de los elementos, se contó con evidencias que permitieron mostrar los avances de las OSC. Por ejemplo, en relación con el primer elemento, antes del programa 8% de las OSC contaban con documentos relevantes. Al final del proceso, el porcentaje incrementó a 95%. 

En relación con el uso de los documentos, se encontraron varios ejemplos de su utilización, tanto para la transformación, como para incluir nuevas estrategias de intervención, reestructurar la organización con el fin de adaptarse a los nuevos modelos de intervención, el empleo de herramientas para hacer seguimiento de la gestión y sistematizar los resultados de su trabajo o adaptar los procesos de intervención a los nuevos modelos de atención. 

En relación con la apropiación de los productos, se encontró que, en varios casos, se realizó una actualización periódica de los mismos, se creó en la organización un área especializada en desarrollo institucional o se asignaron recursos al fortalecimiento distintos a los del NMP. 

Un hallazgo de gran importancia fue encontrar que para el éxito del programa “existen distintas configuraciones de factores que pueden llevar al mismo resultado” y que hay “factores que facilitaron u obstaculizaron el proceso” relacionados, tanto con el programa mismo, como con las características de las OSC (Cívicus, 2018, p. 8-9). 

Entre los principales factores que facilitaron el proceso, se encontraron los siguientes: 

• La claridad del consultor para comunicar metodologías. 
• La presencia de un enfoque útil y retador. 
• El involucramiento del equipo directivo de la OSC en el proceso de fortalecimiento. 
• El interés y compromiso de la OSC. 

Entre los principales factores que obstaculizaron el proceso se encontraron: 

• Las resistencias del personal de la OSC al cambio. 
• Las insatisfacciones con el consultor. 
• La restricción de tiempo del personal de la OSC para participar. 
• La rotación de personal de la OSC. 

Resultados del componente cuantitativo 

A través del componente cuantitativo se buscó evaluar: 

• Los alcances a corto y mediano plazo del proceso de fortalecimiento. 
• La relación entre diversas variables asociadas al fortalecimiento (consultores, ejecutivos de inversión social, condiciones institucionales) y el cumplimiento de los objetivos del proceso. 
• Los cambios atribuibles al proceso de fortalecimiento y no a las dinámicas institucionales de los participantes. 
• Los perfiles de organizaciones más idóneas con potencial para iniciar procesos de este tipo. 

En relación con la valoración del programa, la mayoría de los participantes consideró que fue una experiencia positiva: 66% la calificó de muy buena, 31% como buena y 3% como regular. La relación con NMP también fue altamente valorada: 88% la calificó de muy buena, 14% como buena y 2% como regular. 

Para la comparación entre el estado inicial y el final se construyó un índice de herramientas de gestión para captar la presencia y uso de herramientas en 4 ámbitos de la vida organizacional: 

• Diagnóstico: árbol de problemas, mapeo de actores, información de programas complementarios. 
• Planeación: matriz de indicadores, teoría de cambio, plan estratégico, plan operativo. 
• Implementación: identificación de bienes y servicios otorgados, padrones de beneficiarios, manual de procedimientos, definición de áreas de operación, encargados del fortalecimiento, encargado de recaudación de fondos. 
• Monitoreo y evaluación: instrumentos de recolección de información, evaluaciones útiles, herramientas de procesamiento de datos, indicadores de gestión y resultados, metodologías de evaluación. 

La comparación entre los valores de estos índices al inicio y al final del proceso muestra que hubo avances importantes. Los índices tienen una escala de 0 a 100 y sus resultados son los mostrados en la Tabla 17:

Tabla 17: Comparación de valores iniciales y finales según cada índice

////Foto de la tabla en página 295///

Como se puede ver por los resultados, los mayores avances se dieron en planeación y diagnóstico y el menor avance, por el alto puntaje inicial, en implementación. 

Junto a los índices y sus comparaciones se construyó un modelo econométrico cuyas variables fueron: 

• Variables dependientes 

• Valor del nivel de intervención: grado de pertinencia, eficacia, eficiencia, evaluabilidad y sostenibilidad del conjunto de programas, proyectos y servicios de una OSC. 

Este valor es determinado por NMP mediante una evaluación y los resultados se expresan en una escala numérica que va del 1 al 7, siendo los valores más altos una intervención con mayor alineación al Enfoque Basado en Derechos Humanos y Gestión para Resultados de Desarrollo. 

• Ingresos 

Porcentaje de gastos administrativos en relación con ingresos 

• Variables independientes 

• Macro: Índice de Desarrollo Humano municipal 
• Relacionadas con la intervención: monto recibido por cada OSC por parte del NMP; consultor a cargo de cada OSC (para diagnóstico e implementación); continuidad de los consultores en el diagnóstico y en la implementación; ejecutivo del NMP a cargo de la OSC y continuidad de los ejecutivos en la atención a cada OSC desde el inicio del proceso. 
• Relacionadas con la OSC: tamaño, proporción de empleados con respecto al total de colaboradores y valor de cada OSC en la valoración diagnóstica inicial. 

Los resultados principales del modelo econométrico muestran que el Programa de fortalecimiento tuvo una relación estadísticamente significativa: 

en otras palabras, hay una relación positiva entre el Programa y el Valor del Nivel de Intervención, una relación también positiva entre el Programa y los ingresos obtenidos por las OSC y una relación negativa entre el Programa y el porcentaje de gastos administrativos, en relación con los ingresos” (Cívicus, 2018, p. 17). 

En cuanto a los factores relacionados con la intervención, “la continuidad del mismo ejecutivo del NMP, a cargo de cada OSC, tiene una relación positiva con el cumplimiento de los objetivos del Programa” (Cívicus, 2018, p.17). Y en relación con los factores relacionados con las OSC: 

El tamaño de la OSC también está relacionado con el Valor del Nivel de Intervención y los ingresos. A mayor tamaño de la OSC, mejores resultados. Por último, la proporción de empleados, con respecto al total de colaboradores, tiene una relación negativa con los resultados. A mayor proporción de empleados, mayor porcentaje de gastos administrativos (Cívicus, 2018, p. 17-18). 

El perfil de OSC con mayores probabilidades para lograr una valoración alta al final del proceso reúne las siguientes características: 

• Está ubicada en un municipio con un Índice de Desarrollo Humano alto 
• Tiene una calificación alta en la medición inicial 
• Es mediana o grande 
• Tiene una proporción de empleados menor con respecto al total de colaboradores