7.Anne Thibault (Spanish)- Quantitative Methods and Evaluation Practice
Transcription Whisper (large-v3), avec identification des locuteurs. À recouper avec la source d'origine.
Analyse automatique
Générée par IA — peut contenir des erreurs. Méthodologie
Chapitres
Répartition du ton (temps de parole politique)
Propositif 100 %
Affirmations vérifiables (citations exactes)
- 1:39InvitéFait
« Es una red de 143 profesores afiliados, todos son investigadores, sobre todo en la economía de desarrollo, y pertenecen a casi 50 universidades. »
- 1:55InvitéFait
« Nuestra misión es contribuir a la reducción de la pobreza, asegurando la calidad de vida de las personas, generando evidencia, diseminando estas pruebas sobre lo que funciona, sobre políticas públicas y los programas que funcionan. »
- 3:40InvitéChiffre
« Desde el 2009, J-PAL en América Latina ha organizado 40 cursos en capacitación, incluyendo cursos en línea, y hemos capacitado a 3.000 profesionales en evaluaciones en distintos países. »
- 6:54InvitéFait
« La pregunta aquí es, ¿cuál creen que es la variable representada en el eje Y? »
- 7:19InvitéFait
« Esto es algo que no esperaríamos, pero el punto es, pueden haber muchas correlaciones subvariables relacionadas con la misma variable, pero básicamente el simple hecho de establecer correlaciones no significa tener que entender por qué un cierto fenómeno sucede ni qué lo causa. »
- 8:24InvitéFait
« Ese es el impacto. Y esta situación, el resultado que sucedería aún con la ausencia del programa, es lo que llamamos que está contra los hechos, counterfactual. »
- 11:17InvitéFait
« A esto le llamamos el problema de contraste. Este nunca se va a poder observar. »
- 12:02InvitéFait
« La manera para poder imitar este contraste es con una asignación al azar del programa. Crear una comparación con un grupo que sea exactamente el mismo que el grupo que recibe el programa. »
- 20:56InvitéFait
« Tenemos diferentes programas uno de ellos es un diploma en la evaluación del impacto esto es con la universidad TUC la universidad católica en conjunto con J-PAL es un programa de 120 horas dura un año. »
- 28:25PrésentateurChiffre
« J-PAL LAC ha implementado nueve cursos de incubación y 40 proyectos en total. »
- 30:43PrésentateurFait
« MIT y la plataforma EDX ofrece una amplia gama de cursos en línea masivos cursos MOOCs son gratuitos y están encabezados por los principales profesores de MIT. »
Temps de parole
- Invité58 %
- Présentateur25 %
- ?16 %
≈ 91,9 interruptions / 10 min (chevauchements et interjections détectés).
Modèle mistral-small-latest · prompt v1 · les citations sont vérifiées mot pour mot dans le transcript ; le taux de réponse directe est calculé à partir des verdicts question par question. Aucun label idéologique n'est produit.
Le
retrasé. Tuvimos problèmes de conexion.
Mi
nom est Antibaud. Je suis la subdirectora de la oficina
du
Laboratoire de Accion en Pobreza.
Je
suis la gerente de ce laboratoire.
Je
suis le directeur de la capacité à l'évaluateur, à l
'évaluateur, à l
'évaluateur, pour pouvoir développer les habilités. Sobre el
impacto
de la evaluación en J-PAL, el Laboratoire de Accion contra la Pobreza, Abdul Latif.
Ahora, ¿qué
se necesita para ser un buen evaluador? Con esto me refiero a
que
nuestro enfoque sí
es
en el impacto de la evaluación, pero quisiera hablarles acerca de las habilidades necesarias
que
debe desarrollar un evaluador
y
cómo se pueden desarrollar.
Por
supuesto, hay otras organizaciones que les pueden ayudar a desarrollar estas habilidades, pero les voy a dar nuestra perspectiva. Nuevamente, hay otras formas de obtener o destacar estas
habilidades. Primero
que nada, aquellos que no estén familiarizados con J-PAL.
J
-PAL es el Laboratorio Abdul Latif Jamni
de
Accion contra la Pobreza. Es una red de 143 profesores afiliados, todos son investigadores,
sobre
todo en la economía de desarrollo, y pertenecen a casi 50 universidades.
Nuestra
misión es contribuir a la reducción de la pobreza, asegurando
la
calidad de vida de las personas, generando evidencia, diseminando estas pruebas sobre lo que funciona, sobre políticas públicas y los programas que funcionan.
Tenemos
seis oficinas en el mundo, yo represento aquella
de
América Latina.
¿Cómo
lo hacemos?
Lo
hacemos a través de tres áreas. La primera es la de evaluaciones. Nuestros investigadores afiliados realizan todas las evaluaciones, utilizan una sola metodología, las cuales
básicamente
se basan en
los
experimentos, los RCTs. Entonces, les brindamos apoyo para hacer estas evaluaciones.
También
tratamos de diseminar los resultados de estas evaluaciones, es decir, tenemos difusión en políticas, tenemos a los legisladores o los tomadores de decisiones para que difundan las ideas. Vemos cuál es el impacto de las evaluaciones, las pruebas dentro de los gobiernos, y tratamos de identificar oportunidades para ir mejorando y llevando a la práctica lo que funciona. Finalmente,
en
el desarrollo de las habilidades. Esta es una parte importantísima de la evaluación.
Espero
tener suficiente batería. Ya, disculpen, disculpen.
La
capacitación es una parte importante de nuestra misión. Desde el 2009,
J
-PAL en América Latina ha organizado 40 cursos en capacitación, incluyendo cursos en línea,
y
hemos capacitado a 3.000 profesionales en evaluaciones en distintos países. 11, en este caso. Ahora, para darles un poco de contexto sobre lo que se necesita para ser un buen evaluador, primero, hemos observado en los últimos 10 o 15 años un cambio en la economía de desarrollo,
la
cual ya es una investigación más práctica e empírica hacia unos métodos de evaluación con un impacto riguroso. Por parte del hábit, Danergy y Esther Duflo han sido los líderes en este tema.
Y
ha habido preocupaciones y cuestionamientos acerca de
¿por
qué
seguimos
basándonos en las políticas? ¿Por qué tenemos este alto nivel de pobreza?
En
sus libros, Poor Economics, expresan la preocupación de lo que llaman las tres I's, la ideología, la ignorancia y la inercia.
Primero
que nada, ¿cómo se hacen las políticas? ¿Se basa más en la intuición, en la experiencia, en las pruebas,
en
los intereses políticos? Paralelamente a este cambio de la economía,
hay
una comunidad internacional más amplia que se ha enfatizado en el desarrollo basado en evidencias.
La
evidencia empírica se ha utilizado junto con los datos y estos
juegan
un rol fundamental.
Debido
a este cambio,
lo
que se busca ahora son actividades de capacitación para que
estas
herramientas sean
fluidas,
para que se puedan crear sus propias habilidades en el sector.
Tenemos
también nuevas personas que entran al campo, que están conscientes de
el
estar familiarizados con estos conceptos. Y hay una oportunidad para aquellos que
utilizan
prueba rigurosa.
Además,
trabajamos con gobiernos, ONG, y necesitamos habilidades más sólidas para poder incorporar esta evidencia en el trabajo.
Para
darles un ejemplo sobre este cambio, podemos observar esta gráfica.
Esta
representa
una
serie de países de acuerdo al puntaje que tienen en la
prueba
de idioma PISA.
La
pregunta aquí es, ¿cuál creen que es la variable representada en el eje Y? Probablemente podrían pensar que es
el
ingreso per cápita o los años de educación,
la
educación de la madre,
pero
la realidad es que en esta correlación
podemos
ver una alta correlación
en
el consumo de helados per cápita. Esto es algo que no esperaríamos, pero el punto es,
pueden
haber muchas correlaciones subvariables relacionadas con la misma variable,
pero
básicamente el simple hecho de establecer correlaciones
no
significa tener que entender por qué un cierto fenómeno sucede
ni
qué lo causa.
Es
decir,
hay
un cambio, es una diferencia de entender la causa y no nada más las correlaciones.
Y
este ha sido un enfoque muy importante en el impacto de la evaluación.
Ahora, hablando
de impacto, ¿cómo lo definimos?
Esta
es una comparación entre el resultado después de que se introdujo el programa
con
el resultado en el mismo momento en el que el programa
no
se ha introducido. Ese es el impacto.
Y
esta situación, el resultado que sucedería aún con la ausencia del programa, es lo que llamamos
que
está contra los hechos, counterfactual.
Ahora,
¿cómo podemos medirlo?
¿Cómo
medir el impacto?
¿Y
cómo debemos, observando esto, imagínense que tenemos un programa, una campaña,
si
ven esta tendencia dirían,
quizás
es un impacto positivo, un contraste,
pero
el impacto debería ser la diferencia
entre
esta línea azul y la amarilla?
La
situación de contraste es ¿qué es lo que le pasaría a estas personas
que
participaron en la campaña si no hubieran recibido la campaña?
Es
decir, podríamos decir, aquí hay un impacto positivo.
Otra
situación podría suceder.
Podríamos
tener una situación en la cual
la
campaña del programa está haciendo un trabajo
que
no es lo suficientemente bueno. Ahora, quisiéramos ver si la gente no hubiera participado en el programa, si les hubiera ido mejor.
En
ese caso, seguimos observando
una
tendencia positiva, aunque aún así habría un impacto negativo.
Lo
mismo sucede
o
viceversa. podríamos tener una tendencia negativa, pero no significa que tengamos un impacto negativo, porque es un contraste. Lo que sucedería en esta situación, en la ausencia del programa, es que pudo haber sido peor. Así que podemos decir que aún así tenemos un impacto positivo.
Este
es un punto muy importante cuando hablamos acerca del impacto de la evaluación.
El
contraste representa el estado del mundo en el cual los participantes del mundo habrán experimentado en
la
ausencia del programa. es decir, que no hubieran participado en el programa.
En
este momento los participantes estamos hablando que no reciben ningún servicio, sino en un mundo en donde recibieran cualquier servicio,
aún
si no hubieran participado en el programa.
Esto
es muy importante porque el problema con esto es que
el
medir a la misma persona en dos diferentes etapas al mismo tiempo es imposible. En un
momento
en el tiempo no podemos observar la situación de una persona con o sin el programa.
A
esto le llamamos el problema de contraste. Este nunca se va a poder observar. ¿Cuál es la solución? Necesitamos construir esta situación de contraste. Esto es exactamente lo que tratamos de hacer con la evaluación de impacto. Para ello debemos elegir a un grupo de personas que no hayan participado en el programa
y
que sean los mismos en todas las variables, en todas las dimensiones
que
las personas que en realidad participaron en el programa.
Esta
es una decisión clave para un evaluador. El
cómo
vamos a seleccionar
a
estas personas
y
cómo se va a construir este contraste.
La
manera para poder imitar este contraste es con una asignación al azar del programa. Crear una comparación
con
un grupo que sea exactamente el
mismo
que el grupo que recibe el programa.
¿Por
qué les comento esto?
Lo
importante, la premisa, si quieres ser un buen evaluador,
tener
un impacto, debes ser capaz de construir una evaluación
que
brinde
una
situación válida, un grupo de personas válido
para
poder comparar a los participantes con ellos.
Este
es el punto inicial. Posteriormente va a depender
de
cuál es el propósito de la evaluación,
de
si se hará la evaluación de manera interna o externa y de quién es el público para este tipo de evaluación.
En
los siguientes minutos trataré de darles una idea general sobre cuáles son las habilidades necesarias en cada una de estas situaciones y cómo es que J-PAL puede ayudarles a desarrollar estas habilidades.
Como
mencioné, podríamos imaginar
el
propósito de la evaluación. ¿Por qué queremos evaluar?
Sería
que la situación
puede
encontrarse entre esta línea. es una manera muy simple de explicarlo.
Sé
que hay muchos más propósitos
para
una evaluación
de
impacto, pero
aquí
podrían ver una evaluación que
tuviera
un propósito de rendición de cuentas
o
para mejorar el aprendizaje.
En
el otro eje
podría
depender de si la evaluación se llevó a cabo de manera interna o externa.
Con
este marco podemos preguntarnos ¿Quién es el público para esta evaluación?
Primero, en
el cuadrante superior izquierdo
podríamos
hablar de transparencia y la eficiencia del gasto público.
Por
lo general tendríamos
grupos
como sociedad civil, donadores, programas de competencia o alternativos por los mismos resultados y por lo general serían externos puesto que les da una mayor credibilidad
y
no estaría sesgado. Después,
si
observaran el lado de la legislación, un momento,
en
el caso del legislador,
si
la evaluación es para un tomador de decisión de alto nivel en el gobierno, el resultado de la evaluación sería útil para tomar una decisión, para elegir la decisión final para la contribución del programa o para la resolución del problema y para tomar las decisiones sin importar en dónde
se
dirigieron los recursos o las acciones legales.
En
cuestiones sería una cuestión interna,
los
esfuerzos de evaluación serían internos, pero independientes de las agencias
o
de un ministerio en específico. Podría ser el ministerio o secretaría de desarrollo, de planeación, pero sería esta entidad.
Si
avanzamos al lado derecho hacia el aprendizaje, tendríamos una evaluación
más
relacionada con el liderazgo del programa.
Por
lo general, sería
un
evaluador interno, no investigador. El propósito de la evaluación sería más para un aprendizaje interno sobre cómo mejorar el programa.
Aquí
queremos generar información enfocándonos en el diseño o en volver a diseñar el programa para mejorar el desempeño y los resultados.
Si
el público es interno, probablemente los evaluadores externos
tendrían
una falta del entendimiento profundo sobre la mecánica del programa y podrían no tener credibilidad. Finalmente, en el cuadrante superior derecho tenemos una evaluación con un propósito de aprendizaje externo para responder las preguntas de desarrollo general en política pública. Por tanto, sería una evaluación que genere
textos
de política pública
para
tener conocimiento del mecanismo
de
la intervención si tenemos
los
efectos de la ingeniería.
y
serían también las bases de la innovación
hacia
la política pública.
La
idea es que queremos tratar de replicar
estos
programas efectivos.
Aquí
el público
es la
academia.
Esta
evaluación es llevada a cabo por investigadores y les interesa publicar los resultados y los hallazgos.
Por
tanto, serían generalmente externos. Cuando lo que quieren es encontrar la verdad y abrir esa caja de Pandora y responder las preguntas del por qué sobre cómo funciona o no el programa,
el
investigador tendrá que estar más cercano al programa
y
puede ser una mezcla de evaluación externa pero con
apoyo
interno desde la perspectiva de la implementación.
ahora
podemos pensar en
cuáles
son las habilidades necesarias para cada una de estas situaciones
y
qué ha tratado de hacer el laboratorio J-PAL para ayudar a los practicantes
a
desarrollarlas.
En
el caso de esta evaluación externa enfocada
en
tener el propósito de la
rendición
de cuentas probablemente serían consultores sobre el monitoreo de la evaluación
y
pensando en las habilidades de impacto tendrían que conocer la evaluación de proceso para ver si el programa se llevó a cabo bien tendrían que pensar
si
la tarea más básica del programa sí se llevó a cabo
si
la intervención está llegando al público meta si llega de manera adecuada y eficiente
y
si los beneficiados están satisfechos.
Esto
es importante porque probablemente la mayoría del tiempo ustedes no van a ser capaces de hacer una evaluación de impacto.
Cuando
lo hagan
esta
evaluación va a estar expuesta lo cual no es lo ideal cuando se trata de identificar una situación contrastante.
Por
tanto sería muy importante que ustedes
supieran
cuáles son los métodos de la evaluación de impacto
al
igual que qué está asociado a cada método. Algunas recomendaciones de J-PAL serían si no están seguros
que
van a obtener un resultado que no esté sesgado deberían entonces enfocarse en la prueba descriptiva que sea más útil para poder tomar decisiones.
Ahí
también tendrían que comunicar los resultados de una manera entendible para el público.
¿Qué
puede hacer J-PAL por ustedes para ayudarles?
Tenemos
diferentes programas uno de ellos
es
un diploma
en
la evaluación del impacto esto es con la universidad TUC
la
universidad católica
en
conjunto con J-PAL es un programa de 120 horas dura un año
y detalladamente
tienen tres clases
vemos
cuál es la prueba existente
los
diferentes sectores
vemos
la evidencia generada
por
supuesto tenemos también métodos de evaluación
de
impacto muy detallados y por supuesto las evaluaciones
de
impacto y su implementación queremos ver si podemos replicar este programa en otras universidades en México o en Brasil
para
que estén disponibles para evaluadores locales
si
observan el segundo cuadrante
hablando
de una evaluación que pudiera estar más enfocada en los tomadores de decisiones y los legisladores necesitarían también habilidades de procesamiento de evaluación pero algo que hay que tener en mente es que quizá lo que necesitan ahí
son
habilidades enfocadas en la generación de nuevas pruebas
aquí
quizá deberían enfocarse en
qué
es lo que usa la evidencia actual porque
el
número de evaluaciones en los últimos 20 años y el impacto que han tenido es riguroso
y
el generar nuevas
es
prácticamente imposible para evaluar a todos los programas sin embargo es una importante decisión la comunidad de evaluación debe
dar
algún consejo sobre
qué
tipo de evaluación se puede hacer
aquí
deberían evaluar la calidad de la evidencia
y
con esto ver
cómo
es que
las
pruebas de un contexto podrían utilizarse en su contexto local
y
cómo pueden utilizar este conocimiento existente para poder mejorar el diseño
en
ese caso diría que una recomendación
es
no nada más ver cómo
generar
pruebas
y
las evaluaciones de impacto sino también desarrollar las habilidades para usar las pruebas y crear las lecciones de políticas
estas
son diferentes maneras
en
las que J-PAL puede ayudar J-PAL trabaja con sectores tenemos presidentes de sectores
que
sintetizan los hallazgos clave para las evaluaciones aleatorias si van a la página de internet de J-PAL se van a encontrar con un banco de publicaciones y también con
ideas
y con artículos clave
de
las políticas les sugiero
que
busquen en esta base de datos de evidencia existente
también
desarrollamos estrategias de capacitación y talleres
para
para capacitar a los evaluadores y a los creadores de políticas para que
usen
la evidencia global para las decisiones políticas locales combinamos
una
usamos una metodología que combina la evidencia descriptiva y teórica y resulta en evaluaciones de impacto rigurosas tenemos que preguntarnos si la evidencia de los experimentos de evaluación de impacto se pueden replicar en nuevos
contextos entonces
una pregunta debe ser desglosada en varias preguntas por ejemplo ¿cuál es la teoría del cambio detrás de la intervención?
¿las
condiciones locales sirven a la teoría o cuán fuerte es la evidencia para un cambio de comportamiento de general o cuál es la evidencia que el proceso de implementación se va a llevar a cabo con éxito
esta
es una metodología interesante
si
piensan que su programa si va a poder ser evaluado con un método riguroso pero de todas maneras quieren tomar decisiones
con
base en evidencia existente les podemos ofrecer más información sobre este tipo de cursos si avanzamos
del
lado derecho
vemos
la evaluación que se realiza a nivel interno para la mejora de los programas
tenemos
aquí también distintas habilidades a desarrollarse la evaluación del proceso diferenciar entre un diseño de evaluación bueno y malo
en
muchos casos
cuando
la evaluación no necesariamente se va a implementar pero si ellos si los diseñadores la van a diseñar tiene alguien más de hacer la recolección de datos
en
este caso vale la pena que tenga las habilidades necesarias para analizar distintas propuestas para una evaluación de impacto rigurosa y para que entiendan
todo
lo que se relaciona con cada método
los
ensayos aleatorizados tal vez no sean la mejor opción en algunos casos
pero
la recomendación es que si quieren aprender
sobre
cómo implementar un experimento
lo
deben tratar de hacer en la práctica lo deben aprender en la práctica
lo
deben aprender haciéndolo y trabajando junto con investigadores
hay
un estudio en la región que ha funcionado bastante bien
a
estos cursos les llamamos cursos de incubadora o clínicas de evaluación de impacto trabajamos junto con los implementadores de proyectos J-PAL trabaja con los que implementan los proyectos para ayudarles a desarrollar habilidades prácticas aplicadas para que diseñen comisionen e implementen evaluaciones de impacto rigurosas trabajamos de la mano con ellos para desarrollar el diseño de su evaluación de impacto y tenemos también asistencia técnica para la incubación de este proyecto con el respaldo de las subsidiarias de J-PAL empezamos en el 2013
y
desde aquella fecha
J
-PAL LAC ha implementado nueve cursos de incubación y 40 proyectos en total
finalmente el
último conjunto de habilidades que se requieren
para
realizar la evaluación si queremos que se publique que se investigue más a profundidad
también
es necesario desarrollar el lenguaje de la investigación
la
mayoría tienen un título o un doctorado para desarrollar este lenguaje
de
igual manera se necesitan métodos de evaluación cuantitativos el diseño y la implementación de las evaluaciones así como trabajar
con
las organizaciones implementadoras
puede
ser que estas evaluaciones sean de difícil instrumentación si es que no tenemos un diálogo constante con la parte que va a implementar tal vez estamos tratando de responder una pregunta definida tanto por los creadores de la política como por los investigadores
¿qué
podemos hacer por ustedes? ofrecemos cursos avanzados
son
talleres
con
investigadores que ya conocen el tema les ofrecemos también una introducción al desarrollo de las metodologías análisis e implementación
de
diseños experimentales y casi experimentales en las ciencias sociales la próxima semana tenemos el curso en México en el ITAM
ahí
es donde se va a llevar a cabo uno de los cursos
y
también hay una estrategia importante
que
ya se mencionó en la presentación anterior la importancia de las plataformas en línea y de la capacitación digital J-PAL a través de su universidad sede en los Estados Unidos MIT y la plataforma EDX ofrece una amplia gama de cursos en línea masivos cursos MOOCs
son
gratuitos y
están
encabezados por los principales profesores de MIT están a disposición para todos los alumnos del mundo es una excelente herramienta si desean desarrollar estas habilidades a lo largo de su carrera
la
mayoría son gratuitos o tienen un costo sumamente bajo
quisiera
concluir y recordarles que se mantengan atentos porque el próximo lunes J-PAL va a hacer un anuncio importante se va a lanzar un nuevo programa de capacitación para los jóvenes profesionales que deseen desarrollar este nuevo conjunto de habilidades espero que haya muchas solicitudes no puedo decir más por el momento porque el lunes se va a hacer el lanzamiento y el anuncio oficial
pero
conéctense a la página de internet de J-PAL para que conozcan más sobre este programa de capacitación muchísimas gracias no sé si haya tiempo
Merci.