Comenté el pasado 15 de abril que un amigo experto en inteligencia artificial me propuso utilizar esta herramienta para encontrar los mejores perfiles para la corte suprema.

Mi amigo cumplió y armó un equipo de trabajo encabezado por el destacado especialista en IA, Sebastián Tonda —@sebastiantonda—, cofundador de la empresa Genia y autor del libro Irremplazables: cómo sobrevivir a la inteligencia artificial (Editorial Elefanta, 2023).

Tonda realizó un detallado trabajo basado en la IA para encontrar los mejores perfiles entre las candidaturas a la SCJN. Hoy explicaré su metodología, que es compleja. El fin de semana —sábado y domingo próximos— daré a conocer los resultados.

La metodología

Para garantizar una evaluación objetiva, transparente y técnicamente sólida de los y las aspirantes a la Suprema Corte de Justicia de la Nación, se diseñó y aplicó una metodología rigurosa. Esta incluyó (i) la rúbrica de evaluación utilizada, (ii) la forma en que se aplicó, (iii) los procedimientos para resolver empates entre perfiles similares, (iv) la integración de los análisis cualitativo y cuantitativo y (v) el tratamiento especial dado a casos polémicos.

Rúbrica de evaluación: criterios y escalas

Se desarrolló una rúbrica de evaluación integral compuesta por trece criterios clave, cada uno enfocado en un aspecto relevante del perfil de los candidatos y las candidatas. Dichos criterios, junto con sus alcances, se describen a continuación:

• 1. Prestigio de la universidad en que se cursó la licenciatura: Valora la calidad académica de la institución donde los y las aspirantes estudiaron derecho. Universidades de élite nacional o internacional obtienen la puntuación más alta.
• 2. Desempeño académico: Considera el promedio general de calificaciones. En caso de no disponer del dato, este subcriterio no suma puntos pero tampoco penaliza, registrándose como no disponible.
• 3. Máximo grado académico y prestigio de la institución: Evalúa el nivel educativo más alto alcanzado (maestría, doctorado, posdoctorado) y la reputación de la institución otorgante.
• 4. Publicaciones de libros: Verifica si el candidato o la candidata ha publicado libros, especialmente en derecho constitucional u otras materias relevantes al rol de ministro o ministra.
• 5. Artículos en revistas indexadas especializadas: Mide la producción académica en términos de artículos publicados en revistas arbitradas o indexadas de prestigio.
• 6. Artículos de opinión en prensa: Toma en cuenta las contribuciones en medios de comunicación (columnas, artículos de opinión) sobre temas jurídicos. Aunque son publicaciones no académicas, su existencia refleja voluntad de incidencia pública y capacidad de comunicar ideas legales a la sociedad.
• 7. Años de experiencia profesional: Contabiliza la trayectoria laboral total en el ámbito jurídico. Mayor cantidad de años de servicio supone mayor exposición a escenarios legales variados.
• 8. Experiencia jurisdiccional previa: Verifica si el candidato o la candidata ha ejercido funciones en la judicatura. A diferencia del criterio general de años de experiencia, este es específico y de naturaleza binaria: si el aspirante cuenta con experiencia como juzgador, se marca como cumple; de lo contrario, no cumple. Esta dimensión no se califica en una escala sino que sirve como filtro cualitativo importante en el análisis (la ausencia de experiencia jurisdiccional se consignó como área de mejora).
• 9. Capacidad de expresión oral: Evalúa la habilidad para comunicarse de forma clara, estructurada y convincente. Se consideraron entrevistas, comparecencias en el Senado, exposiciones en foros o clases magistrales. Articular argumentos jurídicos complejos de forma comprensible es una destreza valiosa para quien deliberará en sesiones públicas y deberá explicar votos particulares.
• 10. Independencia: Este criterio mide la integridad personal y la autonomía del candidato o de la candidata respecto a influencias indebidas. Se examinaron antecedentes de afiliación política, relaciones cercanas con actores de poder, denuncias de corrupción, etcétera.
• 11. Compromiso con derechos humanos y constitucionales: Analiza la postura pública y actuaciones del candidato en materia de derechos humanos y defensa del orden constitucional. Se revisaron sus fallos (en caso de jueces o juezas), publicaciones o pronunciamientos para ver si consistentemente protegen principios como la igualdad, la libertad de expresión, derechos de minorías, etcétera.
• 12. Experiencia en litigio estratégico: Considera si el aspirante ha estado involucrado en casos de alto impacto o litigios estratégicos relevantes.
• 13. Experiencia docente en derecho constitucional: Toma en cuenta la actividad como profesor o profesora en derecho, especialmente constitucional, administrativo o derechos humanos. Esto indica un dominio suficiente para transmitir conocimientos y una actualización constante.

Cada criterio del 1 al 7 y 9, 10, 11, 12, 13 fue calificado numéricamente en una escala de 1 a 5 (siendo 5 excelente y 1 muy deficiente), con la posibilidad de asignar N/A (no aplica o no disponible) en casos justificados (por ejemplo, cuando no había datos del promedio académico). El criterio 8 (experiencia jurisdiccional) se manejó de forma cualitativa binaria como se explicó. La rúbrica fue diseñada para cubrir un espectro completo de aptitudes: académicas, profesionales, éticas y de compromiso social.

Aplicación práctica de la rúbrica

El proceso de aplicación de la rúbrica se llevó a cabo en etapas estructuradas, asegurando consistencia y objetividad:

• a. Recolección de información: En primer lugar, se compiló información detallada de cada candidatura a partir de múltiples fuentes fiables. Esto incluyó los currículums oficiales disponibles, expedientes profesionales, sitios web oficiales, bases de datos académicas, así como notas de prensa y reportes de organizaciones relevantes. Se prestó especial atención a obtener datos verificables para cada criterio de la rúbrica: desde certificaciones de estudios hasta registros de publicaciones, sentencias destacadas o afiliaciones públicas. Cada pieza de información recopilada se guardó con su referencia de fuente para permitir auditoría y transparencia.
• b. Evaluación individual por criterio: Un equipo evaluador, conformado por consultores jurídicos senior, analizó candidatura por candidatura contra la rúbrica. Para cada uno de los criterios, se revisó la evidencia obtenida y se asignó una puntuación objetiva según las definiciones de la escala. Este proceso se realizó de manera sistemática para todos los perfiles, evitando comparaciones directas en esta fase inicial y concentrándose en la valoración absoluta de cada perfil conforme al estándar de la rúbrica.
• c. Control de calidad y consistencia: Para asegurar la consistencia en la evaluación se implementaron medidas de control de calidad: los evaluadores realizaron calibraciones previas discutiendo ejemplos (de candidatos ficticios o históricos) para alinear el entendimiento de las escalas. Durante la aplicación, se hizo una revisión cruzada: al menos dos evaluadores revisaron independientemente cada perfil y luego compararon resultados, discutiendo cualquier discrepancia de puntuación. Las diferencias se resolvieron revisitando la evidencia y alcanzando un consenso fundamentado. Este proceso garantizó que los criterios se aplicaran uniformemente y minimizó sesgos individuales.
• d. Ponderación de criterios: Si bien inicialmente todos los criterios cuantitativos suman de forma aritmética para generar un puntaje base, el equipo decidió introducir una ponderación cualitativa en la valoración final, enfatizando los rubros críticos. En términos simples, la evaluación práctica consideró las puntuaciones numéricas como una guía pero no como la decisión final automática; se ponderaron con juicio experto para reflejar la importancia variable de ciertos criterios clave.
• e. Consolidación de resultados: Tras calificar todos los criterios, se generó para cada candidatura un perfil cuantitativo y cualitativo completo. En lo cuantitativo, se obtuvo un puntaje total aproximado (sumatoria de criterios aplicables) y se identificó en qué cuartil se ubicaba (top, medio-alto, medio-bajo, bajo). En lo cualitativo, se empezó a bosquejar un resumen narrativo (ver siguiente sección) para integrar los hallazgos. Cabe destacar que los resultados preliminares fueron nuevamente revisados por el equipo evaluador para detectar posibles inconsistencias o la necesidad de ajustar alguna calificación a la luz de la comparación general (por ejemplo, si dos candidatos tenían perfiles casi idénticos pero con una diferencia inexplicable en cierto criterio, se reexaminó ese criterio para ambos).

En síntesis, la rúbrica se aplicó de manera metódica, apoyada en evidencia y con controles de consistencia. El resultado fue una matriz de evaluación detallada por candidatura, que sirvió de base para el análisis integral. La metodología aseguró que a cada aspirante se le midiera con la misma vara en los aspectos cuantificables, a la par que permitió un espacio de valoración experta para dimensiones no estrictamente numéricas.

Integración del análisis cualitativo y crítico

Más allá de las puntuaciones, la metodología incorporó una fase de análisis cualitativo integral por cada candidato. Este paso fue crucial para complementar la rúbrica, aportando contexto y juicio crítico a la evaluación, especialmente útil para distinguir matices entre perfiles con puntuaciones similares.

• Síntesis narrativa: Para cada aspirante se elaboró una síntesis descriptiva de su perfil. En un párrafo resumido se consignaron los puntos más sobresalientes de su trayectoria (por ejemplo, “jurista con dos décadas en tribunales federales y doctorado en derecho constitucional”), seguido de una apreciación general de su idoneidad. Esta síntesis buscó retratar de manera comprensible la “historia” de cada candidatura.
• Fortalezas clave y aspectos de preocupación: Adicionalmente, se listaron puntualmente las fortalezas principales de cada perfil y, en contraparte, los aspectos que generan preocupación o dudas. Se enumeraron de 3 a 5 puntos en cada categoría por candidatura. Por ejemplo, como fortalezas se anotaron cosas como “sólida formación académica en derechos humanos”, “amplia experiencia jurisdiccional”, “reconocida integridad y ética profesional”, según correspondiera a cada caso. En aspectos preocupantes se incluyeron notas como “no tiene experiencia como juez”, “producción académica limitada”, “vínculos pasados con partido político X”, entre otros. Esta separación explícita ayudó a tener una visión balanceada de cada aspirante, identificando dónde brillaba y dónde tendría áreas a reforzar o riesgos potenciales.
• Revisión cruzada cualitativa: Así como en la etapa cuantitativa hubo control de calidad, las narrativas cualitativas fueron revisadas por el equipo evaluador en su conjunto. En esencia, se quiso que el análisis cualitativo reflejara fielmente la evidencia y puntuaciones, sumando la reflexión experta, pero sin introducir subjetividad excesiva.
• Enlace entre lo cuantitativo y lo cualitativo: La metodología logró integrar ambos planos asignando la función apropiada a cada uno. Las cifras de la rúbrica proporcionaron una base estandarizada y objetiva; el análisis cualitativo aportó contexto y juicio profesional. La integración cualitativa aseguró un enfoque holístico y transparente: cada candidatura quedó descrita en sus méritos y deméritos con honestidad y precisión, sin reducir el juicio a un mero número.

Resolución de empates y perfiles similares

Dado el elevado número de aspirantes y la naturaleza competitiva del proceso, era esperable encontrar casos de desempeños muy similares. La metodología contempló pasos para resolver empates técnicos:

• Comparación fina de criterios clave: Cuando dos o más candidatos obtuvieron puntuaciones globales cercanas, se procedió a realizar una comparación criterio por criterio entre ellos. En estas comparativas se prestó especial atención a los criterios diferenciadores más importantes para el cargo. Tales factores se usaron como elemento de desempate.
• Análisis de contexto y trayectoria personal: En casos de perfiles similares, también se examinó el contexto particular de cada uno. Esto significa que se valoró la trayectoria de forma narrativa: ¿qué tipo de impacto ha tenido cada quien en su ámbito? ¿Quién ha mostrado liderazgo o iniciativas destacables que no necesariamente reflejan en un número de la rúbrica?
• Balance de perfiles en conjunto: Otro enfoque usado para desempate fue pensar en la composición global ideal. Si bien la evaluación individual no selecciona directamente a los futuros ministros o ministras, el equipo evaluador consideró valioso identificar qué candidatura aportaría algo único o necesario en comparación con sus pares. En tal sentido, si dos candidaturas eran equivalentes en mérito, se reflexionó: ¿alguna aporta mayor diversidad (sea de género, origen geográfico, experiencia diferente) que pudiera ser beneficiosa para el pleno de la SCJN?
• La metodología pudo así lidiar con equidad ante la situación de múltiples candidatos bien calificados. Se logró discriminar finezas entre ellos, reduciendo la posibilidad de un empate absoluto. De esta forma, el análisis final ofrece priorizaciones fundamentadas, incluso si oficialmente todos cumplen requisitos, dando insumos sobre quiénes realmente despuntan tras un escrutinio minucioso.

Tratamiento de casos polémicos

En el conjunto de candidaturas evaluadas, surgieron algunos casos con circunstancias especialmente polémicas o sensibles que requirieron un tratamiento cuidadoso para asegurar justicia y exactitud en la evaluación:

• Identificación temprana: Desde la fase de recolección de información, se marcaron los perfiles que presentaban alertas de controversia. Al identificar estas situaciones, se recabó información adicional y triangulada sobre las mismas, con el fin de no basarse en una sola fuente o en rumores.
• Verificación y evidencia objetiva: Para cada controversia se buscó la documentación más objetiva y sólida posible. En cuanto a actuaciones controversiales se revisaron las resoluciones, votos o expedientes para entender el contexto jurídico de su decisión. Este trabajo extra de verificación fue necesario para fundamentar cualquier penalización en la evaluación: nos aseguramos de no castigar al candidato o a la candidata injustamente por meras percepciones, sino solo por hechos comprobados que afectaran su idoneidad.
• Criterios de evaluación ajustados: Una vez confirmadas las controversias, se reflejaron en la rúbrica.
• Debido proceso y neutralidad: Un principio rector fue mantener el debido proceso evaluativo, es decir, dar oportunidad a que la evidencia hable por sí misma sin prejuzgar a la candidatura. Por más resonante que fuera una polémica en medios, el comité se centró únicamente en lo que pudiera corroborarse y en cómo ello se relacionaba con los criterios de mérito. No se descartó automáticamente a nadie por una controversia; más bien, se midió el impacto de esta en su capacidad para impartir justicia. En algunos casos, las candidaturas involucradas en polémicas resultaron no tan afectados en la evaluación final porque supieron aclarar o porque su trayectoria integral contrapesó ese evento.
• Transparencia en la documentación: Finalmente, la metodología exigió que todas las controversias y su tratamiento quedaran documentadas abiertamente en el perfil del candidato.

Conclusión de la metodología

La metodología descrita combinó herramientas cuantitativas y cualitativas con un enfoque prudente ante situaciones especiales, logrando una evaluación técnica, justa y exhaustivamente documentada. Desde la construcción de una rúbrica clara, pasando por la recopilación meticulosa de evidencias y la evaluación colaborativa, hasta la integración de análisis crítico y manejo de controversias, cada paso se orientó a proporcionar un resultado confiable.

En suma, la metodología aplicada es replicable y mejorable para futuras evaluaciones: establece un estándar de mérito y transparencia que refuerza la legitimidad de la elección judicial. Al seguir estos procedimientos, se sienta un precedente positivo en la forma de evaluar a quienes aspiran a ocupar las más altas magistraturas del país, privilegiando siempre la excelencia profesional y la probidad ética que el Poder Judicial de la Federación demanda.