Marta Cabrera Fernández
Si hay dos temas que demandan la atención de todos los agentes jurídicos son la Inteligencia Artificial (IA) y los estudios de género. Los ámbitos del Derecho desde los que se puede analizar y en los que pueden influir estas temáticas suponen la totalidad de la disciplina. Sin ánimo de generalizar y, entendiendo que cada materia tiene sus problemáticas particulares, la desinformación constituye una de las principales trabas que rodea a la doctrina y a la práctica cuando se intentan abordar estas cuestiones. De ahí que sea pertinente, de vez en cuando, llevar a cabo análisis del estado de la cuestión meramente descriptivos, con la finalidad de informar sobre las situaciones reales y las herramientas que, efectivamente, se utilizan en la praxis.
Con ese objetivo en mente, vamos a estudiar el funcionamiento de una herramienta que aúna ambos temas ya mencionados: VioGén. En España, a raíz de la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género, se han desplegado multitud de protocolos judiciales, policiales y administrativos para hacer frente a la violencia “que se dirige sobre las mujeres por el hecho mismo de serlo”, tal y como señala la Exposición de Motivos. Una de esas medidas fue implantada unos años más tarde, en 2007, por el Ministerio del Interior español. Se trata de VioGén, un Sistema de Seguimiento Integral que busca proteger tanto a las mujeres víctimas de violencia de género como a sus hijos e hijas. Sus objetivos, tal y como los marca el propio Ministerio, son los siguientes[1]:
- Aglutinar a las diferentes instituciones públicas que tienen competencias en materia de violencia de género
- Integrar toda la información de interés que se estime necesaria
- Hacer predicción del riesgo
- Atendiendo al nivel de riesgo, realizar seguimiento y protección a las víctimas en todo el territorio nacional
- Efectuar una labor preventiva, emitiendo avisos, alertas y alarmas, a través del “Subsistema de Notificaciones Automatizadas”, cuando se detecte alguna incidencia o acontecimiento que pueda poner en peligro la integridad de la víctima.
Como vemos, el cumplimiento de estos objetivos engloba varios campos de actuación, pero nosotros vamos a centrarnos en aquel que depende directamente de la IA, que es el objetivo de la predicción de riesgo. Existe un tipo de sistemas de IA orientados a valorar la probabilidad de que una situación de riesgo ocurra o no. Son los algoritmos de risk assessment o de evaluación y valoración de riesgos, siendo el pionero y el más conocido COMPAS, utilizado en Estados Unidos desde 1998. En esta línea, VioGén cuenta con un algoritmo que ofrece dos resultados. Por una parte, el riesgo de que una mujer víctima de violencia de género vuelva a serlo. Por otra, el riesgo de que esa mujer vaya a ser víctima de un homicidio. Para dar ambos outputs, al sistema hay que “alimentarlo” con unos inputs, en este caso en forma de respuestas a 39 preguntas estandarizadas que debe completar la mujer en cuestión respecto de su agresión y de su situación (si tiene hijos o no, capacidad económica, etc.).
El resultado final del sistema siempre debe ser valorado por seres humanos, que pueden modificar al alza[2] el riesgo vaticinado por VioGén. Posteriormente, será el juez quien se encargue, con base en el informe de VioGén y en otras pruebas, de establecer las medidas pertinentes para garantizar la seguridad de la víctima y de entorno, como puede ser a través de una orden de alejamiento. Como sistema de IA podemos decir que pertenece tanto al ámbito judicial como, sobre todo, al policial, dado que son las Fuerzas y Cuerpos de Seguridad del Estado (Policía Nacional, Policía Local y Guardia Civil) las que lo utilizan y las que implementan las medidas.
Sin embargo, VioGén no llega a resultar del todo eficiente en ninguna de estas dos ramas. En primer lugar, se critica que el riesgo se valore a partir del relato de la mujer víctima en vez de a partir de un reconocimiento médico forense del agresor. En segundo lugar, se considera que hay datos que deben cruzarse para tener una visión más holística, como son los datos policiales sobre si el agresor ya ha cometido violencia de género anteriormente u otros delitos violentos[3]. En tercer lugar, que el sistema no actúe en casos de violencia doméstica sobre hombres, excluyéndoles de protección en estas situaciones de violencia dentro de la pareja (o situación análoga). Y, en la parte más relacionada con la IA, existe la problemática de las auditorías externas, que pasamos a resaltar ahora.
Al ser un sistema que no cuenta con programación de aprendizaje automático, se limita a “utilizar modelos estadísticos para inferir el riesgo que puede correr una víctima (tanto de agresión como de homicidio) así como su evolución de acuerdo a un conjunto de indicadores que han sido determinados y posteriormente evaluados por un grupo de expertos”[4]. De esta manera lo define la Fundación Éticas, que realizó un informe de auditoría externa del sistema en el año 2022, ante la negación por parte del Ministerio del Interior de hacer público el funcionamiento interno de VioGén.
En dicho informe, la Fundación Éticas admitió que no se podía realizar un estudio totalmente completo sin tener acceso al código fuente del programa, por lo que su propuesta fue preparar la auditoría aunando “un análisis estadístico de los casos de IPH (Homicidio en la Pareja Íntima) para evaluar la validez predictiva de la evaluación de riesgos de homicidio de VioGén en diferentes grupos sociales de mujeres, así como métodos cualitativos que exploran diferentes percepciones y experiencias con el sistema VioGén”5. Tales métodos se materializan en entrevistas y encuestas hechas a esos grupos de mujeres, cuyas especificidades se señalan a lo largo del informe.
Si bien es una forma alternativa de llevar a cabo una auditoría que puede proporcionar información importante acerca de la eficiencia de un sistema, no podemos ignorar que los efectos que puede tener este tipo de auditoría externa son muy limitados si se comparan con los que tendría una interna. Por ello, en este caso y con estos métodos, la Fundación Éticas concluyó que los datos con los que se había programado el sistema estaban sesgados o no eran lo suficientemente representativos al menos en el 80% de los casos que pudieron analizar (los cuales no conforman un número lo necesariamente amplio como para inferir de ellos una conclusión satisfactoria).
El siguiente paso lógico sería implementar medidas de mejora del entrenamiento del sistema a través de un aumento en la calidad de los datos de entrenamiento. Pero, como el resultado de este control no vincula a los responsables de VioGén (puesto que la auditoría no ha sido solicitada por ellos), el informe solo sirve para hacer públicas las carencias y no para solucionarlas. De hecho, una de las justificaciones para llevar a cabo el estudio del que estamos hablando es que “la mayor parte de los estudios sobre VioGén han sido realizados por los mismos investigadores que contribuyeron a su desarrollo (…) y por personas que trabajan o que tienen intereses particulares en el ministerio y las fuerzas policiales”[5]. Esto puede traducirse en una disminución de la objetividad de los resultados de tales estudios, incluso cuando el alcance de la afirmación no ha sido comprobado, entre otras razones, a la imposibilidad de hacer una comparativa con los resultados de un estudio de auditoría externa realizado mediante la misma metodología de análisis del código fuente de programación.
Todos los problemas que hemos planteado provocan la ineficacia parcial del sistema VioGén para lograr su objetivo de predecir y prevenir riesgos. Las mejoras que se han solicitado pasan por una mayor financiación y por destinar más capital humano para que las Administraciones colaboren entre sí. Es decir, no se está poniendo el foco en las mejoras que puedan venir por la parte más tecnológica del sistema, que es la que hemos analizado. Las trabas referidas a las auditorías no son, ni mucho menos, las que más peso tienen por parte de los agentes jurídicos (abogados, jueces e investigadores) que trabajan día a día con VioGén. Las críticas de más calado son aquellas que se refieren al fondo mismo del sistema, incluyendo su algoritmo. Ya hemos señalado que las detracciones pasan por la falta de inclusión del hombre víctima en este sistema y por centrar el informe de riesgo en el relato de la mujer en vez de en el reconocimiento forense del agresor.
Esto nos sirve para introducir una pregunta más dentro del gran debate que supone la IA. Tecnológicamente, comprobamos casi que a diario los avances que existen para saber qué es posible implementar y qué no. Éticamente, nos planteamos cómo debe ser el uso que debemos darle a la IA para seguir las líneas de una buena práctica. Jurídicamente, estamos más atentos que nunca a cómo debemos regular todos estos sistemas, mereciendo la pena nombrar el recientemente aprobado Reglamento Europeo sobre Inteligencia Artificial[6]. A todo ello vamos a sumarle un aspecto también pragmático que nos permita preguntarnos: ¿es necesario aplicar la Inteligencia Artificial a todos los ámbitos solo porque la tecnología, la ética y el Derecho nos digan que es posible? Es decir, centrémonos también en el plano de la necesidad y no solo en el de las posibilidades cuando hablamos de IA.
Hemos visto que las carencias de las que adolece VioGén no se deben a un subdesarrollo de la herramienta tecnológica y, aun así, la predicción de riesgos que hace es insatisfactoria. Incluso si se cumpliese con las auditorías internas de las que hablaba la Fundación Éticas, tendríamos las mismas incidencias en el fondo de la cuestión. Por lo tanto, lo que empezó como un análisis descriptivo de la situación, ha terminado siendo una llamada a la reflexión pragmática y crítica acerca de las materias en las que realmente necesitamos apoyarnos en la IA. En el caso concreto de VioGén, servirnos de una herramienta tecnológica no va a ayudar a que funcione todo el sistema si este tiene complicaciones de base. De hecho, todo lo contrario, pues añade la dificultad de gestionar las auditorías y de adecuarse a las nuevas normativas que exigen máxima transparencia para los algoritmos de evaluación de riesgos. De todo lo anterior podemos concluir que la implementación de la IA en temas que necesitan de mucha gestión e interpretación humana, como es la prevención de violencia de género, debe ser ínfima en comparación al desarrollo de protocolos de actuación sobre agentes humanos. Todo ello, por supuesto, contando con apoyo informático, pero no de la Inteligencia Artificial.
[1] Ministerio del Interior: Sistema VioGén, https://www.interior.gob.es/opencms/eu/servicios–alciudadano/violencia–contra–la–mujer/sistema–viogen/
[2] RTVE: ¿Qué es VioGén y cómo funciona?, https://www.rtve.es/noticias/20230220/objetivoigualdad–funcionamiento–viogen/2424326.shtml
[3] Público: Viogén, una herramienta necesaria pero insuficiente para poner fin a los asesinatos por violencia de género, https://www.publico.es/mujer/viogen–herramienta–necesaria–insuficiente–ponerasesinatos–violencia–genero.html
[4] Éticas Foundation, (2022). Auditoría Externa del Sistema VioGén. Fundación Ana Bella y Red de Mujeres Supervivientes, p. 10. 5 Ibidem, p. 20.
[5] Ibidem, p. 6.
[6] Nos referimos a la Resolución legislativa del Parlamento Europeo, de 13 de marzo de 2024, sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión.