Modelo predictivo de sugerencia de resolución de reclamos de seguro laboral
Superintendencia de Seguridad Social (SUSESO)
Herramientas utilizadas
Medición de sesgos y equidad estadística Ficha de transparenciaCuestionario
¿En qué consiste el problema que buscaron solucionar a través de la ciencia de datos o inteligencia artificial?
La Superintendencia de Seguridad Social (SUSESO) se enfrentó a un aumento significativo en la demanda de reclamaciones desde el año 2020, lo que provocó un incremento en los casos acumulados sin resolver y una extensión de los plazos de respuesta, llegando a tener un stock acumulado de casi 50.000 casos y los tiempos de resolución se extendieron a aproximadamente 120 días, sin la posibilidad de aumentar el número de profesionales encargados de resolverlos.
SUSESO recibe aproximadamente 200.000 reclamaciones al año. De estas, el 10% corresponden al seguro laboral. El modelo predictivo para el seguro laboral, en particular, busca analizar y auditar una propuesta de solución existente vinculada a la salud mental laboral, con el fin de verificar su corrección e identificar oportunidades de mejora y desarrollo. El objetivo principal era optimizar estos procesos para dar respuesta a las reclamaciones en el menor tiempo posible
¿Qué desafíos éticos implicaba aplicar esta tecnología? ¿Por qué?
- Sesgos y discriminación: Se identificaron sesgos en el modelo en rangos de edad específicos y en personas con nacionalidad extranjera. Esto significa que el modelo podría clasificar incorrectamente a individuos de estos grupos, llevándolos a una desventaja al no recibir la cobertura y compensaciones necesarias si su enfermedad mental se clasifica como no laboral.
- Privacidad y protección de datos sensibles: El modelo utiliza datos personales (sexo, edad, ocupación, tipo de contrato, antigüedad en el empleo, RUT codificado) y datos sensibles (salud mental del trabajador). Esto plantea el desafío de asegurar la protección y anonimización de esta información para evitar filtraciones o usos indebidos.
- Impacto en la vida de las personas y toma de decisiones: El modelo informa decisiones sobre salud y seguridad laboral, afectando directamente el tratamiento y el bienestar de los trabajadores. Una clasificación incorrecta como "no laboral" puede tener graves consecuencias, como la falta de tratamiento adecuado y el empeoramiento de la condición del trabajador, ya que los costos y la pérdida de ingresos recaerían sobre su seguro de salud personal, contexto en el cual no es un modelo que reemplace la decisión sino que apoya en la adopción de la misma.
¿Qué resultados obtuvieron de estos pilotos?
Los modelos están desarrollados, entrenados y en condición de ser integrados para iniciar su utilización en régimen. Ya se han piloteado, con porcentaje de predicción en determinados tramos superior al 95%.
Lo más relevante de este Proyecto no son solo sus resultados, sino que haber asumido el desafío de cumplir con los estándares legales y éticos que implica un modelo predictivo de sugerencia: uso de bases tipo para adquisición de algoritmos públicos, aplicación de herramientas para transparencia algorítmica, evaluación de impacto y medición de sesgo, aplicación de medición de confianza por usuarios, medición de nivel de adopción.
En tal sentido, el haber contado con el apoyo del Gob Lab en todo el proceso de formulación, diseño, desarrollo y evaluación fue determinante, como también, el acompañarnos en todo el proceso de aplicación de herramientas disponibles de algoritmos éticos.
¿Con qué aprendizajes se queda su organización?
- Priorizar la claridad del problema y la data: Es fundamental comenzar por identificar con claridad el "dolor" o problema que se busca resolver. Además, asegurarse de tener datos de calidad y bien preparados, ya que constituyen la base de cualquier proyecto de ciencia de datos y representan el 70% del esfuerzo.
- Comprender el alcance y el valor público: Diferencien claramente el objetivo y el impacto del modelo de IA. No es lo mismo una recomendación de consumo que una decisión que afecta derechos fundamentales de los ciudadanos. La IA debe generar valor público real, como mayor eficiencia, reducción de tiempos de respuesta y aumento de la satisfacción ciudadana.
- Ver la IA como apoyo: La ciencia de datos es una herramienta para optimizar la gestión y complementar el trabajo humano, no para sustituirlo. Fomenta un trabajo colaborativo que mejora la eficiencia.
¿Cuáles son los próximos pasos para la implementación de IA responsable en su proyecto?
El siguiente paso es la integración de este modelo en los sistemas de información, en específico el de Procedimiento Administrativo Electrónico (PAE). Como parte de la integración, es la adopción y uso del modelo en el flujo del proceso. Este modelo se recomienda usar a modo de sugerencia para el profesional a cargo de la decisión de la reclamación.
El modelo fue auditado por una empresa externa, la cual utilizó las herramientas de algoritmos éticos de UAI. Producto de esta auditoría, se entregaron recomendaciones que buscan optimizar la clasificación del modelo, a través de mejorar la fuente y procesamiento de los datos entregados al modelo.También se realizaron recomendaciones técnicas,para mejorar los resultados e interpretación del modelo. Por último, se indican las acciones necesarias para monitorear y ajustar el modelo, para ser realizadas de forma periódica, aprendiendo del uso de este. Todo lo anterior se encuentra dentro del marco de acción de los siguientes pasos.
¿Cómo fue la experiencia de trabajar de la mano con el GobLab de la UAI?
La UAI desarrolló y puso a disposición herramientas gratuitas, estandarizadas, de código abierto para la evaluación de impacto algorítmico, transparencia algorítmica y medición de sesgos. La SUSESO fue pionera en el pilotaje de la "Ficha de Transparencia" y las herramientas de "Medición de Sesgos y Equidad" en el proyectos, incluyendo la auditoría del modelo de seguro laboral, proporcionando retroalimentación valiosa para su perfeccionamiento
Para el modelo predictivo de salud mental del seguro laboral, que es un desarrollo interno de SUSESO, se contrató a una consultora para auditarlo, la cual utilizó la "Ficha de transparencia del modelo" del GobLab UAI. Esta herramienta permitió clasificar el origen de las enfermedades mentales (laboral o no laboral), revisar las fuentes y características de los datos, variables y parámetros, y realizar análisis de sesgos, equidad, transparencia, precisión y contrafactuales. También incluyó mecanismos de explicabilidad del sistema, lo que posibilitó a SUSESO comprender por qué una solución desarrollada conducía a una sugerencia de decisión o resultado particular. Esto es importante para romper la opacidad de los algoritros y evitar la discriminación.
La experiencia general de SUSESO al trabajar de la mano con el GobLab UAI se ha traducido en varios beneficios. Ha permitido a la institución alinearse con la Política Nacional de Inteligencia Artificial de Chile y otras directrices relevantes, además de promover la gestión ética de los datos y el desarrollo e implementación responsables de algoritmos. Este acompañamiento ha sido clave para dar credibilidad a los modelos y fomentar su adopción interna. La UAI ha brindado un apoyo técnico constante, revisando informes y facilitando la comprensión de las soluciones. En última instancia, esta colaboración ha posicionado a SUSESO a la vanguardia en la gestión ética de los datos en el sector público, enfatizando que cualquier uso de la inteligencia artificial debe ser legal, ético, eficiente y seguro.
¿Qué le diría a otro organismo público que esté interesado en trabajar con estas herramientas de código abierto, pero aún no se ha convencido?
Consideramos esencial que todos los organismos públicos que se embarquen en proyectos de ciencia de datos se sumen al uso de estas herramientas, fundamentalmente pensando en la relevancia del análisis de impacto, transparencia, sesgo y equidad, contrafactuales y mecanismos de explicabilidad, todo lo cual es determinante para el éxito de los proyectos, para romper la opacidad y evitar la discriminación, buscando como resultado esperado aislar los efectos no deseados, mitigar los riesgos y tener plena conciencia y responsabilidad de lo que implica el respeto de las garantías fundamentales y derechos de las personas, poniendo en el centro de las soluciones generadas, el bienestar de las personas y la seguridad de su información.