Para los trabajadores que usan modelos de aprendizaje automático para ayudarlos a tomar decisiones, saber cuándo confiar en las predicciones de un modelo no siempre es una tarea fácil, especialmente porque estos modelos suelen ser tan complejos que su funcionamiento interno sigue siendo un misterio.
Los usuarios a veces emplean una técnica, conocida como regresión selectiva, en la que el modelo estima su nivel de confianza para cada predicción y rechaza las predicciones cuando su confianza es demasiado baja. Luego, un humano puede examinar esos casos, recopilar información adicional y tomar una decisión sobre cada uno manualmente.
Pero si bien se ha demostrado que la regresión selectiva mejora el rendimiento general de un modelo, los investigadores del MIT y el MIT-IBM Watson AI Lab han descubierto que la técnica puede tener el efecto contrario para grupos de personas subrepresentados en un conjunto de datos. A medida que aumenta la confianza del modelo con la regresión selectiva, también aumenta su posibilidad de hacer la predicción correcta, pero esto no siempre sucede para todos los subgrupos.
Por ejemplo, un modelo que sugiera aprobaciones de préstamos puede cometer menos errores en promedio, pero en realidad puede hacer más predicciones erróneas para los solicitantes negros o femeninos. Una de las razones por las que esto puede ocurrir se debe al hecho de que la medida de confianza del modelo se entrena con grupos sobrerrepresentados y puede no ser precisa para estos grupos subrepresentados.
Una vez que identificaron este problema, los investigadores del MIT desarrollaron dos algoritmos que pueden solucionar el problema. Utilizando conjuntos de datos del mundo real, muestran que los algoritmos reducen las disparidades de rendimiento que habían afectado a los subgrupos marginados.
“En última instancia, se trata de ser más inteligente sobre qué muestras le entregas a un humano para que las trate. En lugar de simplemente minimizar una tasa de error amplia para el modelo, queremos asegurarnos de que la tasa de error entre los grupos se tenga en cuenta de manera inteligente”, dice el autor principal del MIT, Greg Wornell, profesor de Sumitomo en Ingeniería en el Departamento de Ingeniería Eléctrica. y Ciencias de la Computación (EECS) que dirige el Laboratorio de Señales, Información y Algoritmos en el Laboratorio de Investigación de Electrónica (RLE) y es miembro del MIT-IBM Watson AI Lab.
Junto a Wornell en el artículo están los coautores Abhin Shah, un estudiante graduado de EECS, y Yuheng Bu, un postdoctorado en RLE; así como Joshua Ka-Wing Lee SM '17, ScD '21 y Subhro Das, Rameswar Panda y Prasanna Sattigeri, miembros del personal de investigación del MIT-IBM Watson AI Lab. El documento se presentará este mes en la Conferencia Internacional sobre Aprendizaje Automático.
Predecir o no predecir
La regresión es una técnica que estima la relación entre una variable dependiente y variables independientes. En el aprendizaje automático, el análisis de regresión se usa comúnmente para tareas de predicción, como predecir el precio de una casa dadas sus características (cantidad de dormitorios, pies cuadrados, etc.). Con la regresión selectiva, el modelo de aprendizaje automático puede tomar una de dos opciones para cada entrada: puede hacer una predicción o abstenerse de una predicción si no tiene suficiente confianza en su decisión.
Cuando el modelo se abstiene, reduce la fracción de muestras sobre las que está haciendo predicciones, lo que se conoce como cobertura. Al hacer solo predicciones sobre las entradas en las que tiene mucha confianza, el rendimiento general del modelo debería mejorar. Pero esto también puede amplificar los sesgos que existen en un conjunto de datos, que ocurren cuando el modelo no tiene suficientes datos de ciertos subgrupos. Esto puede generar errores o malas predicciones para las personas subrepresentadas.
Los investigadores del MIT intentaron garantizar que, a medida que la tasa de error general del modelo mejora con la regresión selectiva, también mejora el rendimiento de cada subgrupo. A esto lo llaman riesgo selectivo monótono.
“Fue un desafío encontrar la noción correcta de equidad para este problema en particular. Pero al hacer cumplir este criterio, el riesgo selectivo monótono, podemos asegurarnos de que el rendimiento del modelo realmente mejore en todos los subgrupos cuando se reduce la cobertura”, dice Shah.
Centrarse en la equidad
El equipo desarrolló dos algoritmos de redes neuronales que imponen este criterio de equidad para resolver el problema.
Un algoritmo garantiza que las características que usa el modelo para hacer predicciones contienen toda la información sobre los atributos sensibles en el conjunto de datos, como la raza y el sexo, que es relevante para la variable objetivo de interés. Los atributos confidenciales son características que no se pueden usar para tomar decisiones, a menudo debido a leyes o políticas organizacionales. El segundo algoritmo emplea una técnica de calibración para garantizar que el modelo haga la misma predicción para una entrada, independientemente de si se agregan atributos sensibles a esa entrada.
Los investigadores probaron estos algoritmos aplicándolos a conjuntos de datos del mundo real que podrían usarse en la toma de decisiones de alto riesgo. Uno, un conjunto de datos de seguros, se usa para predecir los gastos médicos anuales totales cobrados a los pacientes usando estadísticas demográficas; otro, un conjunto de datos sobre delitos, se utiliza para predecir la cantidad de delitos violentos en las comunidades utilizando información socioeconómica. Ambos conjuntos de datos contienen atributos sensibles para las personas.
Cuando implementaron sus algoritmos además de un método estándar de aprendizaje automático para la regresión selectiva, pudieron reducir las disparidades al lograr tasas de error más bajas para los subgrupos minoritarios en cada conjunto de datos. Además, esto se logró sin afectar significativamente la tasa de error general.
“Vemos que si no imponemos ciertas restricciones, en los casos en que el modelo es realmente seguro, en realidad podría estar cometiendo más errores, lo que podría ser muy costoso en algunas aplicaciones, como la atención médica. Entonces, si invertimos la tendencia y la hacemos más intuitiva, detectaremos muchos de estos errores. Un objetivo principal de este trabajo es evitar que los errores pasen desapercibidos sin ser detectados”, dice Sattigeri.
Los investigadores planean aplicar sus soluciones a otras aplicaciones, como predecir los precios de la vivienda, el GPA de los estudiantes o la tasa de interés de los préstamos, para ver si es necesario calibrar los algoritmos para esas tareas, dice Shah. También quieren explorar técnicas que utilicen información menos confidencial durante el proceso de capacitación del modelo para evitar problemas de privacidad.
Y esperan mejorar las estimaciones de confianza en la regresión selectiva para evitar situaciones en las que la confianza del modelo es baja, pero su predicción es correcta. Esto podría reducir la carga de trabajo de los humanos y agilizar aún más el proceso de toma de decisiones, dice Sattigeri.
Esta investigación fue financiada, en parte, por MIT-IBM Watson AI Lab y sus empresas miembro Boston Scientific, Samsung y Wells Fargo, y por la National Science Foundation.
Este artículo ha sido elaborado tomando el MIT como fuente.
