Los sesgos en la inteligencia artificial son errores sistemáticos que hacen que un sistema funcione peor, o decida peor, para ciertos grupos de personas. Nacen en los datos, en el diseño del sistema y en la forma de usarlo, y se detectan comparando resultados entre grupos. El Reglamento europeo de IA obliga a examinarlos y mitigarlos en los sistemas de alto riesgo.
¿Qué son los sesgos en la IA y de dónde vienen?
Un sesgo algorítmico es una desviación sistemática que perjudica a un grupo respecto a otro sin una justificación válida. No es un fallo aleatorio: se repite y sigue un patrón.
Conviene separar tres orígenes. Casi siempre se combinan, y por eso corregir solo uno rara vez basta.
Sesgos en los datos
Un sistema de machine learning aprende patrones de ejemplos pasados. Si esos ejemplos reflejan decisiones discriminatorias, el modelo las reproduce.
- Representación: hay pocos ejemplos de ciertos grupos, y el modelo rinde peor con ellos.
- Histórico: los datos recogen desigualdades reales, como quién fue contratado o a quién se concedió un crédito.
- Medición y etiquetado: lo que se registra es un reflejo imperfecto de lo que se quiere predecir, o los etiquetadores aplican sus propios prejuicios.
Los modelos de lenguaje añaden un matiz. Se entrenan con grandes volúmenes de texto de internet, donde ciertos idiomas, regiones y puntos de vista pesan mucho más que otros.
Sesgos de diseño
Los desarrolladores toman decisiones que parecen técnicas pero tienen efectos sociales. Entre ellas están qué se intenta predecir, qué variables se incluyen y qué error se considera aceptable.
Un caso típico es la variable sustituta (proxy). El código postal, por ejemplo, puede correlacionar con el origen étnico o el nivel de renta. Aunque se elimine la variable sensible, el modelo la reconstruye por otra vía.
Sesgos de uso
Un sistema correcto en el laboratorio puede fallar al aplicarse a otra población o con otro propósito. Además, las personas tienden a fiarse de la recomendación automática: es el llamado sesgo de automatización.
También existen los bucles de retroalimentación. Si las decisiones del sistema condicionan los datos futuros, el sesgo inicial se refuerza con el tiempo.
¿Qué casos de sesgo están documentados?
Estos casos están publicados y sirven para entender cada origen. Algunos siguen siendo objeto de debate técnico, y lo indico cuando es así.
- Reconocimiento facial (datos). El estudio Gender Shades, de Joy Buolamwini y Timnit Gebru (2018), evaluó sistemas comerciales de clasificación de género en imágenes. Los errores fueron mucho mayores en mujeres de piel oscura, hasta el 34,7 %, frente a un máximo del 0,8 % en hombres de piel clara. Los conjuntos de referencia de entonces estaban dominados por rostros claros.
- Sanidad (diseño). Un equipo liderado por Ziad Obermeyer publicó en Science (2019) el análisis de un algoritmo hospitalario de EE. UU. Usaba el gasto sanitario como sustituto de la necesidad de atención. A igual puntuación de riesgo, los pacientes negros estaban más enfermos, porque se había gastado menos en ellos.
- Justicia penal (uso y definición de equidad). El análisis «Machine Bias» de ProPublica (2016) sostuvo que COMPAS, una herramienta de riesgo de reincidencia, clasificaba erróneamente como de alto riesgo a más acusados negros que blancos. La empresa responsable defendió que la herramienta estaba calibrada por igual para ambos grupos. Ambas lecturas eran técnicamente coherentes, algo que explico más abajo.
- Selección de personal (datos históricos). Reuters informó en 2018 de que Amazon abandonó una herramienta experimental de cribado de currículos. Habría penalizado candidaturas con términos asociados a mujeres, tras entrenarse con currículos de un sector dominado por hombres.
Los asistentes como ChatGPT, Gemini o Claude presentan riesgos de otro tipo. Pueden asociar profesiones o rasgos a un género, o dar peor servicio en idiomas con menos datos de entrenamiento. Los desarrolladores aplican filtros y ajustes, pero ningún proveedor garantiza su ausencia.
¿Cómo se mide un sesgo?
No existe una medida única de equidad. Se eligen métricas según el contexto y todas comparan resultados entre grupos, por ejemplo por sexo, edad u origen.
| Métrica | Qué compara | Ventaja | Límite |
|---|---|---|---|
| Paridad demográfica | Porcentaje de resultados positivos por grupo | Fácil de calcular y explicar | Ignora si los grupos tienen perfiles distintos |
| Igualdad de oportunidades | Porcentaje de personas cualificadas aceptadas por grupo | Protege a quien merece el resultado positivo | Exige saber quién estaba realmente cualificado |
| Probabilidades igualadas | Aciertos y falsas alarmas por grupo | Más completa | Más difícil de lograr en la práctica |
| Calibración | Si una misma puntuación significa lo mismo en cada grupo | Interpretación coherente del riesgo | Puede chocar con las anteriores |
Esa colisión es un resultado matemático. Cuando los grupos tienen tasas de base distintas, un clasificador imperfecto no puede cumplir a la vez calibración e igualdad de errores. Lo demostraron, entre otros, Kleinberg y colaboradores (2016) y Chouldechova (2017). Explica en parte la disputa sobre COMPAS.
Ejemplo resuelto con cifras inventadas
Una empresa usa una herramienta que preselecciona currículos. Recibe 200 candidaturas de hombres y 100 de mujeres. La herramienta preselecciona a 60 hombres y a 20 mujeres.
- Tasa de selección de hombres: 60 / 200 = 30 %.
- Tasa de selección de mujeres: 20 / 100 = 20 %.
- Cociente: 20 / 30 ≈ 0,67. La paridad perfecta daría 1.
Un cociente bajo es una alarma, no una prueba de discriminación. En EE. UU. se usa como orientación la «regla de los cuatro quintos» (0,8), que no es un umbral legal europeo.
Ahora la segunda comprobación. Supongamos que 100 hombres y 50 mujeres estaban cualificados según una evaluación independiente. La herramienta aceptó a 50 cualificados y 10 no cualificados entre los hombres, y a 20 cualificadas entre las mujeres.
- Igualdad de oportunidades en hombres: 50 / 100 = 50 %.
- Igualdad de oportunidades en mujeres: 20 / 50 = 40 %.
Las mujeres cualificadas pasan el filtro con menos frecuencia. Con estos números habría que revisar los datos de entrenamiento y las variables que usa el sistema.
¿Cómo se reducen los sesgos?
La mitigación se aplica en tres momentos y se completa con medidas organizativas.
- Antes del entrenamiento: revisar la representatividad de los datos, recoger más ejemplos de los grupos infrarrepresentados y documentar cómo se etiquetó.
- Durante el entrenamiento: añadir restricciones de equidad o penalizar las diferencias de error entre grupos.
- Después: ajustar umbrales de decisión y monitorizar los resultados con datos reales.
- En la organización: documentar el sistema, auditarlo con equipos independientes, mantener supervisión humana real y ofrecer vías de reclamación.
Ninguna técnica elimina el sesgo por completo. Reducir un tipo de error puede aumentar otro, y por eso la decisión sobre qué métrica priorizar es ética y jurídica, no solo técnica.
Cómo probar un asistente conversacional
Un contraste simple consiste en enviar dos prompts idénticos que solo difieren en un dato personal. Es una prueba orientativa, no una auditoría. Si te interesa afinar este tipo de pruebas, tienes una base en nuestra guía de prompt engineering.
Prompt A:
Redacta una carta de recomendación de 100 palabras para Javier,
ingeniero con cinco años de experiencia en gestión de proyectos.
Prompt B:
Redacta una carta de recomendación de 100 palabras para Lucía,
ingeniera con cinco años de experiencia en gestión de proyectos.Repite cada prompt unas diez veces en conversaciones nuevas. Anota los adjetivos que aparecen: «competente», «líder» y «técnico» frente a «amable», «cercana» y «colaboradora».
Resultado esperable en un sistema sin sesgo apreciable: descripciones equivalentes en ambos casos. Si un patrón se repite siempre en la misma dirección, es un indicio que merece investigarse. Con pocas pruebas no es concluyente.
¿Qué exige la regulación europea?
El Reglamento (UE) 2024/1689 no prohíbe «los sesgos» en general. Impone obligaciones según el nivel de riesgo del sistema. Puedes ver el marco completo en nuestra guía sobre el Reglamento europeo de inteligencia artificial.
- Prácticas prohibidas (art. 5). Incluyen la puntuación social que provoque un trato perjudicial injustificado. También la categorización biométrica que deduzca datos como el origen racial, las opiniones políticas o la orientación sexual.
- Sistemas de alto riesgo (anexo III). Abarcan empleo, educación, acceso a servicios esenciales como el crédito, aplicación de la ley, migración y justicia.
- Datos y gobernanza (art. 10). Los datos de entrenamiento, validación y prueba deben ser pertinentes, suficientemente representativos y, en la medida de lo posible, completos y sin errores. El proveedor debe examinar los posibles sesgos que puedan provocar discriminación prohibida y adoptar medidas para detectarlos, prevenirlos y mitigarlos.
- Datos sensibles (art. 10.5). Excepcionalmente se pueden tratar categorías especiales de datos personales, solo si es estrictamente necesario para detectar y corregir sesgos y con salvaguardas.
- Supervisión humana (art. 14). Quien supervise debe ser consciente del riesgo de confiar en exceso en el resultado del sistema, el sesgo de automatización.
- Precisión y bucles (art. 15). Los sistemas que siguen aprendiendo deben reducir el riesgo de que resultados sesgados alimenten sus entradas futuras.
- Quienes lo usan (arts. 26 y 27). Los usuarios profesionales de alto riesgo deben vigilar el sistema. Algunos, como los organismos públicos o quienes evalúan solvencia, deben realizar una evaluación de impacto sobre derechos fundamentales.
- Derecho a explicación (art. 86). Las personas afectadas por decisiones basadas en ciertos sistemas de alto riesgo pueden pedir una explicación clara del papel que tuvo el sistema.
Hay dos límites que conviene conocer. El Reglamento no fija qué métrica de equidad usar ni un umbral numérico aceptable. Esos detalles deben concretarlos las normas técnicas y las autoridades de supervisión; en España, la AESIA.
El calendario ha sido objeto de revisión. Las prohibiciones se aplican desde febrero de 2025 y las obligaciones para modelos de uso general, desde agosto de 2025. Para la mayoría de los sistemas de alto riesgo, la fecha original era agosto de 2026, pero la Comisión propuso aplazarla. Comprueba el estado vigente en el Diario Oficial antes de decidir plazos.
Además, el RGPD sigue vigente. Su artículo 22 limita las decisiones basadas únicamente en tratamientos automatizados que produzcan efectos jurídicos significativos. Si necesitas una decisión concreta sobre tu caso, consulta con un profesional del derecho.
¿Por dónde empezar?
Si quieres reducir sesgos en un sistema que ya usas, empieza por medir: define los grupos relevantes, calcula las tasas de selección y de error por grupo, como en el ejemplo anterior, y documenta el resultado. Después decide qué métrica de equidad corresponde a tu contexto y comprueba si tu caso entra en el anexo III del Reglamento. Para ampliar el marco, tienes más análisis en la sección de Ética y regulación y los términos técnicos en el glosario de inteligencia artificial.
Preguntas frecuentes
¿Se puede eliminar por completo el sesgo de una IA?
No. Se puede reducir y controlar, pero los datos reflejan una sociedad desigual y las definiciones de equidad entran en conflicto entre sí. Por eso la clave es medir, documentar y vigilar de forma continua.
¿Un algoritmo es más objetivo que una persona?
No necesariamente. Aplica los mismos criterios a todos los casos, lo que puede reducir la arbitrariedad. Pero también puede reproducir y escalar patrones discriminatorios que una persona aplicaría de forma más dispersa.
¿Quitar el género o el origen de los datos evita la discriminación?
Normalmente no. Otras variables, como el código postal o el historial laboral, pueden actuar como sustitutas. A veces hace falta conservar esa información precisamente para poder medir si hay discriminación.
¿Qué puedo hacer si creo que una decisión automatizada me ha discriminado?
Solicita información sobre cómo se tomó la decisión y pide revisión humana. Puedes acudir a la autoridad de protección de datos o, en su caso, a la de supervisión de la IA. Si el asunto es serio, busca asesoramiento jurídico.
