IA y el factor humano
Mariano Grilli
Doctor en Ciencias Médicas
Profesor Libre. Cátedra de Ginecología “B” y Cátedra Libre Medicina y Mujer.
Universidad Nacional de La Plata
Director Científico del Instituto de Ginecología de Mar del Plata. Esta dirección de correo electrónico está protegida contra spambots. Usted necesita tener Javascript activado para poder verla.
Director Portal Académico ObGin. Esta dirección de correo electrónico está protegida contra spambots. Usted necesita tener Javascript activado para poder verla.
Introducción
Cada vez que algo sale mal con un sistema automatizado, la primera pregunta que hacemos es técnica: ¿falló el algoritmo? (En informática, un algoritmo es la lógica básica que sigue un programa de computadora para procesar datos, tomar decisiones y ejecutar un resultado).
Pero hay una pregunta que en realidad es fundamental, esa que la ingeniería de seguridad lleva décadas haciéndose desde mucho antes de que existiera un solo modelo de lenguaje. Esta es: ¿qué hizo -o dejó de hacer- el humano que estaba a cargo?
El factor humano es nuestra contribución a un evento, en el que se incluye el error humano. Este hecho puede ser voluntario o involuntario, y el término puede usarse en sentido positivo o negativo.
Vale la pena detenerse en ese último matiz, porque casi siempre lo olvidamos: hablamos de “factor humano” como sinónimo de “falla humana”, cuando en realidad el mismo concepto incluye también el momento en que un piloto, un cirujano o un operador de planta nuclear corrige a tiempo un error del sistema, o detecta una anomalía que ningún sensor había señalado.
El factor humano no es solo el eslabón débil de la cadena. También es, con la misma frecuencia, su última línea de defensa.
Un problema viejo con un nombre nuevo
La irrupción de la inteligencia artificial en la medicina, y en casi cualquier industria de alto riesgo, nos hace creer que estamos ante un dilema inédito. No lo es. En 1983, la psicóloga cognitiva Lisanne Bainbridge publicó un artículo breve y hoy célebre, “Ironies of Automation”, pensando en centrales de energía y plantas industriales, mucho antes de que “inteligencia artificial” fuera una frase que apareciera en una historia clínica (1).
¿Qué estaba ocurriendo? Ella había identificado una paradoja tan simple como incómoda: cuanto más confiable es un sistema automatizado, menos practica el operador humano sus propias habilidades. Y entonces llega el momento no esperado, e inevitable: el sistema falla, y es justo ahí donde el operador, acostumbrado a confiar en la máquina, no está preparado para intervenir.
Una década después, en aviación, Parasuraman, Molloy y Singh le pusieron nombre y evidencia experimental a ese fenómeno: la complacencia por automatización (2). No es pereza ni negligencia, demostraron con seguimiento ocular: es una redistribución casi inevitable de la atención. Cuando confiamos en que el sistema está haciendo bien su trabajo, dejamos de vigilarlo con el rigor que merecería. Dos accidentes aéreos —Estrasburgo en 1992 (3), Detroit en 1987 (4)— son el recordatorio trágico de que esa redistribución de la atención tiene un costo medible en vidas humanas.
La complacencia por automatización es la tendencia humana a confiar en exceso en un sistema automatizado o de inteligencia artificial, asumiendo que siempre funciona bien y dejando de supervisarlo de forma activa y crítica. Ocurre cuando la persona "baja la guardia" y descuida la verificación manual, lo que puede llevar a pasar por alto fallas del sistema o no detectar errores cuando la tecnología se equivoca.
Lo que cambia (y lo que no) con la IA médica
Lo que cambia hoy no es el fenómeno humano, sino la velocidad y la escala con la que se despliega. La medicina incorporó automatización mucho después que la aviación o la energía nuclear, y ahora está absorbiendo en pocos años un problema de factores humanos que a esas otras industrias les tomó décadas aprender a gestionar.
La evidencia ya está llegando, y no es sutil: un estudio reciente mostró que la precisión diagnóstica de los médicos puede caer de 92,8% a 23,6% cuando se les presenta una recomendación de IA incorrecta (5). Otro, en endoscopía digestiva, documentó algo todavía más inquietante: la sola exposición rutinaria a un sistema de detección de pólipos por IA, no su abandono, sino su uso cotidiano e intermitente, se asoció con una caída medible en la capacidad de los mismos endoscopistas para detectar adenomas cuando trabajaban sin esa ayuda (6).
No obstante, resulta necesario afirmar, que la respuesta no puede consistir en rechazar la herramienta. La inteligencia artificial ya ha demostrado, en radiología, en la detección temprana de sepsis y en la vigilancia de eventos adversos, su capacidad de contribuir a salvar vidas que el ojo humano, fatigado, apremiado por el tiempo y sujeto a sus propios sesgos, no siempre logra detectar oportunamente.
El problema es diseñar la interacción humano-máquina asumiendo, que la complacencia va a aparecer, en vez de descubrirlo después de que ya causó daño.
El prompt como el nuevo objetivo mal redactado
Hay un lugar todavía más temprano, y más silencioso, donde el factor humano decide el destino de todo lo que viene después, y es uno que cualquier investigador clínico reconoce de inmediato aunque nunca lo haya pensado en estos términos: el prompt, la instrucción que le damos a un modelo de lenguaje, es exactamente el mismo tipo de objeto que un objetivo de investigación mal redactado en un protocolo.
Todo investigador sabe, o debería saber, que un objetivo ambiguo no se corrige después, en el análisis estadístico; se arrastra, intacto, hasta la conclusión. Si el objetivo de un ensayo clínico dice “evaluar si el fármaco mejora la evolución del paciente” sin especificar evolución de qué, medida cómo, en qué ventana temporal, comparado contra qué, ningún analista brillante va a poder salvar ese estudio después. La ambigüedad de origen se propaga, se disfraza de resultado, y termina pareciendo un hallazgo cuando en realidad es apenas el eco de una pregunta que nunca se terminó de hacer.
Un prompt mal formulado hace exactamente lo mismo, solo que a una velocidad que en investigación no tenemos: en segundos, no en meses. Pensemos en un ejemplo concreto.
Prompt vago (el equivalente al objetivo de investigación sin especificar):
“Analizá esta tomografía de abdomen y decime si hay algo preocupante.”
Prompt bien especificado (el equivalente al objetivo primario correctamente definido):
“Analizá esta tomografía de abdomen con contraste. Contexto clínico: paciente de 67 años, dolor en fosa ilíaca derecha de 18 horas de evolución, leucocitosis de 14.000, fiebre de 38°C. Evaluá específicamente: (1) signos de apendicitis aguda —engrosamiento parietal, infiltración de la grasa periapendicular, presencia de apendicolito—; (2) signos de complicación —absceso, perforación, líquido libre—; (3) diagnósticos diferenciales que debas descartar activamente dado este cuadro —diverticulitis derecha, patología ginecológica anexial. Indicá tu nivel de confianza para cada hallazgo y señalá explícitamente qué hallazgos no podés evaluar con la imagen disponible.”
La diferencia no es de prolijidad. Es de qué espacio de respuestas el modelo cree que tiene permitido explorar. Al prompt vago, el modelo puede responderle con un comentario genérico sobre la grasa mesentérica, una observación incidental sobre un quiste renal irrelevante, o directamente “no se observan hallazgos agudos”, una frase que suena tranquilizadora y que, frente a una apendicitis incipiente mal definida en el corte, puede ser peligrosamente falsa. Al segundo prompt, el modelo no tiene margen para irse por las ramas: tiene que pronunciarse, con nivel de confianza explícito, sobre exactamente lo que el cuadro clínico exige descartar.
Es la misma distancia que separa, en un protocolo de investigación, "evaluar si el estudio Doppler mejora la evolución de la paciente" de: "evaluar la respuesta del flujo Doppler ante un cuadro de torsión anexial aguda, como criterio para determinar la urgencia de una cirugía videolaparoscópica conservadora inmediata". En ambos casos, el objeto nominal es “el mismo”, Doppler, pero solo una de las dos versiones puede, en rigor, ser evaluada, auditada y replicada.
Esto importa porque desplaza, una vez más, la pregunta de dónde está el riesgo. No es el modelo el que “alucina” en el vacío: es, con enorme frecuencia, el modelo completando honestamente una instrucción que nunca delimitó bien el espacio de respuestas válidas. Del mismo modo en que una complacencia por automatización no es una falla del algoritmo sino una falla de diseño de la interacción, un prompt deficiente no es una falla del modelo de lenguaje: es una falla - silenciosa, invisible en el momento en que se comete, visible recién en la salida - del factor humano que formuló la pregunta. Y así como nadie entrenaría a un médico residente para diseñar ensayos clínicos sin enseñarle antes a redactar un objetivo primario, nadie debería asumir que el médico que usa IA generativa sabe, por el solo hecho de saber escribir, “formular la instrucción que ese sistema necesita para ser útil en lugar de simplemente parecerlo”.
La manera en que interactuamos con la IA está determinada, en el fondo, por la impronta del factor humano, que pone a disposición sus conocimientos, habilidades, competencias, creatividad y experiencia. Dicho de otro modo: la respuesta que obtenemos de un sistema de IA está directamente relacionada con nuestro propio background, con nuestro knowhow. No hay magia en esto. Sin sustento teórico previo, ni siquiera vamos a saber qué hacer con la información que ese sistema nos devuelva.
Lo que tienen en común la complacencia por automatización y el prompt mal redactado es que ambos son invisibles en el momento exacto en que ocurren. Nadie siente que está siendo complaciente mientras lo es; nadie siente que escribió un prompt ambiguo mientras lo escribe, igual que ningún investigador siente que redactó mal un objetivo mientras lo está redactando. El error de origen solo se revela después, cuando ya tomó la forma de una respuesta, un resultado, una conclusión, y para entonces, corregirlo cuesta mucho más que haberlo prevenido.
El verdadero lugar del factor humano
Acá es donde vuelvo a la definición del principio, pero leída al revés. Si el factor humano puede ser tanto el error como la corrección, entonces el diseño de cualquier sistema de IA médica, y de cualquier instrucción que le demos, debería hacerse una pregunta muy concreta: ¿este sistema, y esta forma de usarlo, están construidos para que el médico siga siendo la última línea de defensa, o están construidos, sin que nadie lo haya decidido explícitamente, para que el médico deje de serlo?
La diferencia entre esas dos arquitecturas no se nota el día que el sistema funciona bien. Se nota, con toda su crudeza, el día en que falla. Y se nota también, mucho antes de ese día, en la calidad de la pregunta que alguien se tomó, o no se tomó, el trabajo de redactar bien.
El factor humano no es un defecto que la tecnología deba eliminar. Es, todavía, la única variable del sistema capaz de preguntarse si el sistema se equivocó, y la única capaz, antes de eso, de formular la pregunta correcta para que el sistema tenga alguna chance de acertar. Diseñar inteligencia artificial sin reservarle ese lugar al humano no es innovación: es, simplemente, olvidar la única lección que la aviación, la energía nuclear y la metodología de investigación clínica ya pagaron muy caro para aprendérsela.
Referencias
- Bainbridge L. Ironies of automation. Automatica. 1983;19(6):775-779.
- Parasuraman R, Molloy R, Singh IL. Performance consequences of automation-induced “complacency”. Int J Aviat Psychol. 1993;3(1):1-23.
- Bureau d'Enquêtes et d'Analyses (BEA). Rapport de la commission d'enquête sur l'accident survenu le 20 janvier 1992 près du Mont Sainte-Odile (67) à l'Airbus A320 immatriculé F-GGED exploité par la compagnie Air Inter. Paris: BEA; 1993.
- National Transportation Safety Board. Aircraft accident report: Northwest Airlines, Inc., McDonnell Douglas DC-9-82, N312RC, Detroit Metropolitan Wayne County Airport, Romulus, Michigan, August 16, 1987. Washington (DC): NTSB; 1988. Report No.: NTSB/AAR-88/05.
- Prinster D, Mahmood A, Saria S, Jeudy J, Lin CT, Yi PH, et al. Care to explain? AI explanation types differentially impact chest radiograph diagnostic performance and physician trust in AI. Radiology. 2024;313(2):e233261.
- Budzyń K, Romańczyk M, Kitala D, et al. Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. Lancet Gastroenterol Hepatol. 2025;10(10):896-903.