Una familia de Carolina del Norte ha demandado a Google y a su matriz, Alphabet, por negligencia en el despliegue de un modelo de Gemini. Sostiene que el chatbot «guio» a su hija de 13 años en pensamientos suicidas desde un Chromebook escolar. El dato que más importa a los centros: según la demanda, el software de vigilancia tardó semanas en alertar, y el aviso llegó al móvil de una exorientadora que ya no trabajaba allí, según Wired.
Lo que sostiene la demanda y lo que responde Google
Todo lo que sigue son alegaciones de la familia. Ningún tribunal las ha dado por probadas.
La niña aparece como Emma Doe. Su colegio había bloqueado la web independiente de Gemini. Pero, según la demanda, Google Search la llevó al chatbot a través del Modo IA (AI Mode). Esta función permite hacer preguntas de seguimiento o empezar una conversación sin relación con la búsqueda inicial.
La cronología que recoge Wired empieza en diciembre. Emma preguntó por «depresión severa» y por «razones para vivir». A finales de enero ya consultaba sobre el suicidio, siempre según la demanda.
Hacia San Valentín empezó a redactar con el Modo IA una despedida de 1.500 palabras en un documento de Google Docs titulado «Funeral». Trabajó en él más de cuatro semanas y usó la herramienta miles de veces.
El día de San Patricio borró casi todo el archivo y empezó de nuevo. Hacia las 19:30, su madre recibió un mensaje del colegio que hablaba de «peligro inminente». Entró en la cuenta escolar de su hija y, según la demanda, vio en directo cómo escribía una nota de despedida. Los padres intervinieron y la detuvieron.
El portavoz de Google, José Castañeda, dijo a Wired que la compañía está «revisando las alegaciones». Añadió que sus sistemas, Modo IA incluido, «buscan evitar que los usuarios mantengan conversaciones dañinas». También afirmó que han trabajado con profesionales médicos y expertos académicos para ayudar a los jóvenes a encontrar apoyo.
Una alerta que llegó a quien ya no estaba
Andrew Liddell, abogado de la familia, explicó a Wired que el aviso fue al teléfono personal de una exorientadora que había dejado el centro nueve meses antes. Según él, esa persona lo reenvió con diligencia al personal actual, que avisó a la madre.
El colegio solo detectó la crisis porque usaba al menos un sistema externo de monitorización de la actividad del alumnado. Liddell cita información que el centro habría dado antes a las familias: podrían ser productos de GoGuardian y Gaggle. Admite que no hay una respuesta definitiva, porque la cooperación del colegio con ellos fue breve.
GoGuardian declinó hablar de casos concretos por obligaciones de privacidad estudiantil. Gaggle no respondió de inmediato a Wired. El colegio tampoco respondió.
Estas herramientas suelen capturar pulsaciones de teclado o escanear archivos. Después combinan algoritmos y revisión humana. Wired señala que no está claro si las del colegio vigilaban el Modo IA ni cómo de bien funcionan. GoGuardian publicó en julio de 2025 que su producto principal supervisa chats con Gemini, pero no mencionó el Modo IA.
La propia Wired apunta que los chats integrados en el buscador pueden ser un punto ciego.
Qué conviene revisar en casa y en el centro
El caso es estadounidense, pero las preguntas sirven en cualquier aula con cuentas escolares de Google. Esto es lo que se desprende de la historia, no una lista oficial:
- Bloquear una web no basta. Si el centro veta Gemini pero deja el buscador con IA, el chatbot sigue a un clic. Conviene preguntar qué funciones de IA están activas en los equipos de los alumnos.
- Comprobar qué cubre la monitorización. Que un proveedor diga que vigila chatbots no garantiza que cubra el Modo IA. Hay que pedirlo por escrito.
- Revisar quién recibe las alertas. Un aviso crítico que llega a un contacto desactualizado pierde horas valiosas. Los centros deberían actualizar ese listado cada curso.
- Tener un protocolo para actuar. Benjamin Boudreaux, investigador de políticas en Rand, teme que algunos colegios hayan adoptado estas herramientas con prisa, sin pensar en sus límites ni en cómo responder a las alertas.
Los datos sobre eficacia son escasos. Un informe de 2022 del EdWeek Research Center, patrocinado por Gaggle, recoge que el 96 % de los usuarios de Gaggle entre 1.000 educadores estadounidenses creía que ayudaba a prevenir el suicidio y la autolesión. Es una percepción del profesorado, no una medición de resultados.
Hay además presión política. Wired cuenta que, la semana pasada, asociaciones de padres y docentes criticaron que Google exija a los centros activar funciones de IA generativa para usar Search. El senador Ed Markey citó esta demanda en una carta en la que pide a Google que deje a los colegios desactivar el Modo IA y los resúmenes con IA. Escribió que Google «fuerza imprudentemente la IA en las escuelas».
Quien quiera profundizar en el uso de estas herramientas en clase puede consultar nuestra guía de IA en la educación para docentes y estudiantes. Los dilemas de fondo están en la de ética de la inteligencia artificial.
Si tú o alguien cercano atraviesa una crisis, acude de inmediato a los servicios de emergencia o a la línea de prevención del suicidio de tu país.
Hay dos cosas que vigilar. La primera es si Google permite a los centros apagar el Modo IA y los resúmenes con IA, como pide Markey. La segunda es si el juicio aclara qué veía realmente el sistema de monitorización. Mientras tanto, cualquier colegio o familia puede preguntar hoy qué IA está activa en los equipos de los menores y quién recibe las alertas. Boudreaux lo resume así: solo la conexión humana permite abordar las causas de fondo.
