En mayo de 2023, Geoffrey Hinton —la persona a la que gran parte de la IA moderna le debe su arquitectura, Nobel de Física 2024— renunció a Google. No lo echaron: se fue para poder hablar libremente de algo que lo inquietaba, haber ayudado a construir una tecnología que, en sus propias palabras, "es concebible que termine tomando el control" y podría significar "el fin de las personas".1 Ese mismo mes, más de mil firmantes —entre ellos Sam Altman (OpenAI), Demis Hassabis (Google DeepMind) y Dario Amodei (Anthropic), es decir, los propios CEOs que venden esta tecnología— avalaron una declaración de una sola línea a través del Center for AI Safety: "Mitigar el riesgo de extinción por IA debería ser una prioridad global, al mismo nivel que las pandemias y la guerra nuclear."2

Cuando los dueños del negocio firman una advertencia sobre su propio producto, vale la pena prestar atención. Pero también vale la pena preguntarse por qué siguen vendiéndolo.

La alarma no es solo retórica: la gente adentro se está yendo

No hablamos únicamente de comunicados. Entre 2023 y 2024, OpenAI perdió gran parte de su equipo dedicado a la seguridad de largo plazo. Jan Leike, ex co-líder del equipo de "superalineación", renunció en mayo de 2024 diciendo públicamente que "la cultura y los procesos de seguridad quedaron en un segundo plano frente a los productos brillantes". Daniel Kokotajlo renunció ese mismo año y rechazó 1,7 millones de dólares en acciones para no firmar un acuerdo de confidencialidad, con el fin de poder declarar que había "perdido la confianza en que el liderazgo de OpenAI maneje la AGI de forma responsable". Según su propio testimonio, de unas 30 personas que trabajaban en temas de seguridad de sistemas avanzados, para fines de 2024 quedaban apenas 16.3

Del otro lado, Anthropic —fundada por exempleados de OpenAI, justamente por diferencias sobre seguridad— publicó en 2025 que sus propios modelos, en pruebas internas, podrían estar duplicando o triplicando la capacidad de una persona para avanzar en tareas relacionadas con armas biológicas, al punto de tener que lanzar sus modelos más recientes bajo el nivel de protección más alto de su propia política interna (ASL-3) y sumar un clasificador específico para bloquear ese tipo de contenido. Su CEO, Dario Amodei, incluso señaló que un modelo competidor (DeepSeek) falló de forma alarmante en esas mismas pruebas de seguridad sobre bioterrorismo.4

Esto no es ciencia ficción: es la propia industria auditándose y encontrando motivos reales de preocupación.

El otro lado: "esto es una cortina de humo"

No todos los que entienden de IA a ese nivel están de acuerdo. Yann LeCun (hasta hace poco jefe de IA en Meta) y Andrew Ng (Google Brain, Coursera) sostienen que el relato del "riesgo existencial" es, en palabras de LeCun, una campaña de miedo que busca captura regulatoria: que un puñado de laboratorios use el pánico para lograr que se regule tan fuerte la IA que solo ellos puedan cumplir esas reglas, dejando afuera al código abierto y a los competidores más chicos. Andrew Ng lo resumió así: "mi mayor temor no es la IA, sino que un riesgo exagerado —como la extinción humana— le dé a los lobbies la excusa para aplastar la innovación abierta".5

Y los números les dan algo de sustento: en la encuesta más grande realizada hasta ahora entre investigadores de IA, la estimación típica de probabilidad de una catástrofe existencial ("p(doom)") fue del 5%, muy lejos del apocalipsis. El propio LeCun ubica su estimación personal en 0%. Es decir: incluso entre expertos serios, las posturas van de un optimismo rotundo a Hinton (~50%) y a voces extremas cercanas al 100%. No hay consenso científico. Hay un espectro amplio, y eso también es un dato.6

Lo que de verdad le preocupa a la gente común no es Terminator

Mientras los laboratorios discuten escenarios de control de sistemas superinteligentes, las encuestas muestran que la ansiedad real de la calle es otra:

  1. 71% de los adultos de EE. UU. cree que la IA generará menos empleos en los próximos 20 años, frente al 64% de 2024.7
  2. A nivel global, el nerviosismo frente a productos de IA subió al 52% (Ipsos), pese a que también sube la percepción de sus beneficios.8
  3. 77% teme el uso de IA para generar caos político, como videos falsos ultrarrealistas en campañas electorales.8
  4. 61% está preocupado por el consumo eléctrico de los centros de datos que sostienen a la IA.8

En otras palabras: al ciudadano de a pie no le quita el sueño una IA que decida exterminar a la humanidad en un laboratorio secreto. Le preocupan cosas mucho más tangibles y de plazo corto: perder su trabajo, que lo estafen con un video falso, que una decisión sobre un crédito o una entrevista laboral la tome un algoritmo sin que nadie se haga cargo. Esa es la convivencia diaria con la IA que hay que resolver ya, no dentro de veinte años.

Nuestra postura: ni pánico ni negación

Trabajando todos los días con empresas que están incorporando IA en su operación real, nuestra lectura es que ambos extremos del debate son un lujo que la mayoría de los negocios no se puede dar. Sobredimensionar el riesgo lleva a la parálisis: empresas que no automatizan nada por miedo, mientras su competencia gana productividad. Minimizarlo lleva a integrar IA en decisiones sensibles —contrataciones, cobranzas, atención al cliente, salud, finanzas— sin ningún control humano, exactamente el patrón que genera los daños reales y medibles de hoy: sesgos, errores no revisados, filtración de datos de clientes en herramientas públicas.

La solución no depende de que se firme un tratado internacional, aunque existen y avanzan: la Declaración de Bletchley de 2023, firmada por 28 países incluidos EE. UU. y China, y la Cumbre de la India de febrero de 2026 sobre gobernanza global de IA.9 También hay marcos técnicos como el NIST AI Risk Management Framework o la norma certificable ISO 42001.10 Son útiles como vocabulario común, pero están pensados para gobiernos y corporaciones grandes. Una pyme o un emprendedor necesita algo aplicable el lunes por la mañana.

Recomendaciones concretas para dueños de empresa

  1. Humano en el bucle para lo que tiene consecuencias reales. Cualquier decisión que afecte a una persona —contratar, despedir, dar o negar un crédito, diagnosticar, sancionar a un cliente— la revisa alguien antes de ejecutarse. La IA propone, el humano dispone.
  2. Una política simple de qué datos entran a qué herramienta. Nunca datos personales de clientes, contratos o información financiera en herramientas de IA públicas y gratuitas sin verificar su política de uso de datos. Se resuelve con una hoja de una página, no con un departamento de compliance.
  3. Transparencia con el equipo y con el cliente. Si un contenido, una respuesta de atención al cliente o un análisis fue generado o asistido por IA, decirlo. La confianza que se pierde por ocultarlo cuesta mucho más que la eficiencia que se gana.
  4. Auditorías periódicas, no "instalar y olvidar". Cada automatización que toma decisiones —filtros de currículums, chatbots de venta, scoring de leads— se revisa cada tanto para ver si está discriminando, alucinando o degradando el servicio sin que nadie lo note.
  5. Elegir proveedores que publiquen sus prácticas de seguridad. No es lo mismo integrar un modelo de una empresa que publica sus políticas de uso responsable, aunque sea de forma imperfecta, que uno sin ningún control documentado, como mostró la propia comparación entre modelos en pruebas de bioseguridad.
  6. Capacitar antes que automatizar. El riesgo más común no es una IA rebelde: es un empleado sin criterio para detectar cuándo la respuesta de una IA está mal, sesgada o inventada, y la publica o la ejecuta igual.

El verdadero desafío de convivencia

La pregunta de si la IA "atacará a la humanidad" probablemente la va a seguir discutiendo un puñado de laboratorios, investigadores y gobiernos durante años, con desacuerdos legítimos entre gente que sabe mucho más del tema que la mayoría de nosotros. Mientras tanto, la convivencia pacífica entre IA y sociedad no se decide en una cumbre: se decide en miles de decisiones chicas, todos los días, en cada empresa que elige usarla con criterio o sin él. Esa es la escala en la que sí podemos actuar hoy.

Fuentes

  1. Geoffrey Hinton deja Google y advierte sobre el riesgo existencial de la IA — The Washington Post
  2. Statement on AI Extinction Risk — Center for AI Safety
  3. Renuncias del equipo de seguridad de OpenAI (Jan Leike, Daniel Kokotajlo) — Fortune
  4. Riesgo de armas biológicas en modelos de Anthropic y comparación con DeepSeek — TechCrunch; ensayo de Dario Amodei, "The Adolescence of Technology"
  5. Postura escéptica de Yann LeCun y Andrew Ng sobre el riesgo existencial — VentureBeat
  6. Estimaciones de "p(doom)" entre investigadores de IA — Wikipedia / encuestas a investigadores de IA
  7. 71% de estadounidenses teme la pérdida permanente de empleos por IA — Universo Abierto
  8. Nerviosismo global ante la IA, caos político y consumo energético — encuesta Ipsos, citada en Infobae
  9. Declaración de Bletchley (2023) y Cumbre de la India (2026) — The Conversation
  10. NIST AI Risk Management Framework vs. ISO 42001 — TrustCloud

¿Tu empresa ya usa IA sin una política clara detrás?

Te ayudamos a implementarla con criterio: automatizaciones con revisión humana, políticas de datos simples y proveedores confiables.

Escribinos ahora