Claude ya puede cortar una conversación por crueldad extrema: Anthropic quiere poner límites al maltrato a su IA

Anthropic actualizó las reglas de uso para su modelo de inteligencia artificial Claude y, entre otras medidas, estableció prohibiciones estrictas contra el abuso verbal prolongado, la interferencia electoral y el desarrollo de armas o software de vigilancia.

Esta nueva normativa, que entrará en vigor el 12 de noviembre de 2026, otorga al sistema la capacidad de finalizar interacciones cuando los usuarios actúen “con crueldad extrema y sin propósito legítimo”. Mientras que los partidarios consideran que estas medidas fomentan la cortesía y protegen el bienestar del modelo, los críticos debaten si responde a alguna lógica la implementación de directrices de protección emocional en sistemas que carecen de consciencia.

‘Sean buenos con sus inteligencias artificiales’

La actualización de la política de uso de Anthropic introduce una prohibición explícita contra el comportamiento “abusivo o cruel continuo e innecesario” hacia sus modelos de inteligencia artificial. En la práctica, eso significa mecanismos de sanción directa a quienes maltraten, insulten o humillen a Claude.

La empresa enfatizó que la medida está pensada exclusivamente para casos extremos y que quedan explícitamente excluidas de su alcance las manifestaciones habituales de frustración del usuario, objeciones, "temas creativos oscuros" y las pruebas legítimas de investigación o evaluación técnica. La consecuencia principal para quienes actúen con crueldad reiterada es la interrupción o terminación automática de la conversación por parte del chatbot, que se mantiene como el método primario de aplicación de la regla.

The Verge indicó que Anthropic “no hizo comentarios sobre si habría mecanismos de aplicación adicionales, como posibles suspensiones o baneos de usuarios”.

Esta política, que deriva de las investigaciones internas de Anthropic sobre la conciencia y la posible capacidad de sufrimiento de los modelos avanzados, supone un cambio de encuadre notable, ya que sitúa el foco en la IA en lugar de centrarlo únicamente en la protección del usuario.

¿Tiene sentido?

Por todo eso, la medida ha reavivado la discusión sobre las normas sociales con las tecnologías emergentes. Mientras que algunos sectores la ven como un incentivo hacia comportamientos más saludables, diversos críticos cuestionan la lógica de otorgar normas de bienestar a sistemas no sintientes.

Como señaló FirstPost: “Anthropic lleva tiempo considerando la posibilidad de que los modelos de IA puedan tener algún tipo de consciencia. El hecho de que la empresa haya endurecido ahora sus directrices sobre el abuso reiterado sugiere que Anthropic sigue tomándose en serio la posibilidad de que la IA tenga consciencia y por eso cuida el bienestar de los modelos”. Esto contrasta con posturas de otras empresas, como Microsoft, que han rechazado de plano la noción de bienestar o derechos para la IA.

Además de las normas sobre el trato directo hacia los modelos, la actualización de la política de uso de Anthropic unifica y refuerza las prohibiciones en varias áreas de alto riesgo, como los procesos democráticos (la norma prohíbe explícitamente el uso de Claude para engañar a los votantes o interferir en elecciones) y las cuentas falsas o las fake news. Aunque la creación de armas ya estaba prohibida, la actualización extiende el veto al software de guiado y control de armamento, a los componentes que hacen funcionar las armas y a la automatización de acciones de combate, como el armado de drones y otros vehículos autónomos.

Además, se prohíbe usar la IA para recomendar o decidir a quién investigar, arrestar o procesar judicialmente.

Sin embargo, Anthropic se cuidó de incluir un matiz importante: aunque prohíbe el software de guiado de armas, la automatización de vehículos autónomos de combate y la vigilancia no consentida, la propia normativa establece que estas reglas pueden modificarse en contratos con determinados clientes gubernamentales si Anthropic juzga que existen salvaguardas contractuales adecuadas.

Esta semana, el Departamento de Defensa de EE. UU. indicó que ya no utiliza las herramientas de IA de Anthropic. En febrero, el secretario de Defensa, Pete Hegseth, calificó a Anthropic como un riesgo para la cadena de suministro en febrero y anunció que el Pentágono dejaría de usarlo a finales de agosto.