29 de octubre de 2026

Quién responde de una decisión de moderación automática

Un clasificador retira una publicación. O silencia una cuenta, o esconde un mensaje, o quita un vídeo. Nadie lo ha elegido: se ha cruzado un umbral. Multiplícalo por el volumen que genera cualquier comunidad grande en una tarde y tienes miles de pequeñas decisiones al día que nadie ha tomado y de las que todos son responsables.

La pregunta interesante no es si el modelo es preciso. Es qué pasa el día en que alguien pregunta por qué.

Los dos errores no son simétricos

Todo sistema de moderación cambia un error por otro. Sube el umbral y el contenido dañino queda visible más tiempo. Bájalo y te llevas por delante a gente que no ha hecho nada.

Ambos son malos, pero no del mismo modo, y la diferencia importa cuando ajustas el dial. El contenido dañino que se escapa daña a las personas expuestas a él, y la plataforma normalmente se entera por las denuncias: hay un canal y el daño es visible. Un falso positivo daña a una sola persona en silencio, y la plataforma a menudo no se entera nunca, porque la mayoría de quienes son silenciados por error no apelan. Concluyen que el sitio es arbitrario y se van.

Lo que significa que la métrica que tranquiliza a todos —la precisión sobre un conjunto de prueba etiquetado— no dice casi nada del segundo tipo de daño. El número que importa es el que nadie recoge por defecto: de las decisiones que nadie apeló, ¿cuántas eran erróneas?

Qué pide de verdad el derecho europeo

La Digital Services Act, el Reglamento (UE) 2022/2065, es el texto que regula esto en la UE, y trata menos de qué se modera que de cómo se rinde cuentas de ello. Cuatro artículos llevan casi todo el peso:

Leídos juntos, la arquitectura que el reglamento da por supuesta se hace evidente. No prohíbe la automatización. Exige que la automatización sea declarada, que sea reversible, y que haya una persona detrás de la reversión. Son tres requisitos de ingeniería distintos, y el tercero es un requisito de operaciones, no de modelo.

Fíjate en cuánto se parece a la lógica de las normas de transparencia del AI Act, de las que hablé en el artículo sobre el artículo 50: el legislador es relajado con que una máquina produzca la salida, y estricto con que una persona responda de ella.

La frase que hace el daño

«Tu contenido se ha retirado por incumplir las Normas de la comunidad.»

Esa frase es donde se pierde la mayor parte de la confianza, y falla en sus propios términos. No dice qué norma. No dice qué parte del contenido. No dice si alguien lo ha mirado. Y deja a la persona sin nada sobre lo que actuar, solo con un agravio.

Una exposición de motivos que funciona dice cuatro cosas: qué se ha restringido, contra qué norma concreta se ha contrastado, si la decisión ha sido automática, y qué puede hacer la persona a continuación. Ocupa dos líneas más. Convierte un hecho arbitrario en un procedimiento, y la gente discute con los procedimientos mucho más tranquila que con las paredes.

Hay también un beneficio más discreto, y es el que yo pondría en un caso de negocio: cada exposición de motivos bien hecha es un dato etiquetado sobre tu propio sistema. Una vaga no te enseña nada.

Las apelaciones son una operación, no un formulario

Aquí es donde un programa de moderación suele fallar, y falla por razones que no tienen nada que ver con la IA. La cola de apelaciones es la cola con menos prestigio del edificio. Es la última que se dota de personal, la que menos se mide, y el único sitio donde los errores del propio sistema son visibles.

Lo que necesita es lo que necesita cualquier cola de servicio, que es toda mi deformación profesional:

• Un SLA que sea real, y distinto por gravedad. La suspensión de una cuenta y un mensaje escondido no deberían estar en la misma cola con la misma prioridad.
• Una regla de enrutamiento que no devuelva la apelación a quien —o a lo que— tomó la decisión original.
• Revisores cualificados, con el contexto que el sistema automático no tenía: el hilo, el historial, el idioma, la broma.
• Una tasa de revocación que alguien lea a propósito. Una categoría con una tasa de revocación alta no es un problema de apelaciones: es un umbral mal puesto, y sale más barato arreglarlo en el umbral.

Ese último punto es el que defendería con más fuerza en un comité de seguimiento. La cola de apelaciones es el único bucle de retroalimentación honesto que tiene un sistema de moderación. Tratarla como un centro de coste a minimizar es la manera que tiene una organización de asegurarse de que nunca descubrirá que su clasificador va a la deriva.

Qué tiene que ser reconstruible

Seis meses después de una decisión, alguien preguntará por ella: un regulador, un periodista, un cliente, un juzgado, o simplemente un usuario muy persistente. Lo que necesitas en ese momento es un registro, no un recuerdo. Para cada decisión, significa poder decir:

1. Qué se decidió y cuándo, al segundo.
2. Por parte de qué: qué modelo, qué versión, qué umbral, o qué persona.
3. Contra qué norma, en la versión de las normas vigente ese día. Las políticas cambian; una decisión debe juzgarse contra la política con la que se tomó.
4. Qué se le dijo a la persona, con las palabras exactas que recibió.
5. Qué pasó después: si se apeló o no, si se confirmó o se revocó, y quién lo hizo.

Nada de esto es exótico. Es la misma disciplina de evidencia con la que funciona cualquier sector regulado, y yo la aprendí en un sitio sin ningún algoritmo: un hospital bajo acreditación Joint Commission, donde ningún sistema entraba en producción hasta que podías demostrar quién había decidido qué, cuándo, y con qué información.

Antes de que un modelo se acerque a producción

La evaluación que importa no es la que produce una cifra de precisión para el titular. Es la que responde por escrito preguntas incómodas:

• ¿El rendimiento aguanta por idioma? Un clasificador entrenado sobre todo en inglés será, en silencio, un sistema peor para tu comunidad en portugués, y la cifra agregada lo esconderá.
• ¿Aguanta por comunidad? Los insultos reapropiados, la broma interna y las provocaciones competitivas —en un juego, en un foro o en una sección de comentarios— son la fábrica clásica de falsos positivos.
• ¿Cuál es el perfil de error, no la tasa de error: a quién afecta erróneamente, y es siempre el mismo tipo de persona?
• ¿Cuál es el comportamiento por defecto cuando el modelo no está disponible o funciona degradado? Dejar pasar o bloquear son opciones defendibles; no haberlo decidido, no.

Y la que siempre acabo haciendo: ¿qué nos haría desconectarlo? Si no hay respuesta, no es un despliegue controlado. Es una esperanza.

Por qué es un problema de gestión

Todo lo anterior se puede comprar como tecnología y fallará igualmente, porque las partes difíciles son un umbral que nadie tiene asignado, una cola que nadie dota, una versión de política que nadie registró y una métrica que nadie lee. No son problemas de IA. Son los problemas ordinarios de hacer funcionar una operación de servicio con volumen, en varios idiomas, las veinticuatro horas, con la propiedad añadida de que los errores caen sobre personas y no sobre tickets.

Y eso es, al final, por lo que me parece que vale la pena escribir sobre esto. La parte interesante de la governanza de la IA nunca ha sido el modelo. Es si la organización que lo rodea todavía puede explicarse seis meses después.

Este artículo es información divulgativa, no asesoramiento jurídico. El texto de referencia es el Reglamento (UE) 2022/2065 (Digital Services Act), en particular los artículos 14, 16, 17 y 20. Para una decisión concreta con consecuencias legales, consulta con un profesional del derecho.