29 d'octubre de 2026

Qui respon d'una decisió de moderació automàtica

Un classificador retira una publicació. O silencia un compte, o amaga un missatge, o treu un vídeo. Ningú no ho ha triat: s'ha creuat un llindar. Multiplica-ho pel volum que genera qualsevol comunitat gran en una tarda i tens milers de petites decisions al dia que ningú no ha pres i de les quals tothom és responsable.

La pregunta interessant no és si el model és precís. És què passa el dia que algú pregunta per què.

Els dos errors no són simètrics

Tot sistema de moderació canvia un error per l'altre. Apuja el llindar i el contingut nociu queda visible més temps. Abaixa'l i t'endús gent que no ha fet res.

Tots dos són dolents, però no de la mateixa manera, i la diferència importa quan ajustes el dial. El contingut nociu que s'escapa fa mal a les persones que hi queden exposades, i la plataforma normalment se n'assabenta per les denúncies: hi ha un canal i el dany és visible. Un fals positiu fa mal a una sola persona en silenci, i la plataforma sovint no se n'assabenta mai, perquè la majoria de la gent silenciada per error no apel·la. Conclou que el lloc és arbitrari i se'n va.

Això vol dir que la mètrica que tranquil·litza tothom —la precisió sobre un conjunt de prova etiquetat— no diu gairebé res del segon tipus de dany. El número que importa és el que ningú no recull per defecte: de les decisions que ningú no va apel·lar, quantes eren errònies?

Què demana de debò el dret europeu

La Digital Services Act, el Reglament (UE) 2022/2065, és el text que regula això a la UE, i tracta menys de què modereu que de com en rendiu comptes. Quatre articles porten gairebé tot el pes:

Llegits junts, l'arquitectura que el reglament dona per suposada es fa evident. No prohibeix l'automatització. Exigeix que l'automatització sigui declarada, que sigui reversible, i que hi hagi una persona darrere de la reversió. Són tres requisits d'enginyeria diferents, i el tercer és un requisit d'operacions, no de model.

Fixa't com s'assembla a la lògica de les normes de transparència de l'AI Act, de les quals vaig parlar a l'article sobre l'article 50: el legislador és relaxat amb el fet que una màquina produeixi la sortida, i estricte amb si una persona en respon.

La frase que fa el mal

«El teu contingut s'ha retirat per incomplir les Normes de la comunitat.»

Aquesta frase és on es perd la major part de la confiança, i falla en els seus propis termes. No diu quina norma. No diu quina part del contingut. No diu si algú ho ha mirat. I deixa la persona sense res sobre què actuar, només amb un greuge.

Una exposició de motius que funciona diu quatre coses: què s'ha restringit, contra quina norma concreta s'ha contrastat, si la decisió ha estat automàtica, i què pot fer la persona a continuació. Ocupa dues línies més. Converteix un fet arbitrari en un procediment, i la gent discuteix amb els procediments molt més tranquil·lament que amb les parets.

Hi ha també un benefici més discret, i és el que jo posaria en un cas de negoci: cada exposició de motius ben feta és una dada etiquetada sobre el teu propi sistema. Una de vaga no t'ensenya res.

Les apel·lacions són una operació, no un formulari

Aquí és on un programa de moderació sol fallar, i falla per raons que no tenen res a veure amb la IA. La cua d'apel·lacions és la cua amb menys prestigi de l'edifici. És l'última que es dota de personal, la que menys es mesura, i l'únic lloc on els errors del propi sistema són visibles.

El que necessita és el que necessita qualsevol cua de servei, que és tota la meva deformació professional:

• Un SLA que sigui real, i diferent per gravetat. La suspensió d'un compte i un missatge amagat no haurien d'estar a la mateixa cua amb la mateixa prioritat.
• Una regla d'encaminament que no torni l'apel·lació a qui —o a què— va prendre la decisió original.
• Revisors qualificats, amb el context que el sistema automàtic no tenia: el fil, l'historial, la llengua, la broma.
• Una taxa de revocació que algú llegeixi a propòsit. Una categoria amb una taxa de revocació alta no és un problema d'apel·lacions: és un llindar mal posat, i surt més barat arreglar-lo al llindar.

Aquest últim punt és el que defensaria amb més força en un comitè de seguiment. La cua d'apel·lacions és l'únic bucle de retroalimentació honest que té un sistema de moderació. Tractar-la com un centre de cost a minimitzar és la manera que té una organització d'assegurar-se que mai no descobrirà que el seu classificador va a la deriva.

Què ha de ser reconstruïble

Sis mesos després d'una decisió, algú en preguntarà: un regulador, un periodista, un client, un jutjat, o simplement un usuari molt persistent. El que necessites en aquell moment és un registre, no un record. Per a cada decisió, vol dir poder dir:

1. Què es va decidir i quan, al segon.
2. Per part de què: quin model, quina versió, quin llindar, o quina persona.
3. Contra quina norma, en la versió de les normes que era vigent aquell dia. Les polítiques canvien; una decisió s'ha de jutjar contra la política amb què es va prendre.
4. Què se li va dir a la persona, amb les paraules exactes que va rebre.
5. Què va passar després: si es va apel·lar o no, si es va confirmar o revocar, i qui ho va fer.

Res d'això és exòtic. És la mateixa disciplina d'evidència amb què funciona qualsevol sector regulat, i jo la vaig aprendre en un lloc sense cap algorisme: un hospital sota acreditació Joint Commission, on cap sistema no entrava en producció fins que podies demostrar qui havia decidit què, quan, i amb quina informació.

Abans que un model s'acosti a producció

L'avaluació que importa no és la que produeix una xifra de precisió per al titular. És la que respon per escrit preguntes incòmodes:

• El rendiment aguanta per llengua? Un classificador entrenat sobretot en anglès serà, en silenci, un sistema pitjor per a la teva comunitat en portuguès, i la xifra agregada ho amagarà.
• Aguanta per comunitat? Els insults reapropiats, la conya interna i les provocacions competitives —en un joc, en un fòrum o en una secció de comentaris— són la fàbrica clàssica de falsos positius.
• Quin és el perfil d'error, no la taxa d'error: a qui afecta erròniament, i és sempre el mateix tipus de persona?
• Quin és el comportament per defecte quan el model no està disponible o funciona degradat? Deixar passar o bloquejar són totes dues opcions defensables; no haver-ho decidit, no.

I la que sempre m'acaba sortint: què ens faria desconnectar-ho? Si no hi ha resposta, no és un desplegament controlat. És una esperança.

Per què és un problema de gestió

Tot el que hi ha aquí dalt es pot comprar com a tecnologia i fallarà igualment, perquè les parts difícils són un llindar que ningú no té assignat, una cua que ningú no dota, una versió de política que ningú no va registrar i una mètrica que ningú no llegeix. No són problemes d'IA. Són els problemes ordinaris de fer funcionar una operació de servei amb volum, en diverses llengües, les vint-i-quatre hores, amb la propietat afegida que els errors cauen sobre persones i no sobre tiquets.

I això és, al final, per què trobo que val la pena escriure'n. La part interessant de la governança de la IA mai no ha estat el model. És si l'organització que l'envolta encara es pot explicar sis mesos després.

Aquest article és informació divulgativa, no assessorament jurídic. El text de referència és el Reglament (UE) 2022/2065 (Digital Services Act), en particular els articles 14, 16, 17 i 20. Per a una decisió concreta amb conseqüències legals, consulta amb un professional del dret.