Dret algorítmic: qui respon quan decideix una màquina

Dret algorítmic: qui respon quan decideix una màquina

Un algorisme rebutja el teu crèdit. Un altre filtra el teu CV abans que un humà el llegeixi. Un tercer decideix quines publicacions veus i quines no. La pregunta que el…

· Compliment d’IA i dades

Un algorisme rebutja el teu crèdit. Un altre filtra el teu CV abans que un humà el llegeixi. Un tercer decideix quines publicacions veus i quines no. La pregunta que el dret ja no pot ignorar és: qui respon quan aquest sistema s'equivoca, discrimina o t'afecta injustament? El projecte de llei d'IA a Xile i la Ley 21.719 comencen a donar resposta. Això és el que necessites saber.

Quan el qui decideix és un sistema

L'automatització de decisions no és nova, però el seu abast actual sí que ho és. Avui és habitual que sistemes d'intel·ligència artificial participin en decisions de crèdit, contractació, assignació de serveis públics, vigilància i avaluació de riscos. L'eficiència que ofereixen és real, però sorgeix un buit igualment real: si el sistema s'equivoca o reprodueix una discriminació, qui és el responsable?

El dret tradicional assigna responsabilitat a persones i organitzacions. Quan el decisor és un model entrenat amb milions de dades, aquesta cadena de responsabilitat es torna opaca. Això és exactament el que l'anomenat «dret algorítmic» intenta resoldre.

Els problemes concrets que la regulació busca abordar

  • Biaix i discriminació: un model entrenat amb dades històriques pot reproduir patrons discriminatoris de gènere, ètnia o classe socioeconòmica, encara que ningú l'hagi programat explícitament per a això. Si el conjunt de dades de contractació històrica afavoria els homes, l'algorisme tendirà a fer el mateix.
  • Opacitat («caixa negra»): molts sistemes moderns d'IA no poden explicar en termes humans per què van prendre una decisió. Això és problemàtic quan aquesta decisió t'afecta directament i la vols recórrer.
  • Responsabilitat difusa: respon qui va entrenar el model, qui el va desplegar o qui el va fer servir per prendre la decisió? Sense regles clares, la víctima queda sense interlocutor.
  • Dret a revisió humana: en decisions que afecten drets importants, la tendència reguladora és que no n'hi ha prou amb el resultat de l'algorisme: hi ha d'haver un humà capaç de revisar-lo i corregir-lo.

El projecte de llei d'IA a Xile: com classifica els riscos

Xile va aprovar l'octubre de 2025 a la Cambra de Diputats un projecte de llei sobre Intel·ligència Artificial que actualment continua tramitant-se al Senat. El seu enfocament és similar al de l'AI Act europeu: classificar els sistemes d'IA segons el risc que representen per als drets fonamentals.

  • Risc inacceptable: usos directament prohibits per ser incompatibles amb els drets fonamentals (per exemple, sistemes de puntuació social massiva o vigilància biomètrica indiscriminada).
  • Alt risc: sistemes que afecten decisions sensibles —salut, crèdit, ocupació, educació, justícia— i que requereixen més transparència, documentació i supervisió humana.
  • Risc limitat: sistemes amb potencial de manipulació menor, subjectes a obligacions de transparència bàsica (per exemple, informar que l'usuari està parlant amb un bot).
  • Sense risc evident: usos de baix impacte amb mínimes restriccions.

El projecte també crea un Consell Assessor Tècnic d'IA sota el Ministeri de Ciència, i estableix multes de fins a 20.000 UTM per als qui infringeixin la normativa. Pots seguir-ne la tramitació a la Cambra de Diputats.

Com es connecta amb la Ley 21.719 de dades personals

Les decisions algorítmiques gairebé sempre es basen en dades personals. Per això la Ley 21.719, que entra en vigència plena l'1 de desembre de 2026, és complementària: estableix que les persones tenen dret a no ser objecte de decisions basades únicament en tractaments automatitzats quan aquestes decisions els produeixin efectes jurídics significatius o els afectin de manera similar. En aquests casos, el titular té dret a obtenir intervenció humana, a expressar el seu punt de vista i a impugnar la decisió.

A la pràctica, això significa que si un banc rebutja la teva sol·licitud de crèdit fent servir un model automàtic, tens dret a demanar que un humà revisi aquesta decisió.

Un exemple concret: el filtre automàtic de CV

Moltes empreses fan servir sistemes d'ATS (Applicant Tracking Systems) i, cada vegada més, models d'IA que puntuen els CV abans que arribin a una persona. Si el model va ser entrenat amb dades d'empleats previs —majoritàriament homes, de certa universitat, amb cert perfil—, tendirà a filtrar candidats que no encaixen en aquest motlle, encara que siguin igualment competents.

Sota el marc que s'està construint a Xile, un sistema així seria d'«alt risc» (decisió d'ocupació amb impacte significatiu). Això implicaria documentació obligatòria, auditories periòdiques i la possibilitat que el candidat rebutjat sol·liciti explicació i revisió humana.

Què significa això a la pràctica

  • Si fas servir sistemes automàtics per prendre decisions sobre clients o treballadors: la direcció reguladora exigeix que els puguis explicar, supervisar i documentar. Anticipar-t'hi avui és més barat que adaptar-te sota pressió.
  • Com a persona afectada: tens dret a saber que una decisió va ser automatitzada, a demanar explicació i, en casos rellevants, a exigir revisió humana. Aquests drets ja són parcialment a la Ley 21.719 i es reforçaran amb la llei d'IA.
  • Per a professionals del dret i la tecnologia: la intersecció entre regulació d'IA, protecció de dades i responsabilitat civil és un dels camps de més creixement en la pràctica jurídica dels propers anys.

En síntesi

El dret algorítmic respon a una necessitat real: que les decisions que ens afecten —encara que les prengui una màquina— siguin explicables, supervisades i recurribles. Xile avança en aquesta direcció amb el projecte de llei d'IA i la Ley 21.719. Per a les empreses, el missatge és clar: transparència i supervisió humana ja no són opcionals. Per a les persones, conèixer aquests drets és deixar de quedar a mercè de sistemes que ningú els explica.

Fonts: Projecte de llei IA — Cambra de Diputats de Xile; Ley 21.719 — BCN. Contingut informatiu: no reemplaça assessorament professional.

— Mindset & Code · Legal-Tech Chile · dret i tecnologia, explicats simple.

Et pot interessar