El Reglament (UE) 2024/1689 sobre intel·ligència artificial —conegut com a AI Act— estableix el primer marc jurídic horitzontal del món per a la intel·ligència artificial. Per als sistemes considerats d'"alt risc", les obligacions plenes són aplicables des de l'agost del 2026. Per a les administracions públiques, això significa que moltes eines que ja s'utilitzen o que estan a punt d'adoptar-se passen a estar subjectes a un règim exigent de transparència, supervisió i documentació.
Què es considera "alt risc" en l'administració pública
L'annex III del Reglament enumera els usos de la IA considerats d'alt risc. Diversos afecten directament l'administració pública:
- Identificació biomètrica remota en espais accessibles al públic (inclou el reconeixement facial en càmeres municipals, llevat d'excepcions taxades amb finalitats policials).
- Sistemes de presa de decisions sobre l'accés a serveis públics essencials (ajuts socials, serveis sanitaris, etc.).
- Sistemes utilitzats per l'administració de justícia i en processos democràtics.
- Sistemes de gestió i operació d'infraestructures crítiques (control del trànsit, subministraments).
- Sistemes utilitzats per les autoritats policials per avaluar riscos individuals o detectar emocions.
També hi ha pràctiques prohibides de manera absoluta, sense possibilitat d'excepció per a les administracions: el "social scoring" governamental, la categorització biomètrica per origen racial, la inferència d'emocions en llocs de treball o centres educatius, i la creació de bases de dades de reconeixement facial mitjançant scraping indiscriminat.
Les obligacions per als sistemes d'alt risc
Quan un sistema entra dins l'annex III, el proveïdor (Labrax, en el nostre cas) i l'usuari (l'administració que el desplega) assumeixen obligacions diferents:
Obligacions del proveïdor
- Sistema de gestió de la qualitat documentat, amb procediments per a tot el cicle de vida.
- Documentació tècnica exhaustiva: disseny, dades d'entrenament, mètriques de rendiment, riscos identificats i mitigacions.
- Conservació de registres (logs) durant tota la vida útil del sistema, amb traçabilitat de les decisions.
- Marcatge CE i declaració UE de conformitat abans de comercialitzar-lo.
- Inscripció a la base de dades europea de sistemes d'IA d'alt risc.
Obligacions de l'administració usuària
- Supervisió humana efectiva: personal capacitat ha de poder anul·lar qualsevol decisió del sistema.
- Informació a les persones afectades: quan una persona és objecte d'una decisió basada en IA, n'ha de ser informada.
- Avaluació d'impacte en drets fonamentals abans del desplegament.
- Conservació de registres (logs) durant un mínim de 6 mesos.
- Cooperació amb les autoritats de vigilància.
El cas espanyol: AESIA i l'entorn de proves (sandbox) regulador
Espanya és el primer país de la UE que ha creat una autoritat nacional específica per a la IA, l'Agència Espanyola de Supervisió de la Intel·ligència Artificial (AESIA), amb seu a A Coruña. L'AESIA és l'autoritat competent per vigilar el compliment de l'AI Act a Espanya i per autoritzar l'entorn de proves (sandbox) regulador que permet provar sistemes d'IA en entorns controlats abans del seu desplegament massiu.
Per a les administracions públiques espanyoles, hi ha tres figures clau:
- AESIA com a autoritat de vigilància del mercat.
- AEPD com a autoritat competent quan hi ha tractament de dades personals (que és pràcticament sempre).
- Punt de contacte únic a cada administració per gestionar les obligacions de l'AI Act.
Sistemes d'IA habituals a l'administració local
Revisem quins són els usos més habituals i quin nivell de risc s'hi aplica:
| Cas d'ús | Risc | Implicació |
|---|---|---|
| OCR de matrícules (ANPR) sense identificació de persona | Limitat | Transparència bàsica |
| Reconeixement facial municipal genèric | Alt / prohibit | Només casos taxats |
| Xatbot d'atenció ciutadana | Limitat | Etiquetar com a IA |
| Anàlisi predictiva per a serveis socials | Alt | Documentació + supervisió |
| Detecció automàtica de patrons en grafits vandàlics | Alt | Documentació + supervisió |
| Recompte automatitzat de l'aforament en esdeveniments | Limitat | Transparència bàsica |
La línia fina és en el detall. Per exemple, una càmera ANPR que només llegeix matrícules i verifica autoritzacions és de risc limitat. La mateixa càmera amb reconeixement facial afegit passa a ser de risc alt o fins i tot prohibida segons el cas.
Com preparar-se: quatre passos
1. Inventariar els sistemes amb IA en ús
Moltes administracions no són conscients de quants components d'IA tenen en funcionament. Comença amb un inventari: quins sistemes utilitzen models? Qui els va proporcionar? Hi ha documentació tècnica disponible?
2. Classificar per nivell de risc
Cada sistema s'ha d'enquadrar en una de les categories del Reglament: prohibit, alt risc, risc limitat, risc mínim. La consultora de l'administració o el mateix proveïdor poden assessorar-hi.
3. Sol·licitar la documentació al proveïdor
Per als sistemes d'alt risc, l'administració ha de poder acreditar que el proveïdor compleix. Sol·licita la documentació tècnica, la declaració de conformitat i els registres operatius.
4. Designar un punt de contacte i formar el personal
L'AI Act exigeix que les persones que operen el sistema tinguin una formació adequada. Designar un responsable intern i planificar la formació és obligatori per als sistemes d'alt risc.
Com ho abordem a Labrax
A Labrax tenim productes amb components d'IA —especialment Grafiti-ID i OCR-ID— dissenyats per complir l'AI Act des del primer dia d'obligació. Com a marc de referència treballem amb la ISO/IEC 42001, la norma internacional de sistemes de gestió d'intel·ligència artificial, que aporta l'estructura de governança (rols, avaluació de riscos, control de les dades d'entrenament, supervisió i millora contínua) en què es recolza bona part del que exigeix el reglament europeu. Això inclou:
- Documentació tècnica completa accessible per a clients i autoritats.
- Registres operatius exportables i conservats durant el cicle de vida del sistema.
- Mecanismes de supervisió humana integrats (cap sistema pren decisions finals sobre drets sense possibilitat de revisió humana).
- Formació específica per als operadors de cada producte.
- Inscripció a la base de dades europea de sistemes d'alt risc quan escaigui.
- Gestió de la IA d'acord amb la ISO/IEC 42001, certificació de què disposa Labrax.
Si la teva administració està avaluant o desplegant sistemes amb IA, et podem ajudar a navegar per l'AI Act i a estructurar-ne el compliment.
