Material realizat de Ashley Filip.
În ultimul deceniu, tot mai multe țări au început să folosească algoritmi și sisteme de inteligență artificială pentru a lua decizii care, până nu demult, erau destinate exclusiv funcționarilor publici. De la stabilirea impozitelor până la depistarea fraudei sociale sau alocarea resurselor în sănătate, statele văd în IA o soluție rapidă și „obiectivă” pentru probleme inițial complicate. Totuși, atunci când algoritmii preiau decizii care afectează direct viețile oamenilor, iar transparența și controlul democratic lipsesc, consecințele pot fi ușor vizibile. De exemplu, cazul Olandei este considerat astăzi un studiu obligatoriu în literatura de specialitate, aratând cât de repede se poate transforma o inovație tehnologică într-o încălcare gravă a drepturilor fundamentale.
Începând cu anul 2014, guvernul olandez a folosit un instrument numit Systeem Risico Indicatie (SyRI), un sistem automatizat care combina date din mai multe baze guvernamentale precum venituri, locuință, educație, datorii, asigurări sociale pentru a construi profiluri de risc și a identifica persoanele cu probabilitate mai mare de a comite fraude legate de beneficii sociale, impozite sau legislația muncii. Modul de funcționare al algoritmului nu a fost niciodată făcut public, iar persoanele vizate nu erau informate atunci când dosarul lor intra într-o „analiză de risc”.
SyRI a fost folosit mai ales în cartiere cu venituri mici și populație formată majoritar din migranți, ceea ce a atras critici din partea organizațiilor pentru drepturile omului încă din primii ani de funcționare. În cele din urmă, o coaliție de organizații neguvernamentale și sindicate a dat statul olandez în judecată, iar la 5 februarie 2020 Tribunalul Districtual din Haga a pronunțat o decizie considerată una dintre primele de acest fel la nivel mondial. Instanța a constatat că legislația care stă la baza SyRI nu îndeplinea condițiile de necesitate și proporționalitate impuse de articolul 8 din Convenția Europeană a Drepturilor Omului, care garantează dreptul la viață privată.
Instanța a pus accentul pe lipsa de transparență a sistemului, întrucât nici cetățenii vizați, nici măcar judecătorii nu au putut afla exact ce variabile foloseau modelele de risc și cum erau ele ponderate. Fără această transparență, a declarat instanța, nu poate exista nici control judiciar eficient, nici încredere a cetățenilor în autorități. Drept urmare, statul olandez a anunțat că nu va ataca decizia, iar folosirea SyRI a fost oprită definitiv.
Dacă procesul SyRI a atras atenția lumii juridice, un al doilea caz din Țările de Jos, cunoscut sub numele de ,,toeslagenaffaire” (afacerea alocațiilor), a devenit un scandal politic național cu consecințe umane extrem de grave. Începând din 2013, Administrația Fiscală și Vamală olandeză a folosit un algoritm de auto-învățare pentru a identifica părinții care ar fi putut solicita fraudulos alocații pentru îngrijirea copiilor. Printre datele folosite pentru calcularea scorului de s-a numărat, așa cum a arătat ancheta ulterioară, dubla cetățenie a solicitanților, ceea ce a dus la marcarea disproporționată a familiilor cu origini străine, inclusiv a celor din comunitățile caraibiano-olandeze.
Zeci de mii de familii au fost acuzate pe nedrept de fraudă și obligate să restituie, uneori integral și retroactiv pe mai mulți ani, sume de ordinul zecilor de mii de euro. Ancheta parlamentară dedicată acestui subiect, publicată în decembrie 2020 sub titlul „Ongekend Onrecht” (Nedreptate fără precedent), a stabilit că aproximativ 26.000 de familii au fost acuzate în mod eronat, multe dintre ele ajungând în incapacitate de plată sau chiar pierzându-și locuința. Peste 1.000 de copii au fost, în acest context, plasați în îngrijire alternativă.
Autoritatea olandeză pentru protecția datelor a analizat separat modul în care Administrația Fiscală din țară prelucra informațiile despre cetățenie și a calificat practica drept ilegală, discriminatorie și necorespunzătoare, aplicând instituției o amendă de 2,75 milioane de euro, cea mai mare sancțiune aplicată vreodată de această autoritate unei instituții publice. Presiunea generată de investigațiile jurnalistice și de raportul parlamentar a culminat la 15 ianuarie 2021 cu demisia întregului cabinet condus de premierul Mark Rutte, un gest rar în democrațiile europene, motivat explicit de eșecul administrației de a-și proteja cetățenii de propriile sisteme automatizate.
Cele două cazuri, deși distincte din punct de vedere tehnic și instituțional, converg spre aceleași concluzii. În primul rând, opacitatea este incompatibilă cu statul de drept: atunci când un algoritm ia sau influențează decizii cu impact asupra drepturilor cetățenilor, iar funcționarea lui nu poate fi explicată sau contestată, controlul judiciar și administrativ devine practic inaplicabil. În al doilea rând, date aparent „neutre” precum cetățenia sau codul poștal pot deveni, prin corelare statistică, indicatori indirecți pentru etnie sau origine, reproducând și amplificând discriminări deja existente în societate, așa cum a arătat și autoritatea olandeză de supraveghere a datelor personale. În al treilea rând, cazul olandez demonstrează că responsabilitatea politică nu poate fi delegată unui sistem informatic. Chiar dacă inteligența artificială este cea care marchează automat un dosar drept „suspect”, consecințele care urmează, precum sancțiunile sau recuperările de fonduri, rămân decizii pur administrative, asumate de instituție și de conducerea ei politică. De aceea, tot mai multe voci din mediul academic și din organizațiile pentru drepturile digitale cer instituirea unor evaluări obligatorii de impact asupra drepturilor fundamentale înainte ca un sistem automatizat să fie introdus în administrația publică, alături de dreptul cetățenilor de a fi informați și de a contesta o astfel de decizie.
Uniunea Europeană a răspuns parțial acestor îngrijorări prin Regulamentul privind Inteligența Artificială, care clasifică sistemele folosite pentru stabilirea eligibilității la beneficii sociale sau pentru evaluarea riscului de fraudă drept sisteme „cu risc ridicat”, supuse unor obligații stricte de transparență, documentare și supraveghere umană. Rămâne, însă, de văzut cât de eficient va fi acest cadru legal în practică, având în vedere că, așa cum a arătat cazul olandez, distanța dintre reglementare și implementare reală poate fi foarte mare atunci când presiunea politică pentru „eficiență” și „combaterea fraudei” este puternică.
Exemplul Olandei trebuie perceput ca un avertisment cu privire la modul în care este folosită inteligența artificială în administrația publică. . IA poate aduce eficiență reală în conducerea unui stat, dar numai atunci când este însoțită de transparență, explicații pertinente, posibilitatea de contestare și, mai ales, de asumarea responsabilității politice pentru deciziile pe care le facilitează. Altfel, riscăm ca tehnologia menită să servească cetățenii să devină, așa cum s-a întâmplat la Haga și la Amsterdam, un instrument care îi lovește tocmai pe cei mai vulnerabili dintre ei.
