Algoritmii pot minți și înșela, dar pot fi opriți?

Algoritmii pot dicta dacă obțineți o ipotecă sau cât plătiți pentru asigurare. Dar uneori greșesc - și alteori sunt concepute pentru a înșela.

O mulțime de algoritmi merg prost neintenționat. Unele dintre ele, însă, sunt făcute drept infracționale. Algoritmii sunt reguli formale, de obicei scrise cu cod de computer, care fac predicții asupra evenimentelor viitoare bazate pe tipare istorice. Pentru a instrui un algoritm trebuie să furnizați date istorice, precum și o definiție a succesului.

Am văzut că finanțele au fost preluate de algoritmi în ultimele decenii. Algoritmii de tranzacționare utilizează date istorice pentru a prezice mișcările pe piață. Succesul pentru acel algoritm este o mișcare previzibilă pe piață, iar algoritmul este vigilent pentru modelele care s-au întâmplat istoric chiar înainte de această mutare. Modelele de risc financiar folosesc, de asemenea, schimbări istorice ale pieței pentru a prezice evenimente cataclismice într-un sens mai global, deci nu pentru un stoc individual, ci mai degrabă pentru o întreagă piață. Modelul de risc pentru titlurile garantate prin credite ipotecare a fost faimos - intenționat - și încrederea în aceste modele poate fi învinovățită o mare parte din amploarea și daunele ulterioare provocate de criza financiară 2008.

Din 2008, am auzit mai puțin de algoritmi în domeniul financiar și mult mai multe de la algoritmi de date mari. Ținta acestei noi generații de algoritmi a fost mutată de la piețe abstracte la persoane fizice. Dar funcționalitatea de bază este aceeași: culege date istorice despre oameni, profilează comportamentul lor online, locația sau răspunsurile la chestionare și folosește acel set de date masiv pentru a prezice achizițiile viitoare, comportamentul de vot sau etica muncii.

Proliferarea recentă a modelelor de date mari a trecut în mare măsură neobservată de persoana obișnuită, dar este sigur să spunem că cele mai importante momente în care oamenii interacționează cu sisteme birocratice mari implică acum un algoritm sub forma unui sistem de notare. Intrarea în facultate, obținerea unui loc de muncă, a fi evaluat ca lucrător, obținerea unui card de credit sau a unei asigurări, votarea și chiar poliție sunt realizate în multe cazuri algoritmic. Mai mult decât atât, tehnologia introdusă în aceste decizii sistematice este în mare măsură opacă, chiar și pentru creatorii lor, și până acum a scăpat în mare parte de o reglementare semnificativă, chiar și atunci când nu reușește. Acest lucru face ca problema acestor algoritmi să lucreze în numele nostru să fie și mai importantă și mai urgentă.

Am o ierarhie în patru straturi când vine vorba de algoritmi slabi. În partea de sus se află problemele neintenționate care reflectă prejudecățile culturale. De exemplu, atunci când profesorul de la Harvard, Latanya Sweeney, a descoperit că Google caută nume percepute ca fiind negre anunțuri generate asociate activității infracționale, putem presupune că nu a existat niciun inginer Google care să scrie cod rasist. De fapt, reclamele au fost instruite să fie proaste de către utilizatorii anteriori ai căutării Google, care aveau mai multe șanse de a face clic pe un anunț de cazier atunci când au căutat un nume care sună negru. Un alt exemplu: Rezultatul căutării imaginii Google pentru „păr neprofesional”, care a returnat aproape exclusiv femei negre, este instruit în mod similar de către persoanele care postează sau fac clic pe rezultatele căutării de-a lungul timpului.

Citește povestea completă aici ...