Când limbajul AI se întâlnește cu propaganda, nimeni nu este în siguranță

Stai pe un scaun confortabil lângă foc, într-o noapte rece de iarnă. Poate ai o cană de ceai în mână, poate ceva mai tare. Deschizi o revistă la un articol pe care ai vrut să-l citești. Titlul sugera o poveste despre o nouă tehnologie promițătoare, dar și potențial periculoasă, pe punctul de a deveni mainstream și, după ce citești doar câteva propoziții, te trezești atras în poveste. Se apropie o revoluție în inteligența mașinilor, susține autorul, și trebuie, ca societate, să fim mai buni în a anticipa consecințele acesteia. Dar apoi se întâmplă cel mai ciudat lucru: observi că scriitorul a omis, aparent în mod deliberat, chiar ultimul cuvânt al primului .

Cuvântul care lipsește îți sare în conștiință aproape nedorit: „Ultimul cuvânt al primului paragraf.'' În mintea ta nu există nici o interogare de căutare internă; cuvântul „paragraf” pur și simplu apare. Ar putea părea a doua natură, acest exercițiu de completare a golurilor, dar dacă îl faceți, vă gândiți la straturile de cunoaștere încorporate în spatele gândului. Ai nevoie de o cunoaștere a ortografiei și modelelor sintactice ale englezei; trebuie să înțelegeți nu doar definițiile din dicționar ale cuvintelor, ci și modul în care acestea se relaționează între ele; trebuie să fii suficient de familiarizat cu standardele înalte ale publicării de reviste pentru a presupune că cuvântul lipsă nu este doar o greșeală de tipar și că editorii sunt, în general, reticenți să omite cuvintele cheie în articolele publicate, cu excepția cazului în care autorul încearcă să fie inteligent - poate încearcă să folosiți cuvântul lipsă pentru a face o idee despre ta inteligenta, cât de repede poate un vorbitor uman de engleză să evoce cuvântul potrivit.

Înainte de a putea continua această idee, te întorci la articol, unde descoperi că autorul te-a dus la un complex de clădiri din suburbia Iowa. În interiorul uneia dintre clădiri se află o minune a tehnologiei moderne: 285,000 de nuclee CPU unite într-un singur supercomputer gigant, alimentat de rețele solare și răcit de ventilatoare industriale. Mașinile nu dorm niciodată: în fiecare secundă din fiecare zi, ele fac nenumărate calcule, folosind tehnici de ultimă generație în inteligența mașinilor, care poartă nume precum „coborâre a gradientului stocastic” și „rețele neuronale convoluționale”. Se crede că întregul sistem este unul dintre cele mai puternice supercomputere de pe planetă.

Și, vă puteți întreba, ce face acest dinam de calcul cu toate aceste resurse prodigioase? În mare parte, se joacă un fel de joc, iar și iar, de miliarde de ori pe secundă. Și jocul se numește: Ghici care este cuvântul lipsă.

Complexul de supercalculatoare în Iowa derulează un program creat de OpenAI, o organizație înființată la sfârșitul anului 2015 de o mână de luminați din Silicon Valley, inclusiv Elon Musk; Greg Brockman, care până nu demult fusese director de tehnologie al magistralei de plăți electronice Stripe; și Sam Altman, la acea vreme președintele incubatorului start-up Y Combinator. În primii câțiva ani, pe măsură ce și-a construit încrederea în programare, realizările tehnice ale OpenAI au fost în mare parte umbrite de puterea vedetă a fondatorilor săi. Dar asta s-a schimbat în vara anului 2020, când OpenAI a început să ofere acces limitat la un nou program numit Generative Pre-Trained Transformer 3, denumit colocvial GPT-3. Deși inițial platforma a fost disponibilă doar pentru o mână mică de dezvoltatori, exemple de pricepere nemaipomenită a GPT-3 cu limbajul - și cel puțin iluzia cunoașterii - au început să circule pe web și prin rețelele sociale. Siri și Alexa popularizaseră experiența de a conversa cu mașinile, dar aceasta era la următorul nivel, apropiindu-se de o fluență care semăna cu creații din science-fiction precum HAL 9000 din „2001”: un program de calculator care poate răspunde la întrebări complexe deschise într-un mod perfect. propoziții compuse.

Ca domeniu, AI este în prezent fragmentată într-un număr de abordări diferite, vizând diferite tipuri de probleme. Unele sisteme sunt optimizate pentru probleme care implică deplasarea prin spațiu fizic, cum ar fi mașinile cu conducere autonomă sau robotică; alții clasifică fotografiile pentru tine, identificând fețe familiare sau animale de companie sau activități de vacanță. Unele forme de IA - cum ar fi AlphaFold, un proiect al filiala Alphabet (fostă Google) DeepMind - încep să abordeze probleme științifice complexe, cum ar fi prezicerea structurii proteinelor, care este esențială pentru proiectarea și descoperirea medicamentelor. Multe dintre aceste experimente împărtășesc o abordare subiacentă cunoscută sub numele de „învățare profundă”, în care o rețea neuronală modelată vag după structura creierului uman învață să identifice tipare sau să rezolve probleme prin cicluri repetate la nesfârșit de încercări și erori, întărind conexiunile neuronale. și slăbirea altora printr-un proces cunoscut sub numele de antrenament. „Adâncimea” învățării profunde se referă la mai multe straturi de neuroni artificiali din rețeaua neuronală, straturi care corespund unor niveluri din ce în ce mai mari de abstractizare: într-un model bazat pe viziune, de exemplu, un strat de neuroni ar putea detecta linii verticale. , care ar fi apoi alimentat într-un strat care detectează marginile structurilor fizice, care ar fi raportat apoi unui strat care a identificat case, spre deosebire de clădirile de apartamente.

GPT-3 aparține unei categorii de învățare profundă cunoscută sub numele de model de limbaj mare, o rețea neuronală complexă care a fost antrenată pe un set de date titanic de text: în cazul lui GPT-3, aproximativ 700 de gigaocteți de date extrase de pe web, inclusiv Wikipedia, completată cu o colecție mare de texte din cărți digitalizate. GPT-3 este cel mai celebru dintre modelele de limbaj mari și cel mai disponibil public, dar Google, Meta (cunoscute anterior ca Facebook) și DeepMind și-au dezvoltat toate propriile LLM-uri în ultimii ani. Progresele în puterea de calcul - și noile tehnici matematice - au permis LLM-urilor din epoca lui GPT-3 să ingereze seturi de date mult mai mari decât predecesorii lor și să folosească straturi mult mai profunde de neuroni artificiali pentru antrenamentul lor.

Sunt șanse să fi interacționat deja cu un model de limbă mare dacă ați folosit vreodată o aplicație – cum ar fi Gmail – care include o funcție de completare automată, solicitându-vă ușor cu cuvântul „participați” după ce introduceți propoziția „Din păcate, am câștigat”. 'nu pot să...'' Dar autocompletarea este doar expresia cea mai rudimentară a ceea ce este capabil un software precum GPT-3. Se dovedește că, cu date suficiente de antrenament și rețele neuronale suficient de profunde, modelele de limbaj mari pot afișa o abilitate remarcabilă dacă le cereți nu doar să completeze cuvântul lipsă, ci și să continue să scrie paragrafe întregi în stilul promptului inițial. De exemplu, când am dat GPT-3 solicitarea:

În 1958, Frank Rosenblatt a introdus Perceptronul, o versiune timpurie a unei rețele neuronale care putea detecta doar locația unui pătrat pe un card tipărit. Cincizeci de ani mai târziu, rețelele neuronale sunt capabile de . . .

Software-ul a completat cu respect gândul, apoi a continuat, reluând încadrarea istorică a textului inițial:

. . . detectarea și clasificarea fețelor, găsirea tiparelor în date și emularea creierului uman. În timp ce rețeaua neuronală sa maturizat în mediul academic, și-a găsit drum și în industria tehnologiei. La sfârșitul anilor 1980 și începutul anilor 90, rețelele neuronale au fost utilizate în aplicații de recunoaștere a vorbirii și a caracterelor. Creșterea puterii de calcul și capacitatea de a colecta seturi de date mai mari au permis să apară și alte aplicații de rețea neuronală.

De la lansarea lui GPT-3, internetul a fost plin de exemple de facilitate ciudată a software-ului cu limbajul - împreună cu punctele moarte și deficiențele sale și alte tendințe mai sinistre. GPT-3 a fost instruit să scrie scenarii de la Hollywood și să compună non-ficțiune în stilul clasicului New Journalism al lui Gay Talese „Frank Sinatra Has a Cold”. Puteți folosi GPT-3 ca un maestru de temniță simulat, conducând aventuri elaborate bazate pe text. prin lumi care sunt inventate din mers de rețeaua neuronală. Alții au alimentat solicitările software care generează răspunsuri evident ofensive sau delirante, evidențiind limitările modelului și potențialul său de a dăuna dacă este adoptat pe scară largă în starea sa actuală.

Până acum, experimentele cu modele mari de limbaj au fost în mare parte următoarele: experimente care cercetează modelul pentru semne de inteligență adevărată, explorează utilizările sale creative, expună părtinirile sale. Dar potențialul comercial final este enorm. Dacă traiectoria existentă continuă, software-ul precum GPT-3 ar putea revoluționa modul în care căutăm informații în următorii câțiva ani. Astăzi, dacă aveți o întrebare complicată despre ceva - cum să vă configurați sistemul home theater, de exemplu, sau care sunt opțiunile pentru a crea un fond de educație 529 pentru copiii dvs. - cel mai probabil, introduceți câteva cuvinte cheie în Google și apoi scanați o listă de link-uri sau videoclipuri sugerate pe YouTube, răsfoind totul pentru a ajunge la informațiile exacte pe care le căutați. (Inutil să spun că nici nu te-ai gândi să îi ceri lui Siri sau Alexa să te ghideze prin ceva atât de complex.) Dar dacă adevărații credincioși GPT-3 au dreptate, în viitorul apropiat vei pune întrebarea unui LLM și primiți răspunsul înapoi la dvs., convingător și precis. Serviciul pentru clienți ar putea fi complet transformat: orice companie cu un produs care necesită în prezent o echipă umană de asistență tehnică ar putea fi capabilă să pregătească un LLM pentru a le înlocui.

Citește povestea completă aici ...