A mesterséges intelligencia a nyelv elsajátítása. Bíznunk kell abban, amit mond?

„Úgy gondolom, hogy ez lehetővé teszi számunkra, hogy átgondoltabbak legyünk és jobban átgondoljuk a biztonsági kérdéseket” – mondja Altman. „Stratégiánk része: jobb a világ fokozatos változása, mint a hirtelen változás.” Vagy ahogy az OpenAI alelnöke, Mira Moratti fogalmazott, amikor a szoftverhez való nyílt hozzáférést korlátozó biztonsági csapat munkájáról kérdeztem: „Ha meg akarjuk tanulni, hogyan kell bevezetni ezeket a hatékony technológiákat, akkor kezdjük, amikor a tét már nagyon alacsony. .”

Míg maga a GPT-3 Az iowai szuperszámítógép-klaszterben 285 000 CPU-magon működő OpenAI San Francisco missziós területén kívül, egy felújított poggyászgyárban működik. Múlt év novemberében találkoztam ott Ilya Sotskeferrel, aki megpróbált egy laikus magyarázatot kiváltani a GPT-3 működéséről.

– Ez a GPT-3 alapötlete – mondta Sotskever figyelmesen, és előredőlt a székében. Érdekes módon válaszol kérdésekre: Néhány hamis indítás – „tudok olyan leírást adni, ami nagyjából megegyezik az általad kért leírással” – hosszú meditációs szünetek szakítják meg, mintha a folyamatban lévő teljes választ térképezné fel.

Végül így szólt: „A GPT-3 alapötlete a megértés intuitív fogalmának egy mechanikusan mérhető és érthető dologhoz való viszonyításának módja, és ez a feladat a szöveg következő szavának előrejelzése. A mesterséges intelligencia más formái is megpróbálnak információt kódolni a világról: a nagy mesterek sakkstratégiái, a klimatológia alapelvei. De a GPT-3 intelligencia, ha az intelligencia az intelligencia, alulról felfelé jön: a következő szó megjósolására szolgáló elemi igén keresztül. A GPT-3 képzéshez a modell kap egy „parancsot” – például egy újságcikkből, egy regényből vagy egy tudományos közleményből néhány mondatot vagy bekezdést –, majd felkérik, hogy javasoljon egy listát a lehetséges szavakról befejezheti a sorozatot, valószínűség szerint rendezve. A képzés korai szakaszában a javasolt szavak értelmetlenek. Kérdezd meg az algoritmust egy ilyen mondattal: „Az író kitörölte az utolsó szót az első szóból…”, és a találgatások amolyan értelmetlenség folyama lenne: lista – megjelenik a megfelelő hiányzó szó: „bekezdés”. Ezután a program erősíti és gyengíti a véletlenszerű neurális kapcsolatokat, amelyek az adott javaslatot generálják. Minden olyan kapcsolat, amely hibás sejtéseket generált. Aztán átkerül a következő útválasztóra. Idővel, elegendő iterációval a program megtanulja.

Még januárban az OpenAI hozzáadott egy olyan funkciót, amely lehetővé teszi a felhasználók számára, hogy közvetlen GPT-3 utasításokat adjanak felszólításként, ahelyett, hogy csak egy minta szövegszegmens kiterjesztését követelnék meg. Például a Súgó módban a GPT-3 egyszer azt a felszólítást kapta, hogy „Írjon egy esszét a metafikció szerepéről Italo Calvino munkájában.” Egy rövid bekezdés, amely így kezdődött:

Az olasz író, Italo Calvino a metafikció szakértőjének számít, egy olyan típusú írás, amelyben a szerző áttöri a negyedik falat, hogy magáról az írás aktusáról beszéljen. Calvino számára a metafikció egy módja annak, hogy feltárja a valóság természetét, és azt, hogy a történetek hogyan alakíthatják a világról alkotott felfogásunkat. Regényei gyakran tartalmaznak játékos szerkezeteket és labirintusokat, amelyek manipulálják a valóság és a fantázia határait. Abban az esetben, ha az utazó például egy téli éjszakán van, az olvasót folyamatosan megzavarják az olvasás aktusának és a történetmesélés természetének metaszintjén folyó viták. . . .

A GPT-3-nak újra és újra megadhatja ugyanazt a felszólítást, és minden alkalommal egyedi választ fog generálni, néhány meggyőzőbb, mint mások, de szinte mindegyik rendkívül egyszerű. A tájékoztató jellegű felszólítások sokféle formát ölthetnek: „Adj egy listát a bolognai szósz összes összetevőjéről”, „Írj egy verset egy francia tengerparti faluról John Ashbery stílusban”, „magyarázd el az ősrobbanást olyan nyelven, hogy egy 8 éves Időnként az első néhány ilyen típusú GPT-3 ingert táplálva igazi libabőrt éreztem végigfutni a gerincemen. Szinte lehetetlennek tűnt, hogy egy gép ilyen tiszta és érzékeny szöveget generáljon, teljes egészében a kezdeti képzés alapján, hogy előre jelezze. a következő szót.

A mesterséges intelligencia azonban hosszú múltra tekint vissza az intelligencia vagy a megértés illúziójának megteremtésében anélkül, hogy ténylegesen szállítaná az árut. nál nél sokat vitatott papír A tavaly megjelent Washingtoni Egyetem nyelvészprofesszora, Emily Bender, a Google korábbi kutatója, Timnit Gebru és egy csoport társszerző kijelentette, hogy a nagy nyelvi modellek csak „véletlen papagájok”: vagyis a program véletlenszerűsítést használt, hogy újrakeverje az általa írt mondatokat. emberek.. Bender nemrég azt mondta nekem e-mailben: „Ami megváltozott, az nem egy bizonyos küszöb feletti lépés a „mesterséges intelligencia” felé. Ehelyett a „hardverek, szoftverek és gazdasági innovációk változtak, amelyek lehetővé teszik hatalmas mennyiségek felhalmozását és feldolgozását”. adathalmazok” – csakúgy, mint a kultúra Az a technológia, amellyel „az ilyen dolgokat építő és értékesítő emberek rendelkezhetnek” messze nem pontatlan adatokra építi.