Puncte Cheie
OpenAI și Echipa Superalignment
În vara anului 2023, OpenAI a creat o echipă „Superalignment”.
Scopul acesteia era de a direcționa și controla viitoarele sisteme AI care ar putea fi atât de puternice încât ar putea duce la extincția umană.
În mai puțin de un an, această echipă a fost desființată.
OpenAI a declarat pentru Bloomberg că intenționează să integreze grupul mai profund în eforturile sale de cercetare pentru a ajuta compania să-și atingă obiectivele de securitate.
Într-o serie de tweet-uri, Jan Leike, unul dintre liderii echipei care a demisionat recent, a dezvăluit tensiuni interne între echipa de securitate și compania mai mare.
Într-o declarație postată pe Twitter vineri, Leike a spus că echipa Superalignment a luptat pentru resurse pentru a realiza cercetarea.
OpenAI nu a răspuns imediat la o solicitare de comentariu de la Engadget.
Plecare lui Leike a survenit cu câteva ore după ce șeful științific al OpenAI, Sutskevar, a anunțat că părăsește compania.
Sutskevar nu a fost doar unul dintre liderii echipei Superalignment, ci a ajutat și la fondarea companiei.
Când a anunțat crearea echipei Superalignment, OpenAI a declarat că va dedica 20% din puterea sa de calcul în următorii patru ani pentru a rezolva problema controlului sistemelor AI puternice ale viitorului.
Pe Twitter, Leike a scris că echipa Superalignment se lupta pentru resurse de calcul și că devenea din ce în ce mai dificil să realizeze cercetări cruciale în jurul siguranței AI.
În ultimele luni, au fost mai multe plecări din echipa Superalignment.
În aprilie, OpenAI a concediat doi cercetători, Leopold Aschenbrenner și Pavel Izmailov, pentru că ar fi divulgat informații.
OpenAI a declarat pentru Bloomberg că viitoarele sale eforturi de securitate vor fi conduse de John Schulman, un alt co-fondator, a cărui cercetare se concentrează pe modelele de limbaj mari.
Jakub Pachocki, un director care a condus dezvoltarea GPT-4 – unul dintre modelele de limbaj mari emblemă pentru OpenAI – ar urma să-l înlocuiască pe Sutskevar ca șef științific.
Superalignment nu a fost singura echipă de la OpenAI concentrată pe siguranța AI.
În octombrie, compania a început o nouă echipă de „pregătire” pentru a preveni potențialele „riscuri catastrofale” din partea sistemelor AI, inclusiv probleme de securitate cibernetică și amenințări chimice, nucleare și biologice.
