Karyawan OpenAI mengatakan perusahaannya “gagal” dalam pengujian pertama untuk membuat AI-nya aman

Bahkan sebelum pengujian prototipe GPT-4 Omni dimulai, OpenAI mengundang karyawan untuk merayakan produk tersebut, yang akan mendukung ChatGPT, dengan sebuah pesta di salah satu kantor perusahaan di San Francisco. “Mereka merencanakan pesta pasca-peluncuran sebelum mengetahui apakah peluncurannya aman,” kata salah satu orang yang berbicara tanpa mau disebutkan namanya untuk membahas informasi sensitif perusahaan. “Kami pada dasarnya telah gagal dalam proses ini.”

Insiden yang sebelumnya tidak dilaporkan ini menyoroti perubahan budaya di OpenAI, di mana para pemimpin perusahaan termasuk CEO Sam Altman dituduh memprioritaskan kepentingan komersial dibandingkan keselamatan publik – sebuah penyimpangan yang jelas dari akar perusahaan sebagai organisasi nirlaba altruistik. Hal ini juga menimbulkan pertanyaan tentang ketergantungan pemerintah federal pada kebijakan mandiri oleh perusahaan-perusahaan teknologi – melalui janji Gedung Putih serta perintah eksekutif mengenai kecerdasan buatan yang dikeluarkan pada bulan Oktober – untuk melindungi masyarakat dari penyalahgunaan AI generatif, yang menurut para eksekutif memiliki dampak buruk. potensi untuk membentuk kembali Hampir setiap aspek masyarakat manusia, mulai dari pekerjaan hingga perang.

Mengizinkan perusahaan menetapkan standar keselamatan mereka sendiri pada dasarnya berisiko, kata Andrew Strait, mantan peneliti etika dan kebijakan di Google DeepMind dan sekarang direktur asosiasi di Ada Lovelace Institute di London.

“Kami tidak memiliki jaminan berarti bahwa kebijakan internal diikuti dengan setia atau didukung oleh metode yang dapat diandalkan,” kata Strait.

Biden mengatakan Kongres perlu membuat undang-undang baru untuk melindungi masyarakat dari bahaya kecerdasan buatan.

“Presiden Biden telah menjelaskan kepada perusahaan-perusahaan teknologi tentang pentingnya memastikan produk mereka aman, terjamin, dan dapat diandalkan sebelum dipublikasikan,” kata juru bicara Gedung Putih Robin Patterson. “Perusahaan-perusahaan terkemuka telah membuat komitmen sukarela mengenai pengujian keamanan independen dan transparansi publik, yang diharapkan dapat mereka penuhi,” tambahnya.

OpenAI adalah salah satu dari lebih dari selusin perusahaan yang membuat janji sukarela ke Gedung Putih tahun lalu, pendahulu dari perintah eksekutif AI. Lainnya termasuk Anthropic, perusahaan di balik chatbot Claude; Nvidia, raksasa chip senilai $3 triliun; Palantir, sebuah perusahaan analisis data yang bekerja dengan militer dan pemerintah; Google DeepMind; Dan Meta. Janji tersebut mengharuskan mereka untuk melindungi model AI yang semakin mampu; Gedung Putih mengatakan peraturan ini akan tetap berlaku sampai peraturan serupa diberlakukan.

Model terbaru OpenAI, GPT-4o, merupakan peluang besar pertama bagi perusahaan untuk menerapkan kerangka kerja tersebut, yang memerlukan penggunaan penilai manusia, termasuk profesional pascadoktoral yang terlatih dalam bidang biologi dan auditor pihak ketiga, jika risikonya dianggap cukup tinggi. Namun penguji memampatkan evaluasi menjadi satu minggu, meskipun ada keluhan dari karyawan.

Meskipun mereka mengharapkan teknologi tersebut lulus pengujian, banyak karyawan yang kecewa melihat OpenAI hanya menganggap protokol siaga baru yang dibanggakan tersebut sebagai sebuah renungan. Pada bulan Juni, beberapa karyawan OpenAI saat ini dan mantan karyawan OpenAI menandatangani surat terbuka yang tidak jelas yang menuntut agar perusahaan AI mengecualikan pekerjanya dari perjanjian kerahasiaan, sehingga mereka bebas untuk memperingatkan regulator dan masyarakat tentang risiko keamanan teknologi tersebut.

Sementara itu, mantan CEO OpenAI Jan Laecke mengundurkan diri beberapa hari setelah peluncuran GPT-4o, dengan menulis: Pada X William Saunders, mantan insinyur riset di OpenAI yang mengundurkan diri pada bulan Februari, mengatakan dalam wawancara podcast bahwa dia melihat pola pekerjaan terkait keselamatan yang “terburu-buru dan ceroboh” “untuk memenuhi tanggal pengiriman” suatu produk baru.

Seorang perwakilan dari tim kesiapan OpenAI, yang berbicara tanpa menyebut nama saat membahas informasi sensitif perusahaan, mengatakan penilaian dilakukan dalam waktu satu minggu, yang cukup untuk menyelesaikan pengujian, namun mengakui waktunya “dikompresi”.

“Kami sedang memikirkan kembali cara kami menangani hal ini,” kata aktor tersebut. “ini [was] “Ini bukan cara terbaik untuk melakukannya.”

Dalam sebuah pernyataan, juru bicara OpenAI Lindsey Held mengatakan perusahaannya “belum mengkompromikan proses keselamatan kami, meskipun kami menyadari bahwa peluncuran tersebut menimbulkan tekanan bagi tim kami.” Untuk mematuhi komitmen Gedung Putih, perusahaan tersebut melakukan “pengujian internal dan eksternal yang ekstensif” dan menahan beberapa fitur multimedia “pada awalnya untuk melanjutkan pekerjaan keselamatan kami,” tambahnya.

OpenAI mengumumkan Inisiatif Kesiapsiagaan sebagai upaya untuk menerapkan ketelitian ilmiah dalam studi risiko bencana, yang didefinisikan sebagai insiden “yang dapat mengakibatkan kerugian ekonomi senilai ratusan miliar dolar atau mengakibatkan kerugian parah atau kematian banyak orang.”

Istilah ini mendapatkan popularitas besar di kalangan faksi berpengaruh di bidang kecerdasan buatan, yang khawatir bahwa upaya membangun mesin cerdas seperti manusia akan melemahkan atau menghancurkan umat manusia. Banyak peneliti AI menyatakan bahwa risiko eksistensial ini hanyalah spekulasi dan gangguan dari dampak buruk yang lebih mendesak.

“Kami bertujuan untuk menetapkan tolok ukur baru untuk pekerjaan kuantitatif berbasis bukti,” kata Altman Diposting pada X Pada bulan Oktober, tim baru perusahaan diumumkan.

OpenAI meluncurkan dua tim keselamatan baru tahun lalu, yang bergabung dengan departemen lama yang berfokus pada bahaya nyata, seperti bias rasial atau misinformasi.

Tim Superalignment, yang diumumkan pada bulan Juli, berdedikasi untuk mencegah risiko eksistensial dari sistem AI yang sangat canggih. Sejak itu, telah didistribusikan kembali ke bagian lain perusahaan.

Laiki dan salah satu pendiri OpenAI Ilya Sutskever, mantan anggota dewan yang memilih untuk memecat Altman sebagai CEO pada bulan November sebelum segera mundur, memimpin tim. Mereka berdua mengundurkan diri pada bulan Mei. Sutskever telah absen dari perusahaan sejak Altman diangkat kembali, namun OpenAI tidak mengumumkan pengunduran dirinya hingga sehari setelah peluncuran GPT-4o.

Namun, menurut perwakilan OpenAI, tim kesiapan mendapat dukungan penuh dari para eksekutif senior.

Perwakilan tersebut mengatakan bahwa dia menyadari bahwa waktu untuk menguji GPT-4o akan sangat ketat, jadi dia berbicara dengan para pemimpin perusahaan, termasuk chief technology officer Mira Moratti, pada bulan April dan mereka menyetujui “Rencana B.” Jika evaluasi menunjukkan sesuatu yang mengkhawatirkan, perusahaan akan merilis GPT-4o versi sebelumnya yang telah diuji oleh tim.

Beberapa minggu sebelum tanggal peluncuran, tim mulai melakukan “pengujian beta”, di mana mereka berencana untuk “mendapatkan dan menjalankan semua sistem setelah kami mendapatkan modelnya,” kata perwakilan tersebut. Mereka menjadwalkan manusia evaluator di berbagai kota untuk siap melakukan tes, sebuah proses yang memakan biaya ratusan ribu dolar, menurut perwakilan tersebut.

Pekerjaan persiapan juga mencakup peringatan kepada Kelompok Penasihat Keamanan OpenAI – sebuah dewan penasihat yang baru dibentuk yang menerima kartu skor risiko dan memberi saran kepada para pemimpin jika diperlukan perubahan – bahwa mereka memiliki waktu terbatas untuk menganalisis hasilnya.

Held dari OpenAI mengatakan perusahaan berkomitmen untuk mencurahkan lebih banyak waktu untuk proses ini di masa depan.

“Saya yakin kami tidak diabaikan [the tests]”Kemudian, kami berkata, 'Jangan lakukan itu lagi,'” kata sang aktor, namun mengakui bahwa prosesnya sangat intens.

Razan Nakhlawi berkontribusi pada laporan ini.