Bagaimana gadget MOCAP di belakang Thanos menghidupkan Avengers’ The Quarry

Studio pemenang Academy Award telah menghasilkan efek visual untuk film seperti “Titanic,” “The Curious Case of Benjamin Button,” dan beberapa film Marvel. Untuk membuat karakter realistis yang terlihat di “The Quarry,” saya menggunakan sistem tangkapan wajah AI Masquerade, yang dikembangkan untuk meniru kemiripan Josh Brolin dengan karakternya Thanos di Avengers: Infinity War. Masquerade awalnya dirancang untuk melakukan satu hal: mengambil kinerja dari kamera yang dipasang di kepala dan menerjemahkannya ke dalam kotak digital yang kemudian dapat dilihat di film. Untuk The Quarry, tim VFX membutuhkan sesuatu yang dapat melacak pergerakan dan ekspresi wajah aktor serta menciptakan karakter digital yang dapat diedit secara real time. Jadi mereka membangun Masquerade 2.0.

Teknologi baru ini telah mempercepat produksi sepuluh kali lipat. Para aktor akan melakukan adegan mereka, dan dunia digital akan mengunggah semua pertunjukan ke komputer dengan kinerja tubuh, kinerja kepala, waktu suara yang dikodekan dan disinkronkan, dan kemudian mengirimkannya ke Supermassive untuk ditinjau di mesin permainan. Pengembang akan memberikan umpan balik, dan pada hari berikutnya, sutradara “The Quarry” Will Biles, yang juga menyutradarai “Until Dawn,” dapat melihat rekaman untuk menentukan apakah ada pertunjukan tertentu yang perlu direkam ulang. Secara keseluruhan, Digital mengatakan menyediakan 250 juta frame untuk “The Quarry” — jauh lebih banyak daripada film biasa.

Seperti “Until Dawn,” “The Quarry” adalah putaran interaktif pada film slasher klasik dan film horor. Sekelompok konselor kamp tersandung semalam setelah kamp selesai dan diburu oleh manusia serigala; Apakah mereka selamat malam ditentukan oleh pemain, yang membuat keputusan seperti apakah akan menyelidiki suara-suara misterius atau mengambil giliran yang keliru untuk penyelaman kurus.

Mentransfer kinerja aktor ke model karakter mereka dalam game melibatkan proses multi-langkah yang disebut Inversin yang disebut “DD Pipeline”. Pertama, tim menjalankan pemindaian wajah setiap anggota pemeran untuk membangun perpustakaan bentuk wajah yang dapat dirujuk oleh Supermassive untuk membuat karakter dalam game mereka. Mereka kemudian merekam penampilan mereka di Digital Domain Performance Capture Stage di Los Angeles. Setiap hari, para aktor mengenakan setelan lengkap untuk menangkap gerakan dan perangkat wajah untuk merekam ekspresi mereka. Wajah mereka ditutupi titik-titik, yang dilacak oleh kamera bersama dengan tanda pada pakaian mereka untuk membuat segitiga dan memetakan gerakan mereka ke dalam kerangka virtual menggunakan Masquerade 2.0.

Ulasan: ‘The Quarry’ adalah slasher menonjol yang hanya melakukan beberapa putaran yang salah

Untuk mengkalibrasi peralatan dengan benar, perwakilan melakukan serangkaian tes gerak, sehingga memastikan bahwa data terus-menerus dilacak di berbagai bidikan, kata Paul Pianza, produser senior di bidang digital. Mempertahankan simetri wajah aktor ini lebih melibatkan: tim membuat cetakan untuk wajah masing-masing aktor, menempatkan titik pada cetakan dan mengebor lubang di dalamnya untuk membuat cetakan fisik yang kemudian digunakan untuk memastikan titik ditempatkan di lokasi yang sama selama syuting. Jika beberapa tag diblokir atau hilang selama pemotretan, AI Masquerade dapat secara otomatis mengisi bagian yang kosong.

Inversin mengatakan ada komponen manusia ke pipa DD juga. Para seniman menganalisis rekaman dan mengidentifikasi ekspresi aktor—senyum, cemberut, tangisan, dll.—untuk mengamati bagaimana poin-poin bergerak dalam contoh-contoh itu, yang dibandingkan dengan pembuatan bingkai utama untuk setiap karakter oleh Inversin.

Tim menggunakan data yang direkam selama penembakan ini, pemindaian wajah, dan tes rentang gerak untuk membangun perpustakaan keanehan masing-masing aktor yang kemudian dapat digunakan untuk melatih AI mereka sehingga komputer dapat membaca gerakan dan ekspresi mereka dengan benar. Seperti yang dijelaskan Inversin: “Mesin hanya sebaik Anda bisa memberi mereka makan [them] Dalam hal informasi.

Tim juga bekerja dengan Supermassive untuk mengatur item di set ke lokasi dalam game mereka menggunakan tata letak grid panggung.

“Jika seseorang membuka pintu dan mengintip, mereka memindahkan pintu itu dan kami menangkap data itu,” kata Pianza.

Syuting dimulai sekitar waktu yang sama dengan pandemi covid-19, yang membatasi jumlah aktor yang bisa berada di studio pada satu waktu dan menambahkan lapisan koreografi ke dalam proses. Sebagian besar adegan grup diambil dalam klip dengan dua atau tiga aktor dalam beberapa pemotretan. Adegan lubang api, misalnya, melibatkan tiga kelompok dua penasihat yang saling menembak pada waktu yang berbeda.

Dunia tersembunyi dan masalah representasional dalam video game

Inversin mengatakan bahwa selama syuting, para aktor tidak perlu khawatir tentang menahan gerakan mereka saat berlari, melompat, atau diserang oleh manusia serigala. Semua penampilan dalam “The Quarry” – dengan pengecualian beberapa adegan yang menarik – dilakukan oleh para aktor dalam tahap penangkapan gerak, seperti yang mereka tampilkan di dalam game.

“Itulah penampilan yang Ted Remy berikan dan Anda melihatnya dalam permainan dan bibirnya bergetar dan itu melihat sekeliling, Anda tahu, itu saja,” kata Inversine. “Animator tidak masuk dan memperbaikinya. Anda tahu, itulah yang dia lakukan di atas panggung.”

Digital Domain harus mengatasi dua masalah penangkapan gerakan yang umum untuk memungkinkan proses ini: dudukan helm dan pelacakan mata. Tim telah memodifikasi perangkat lunak pelacakan mata open source, Gaze ML, secara signifikan selama tiga tahun untuk meningkatkan akurasi dan tampilan mata digital. Algoritme pembelajaran mesin baru yang ditambahkan ke Masquerade 2.0 memungkinkan rekaman yang diambil untuk dianalisis dan dikompensasikan untuk setiap benturan saat aktor bergerak.

Sama seperti di film-film, Masquerade menggunakan footage ini untuk membuat animasi realistis dari penampilan para aktor. Namun, tidak seperti film, video game perlu menampilkan animasi tersebut secara real time sebagai respons terhadap tindakan pemain — tugas komputasi yang sangat besar karena wajah setiap aktor terdiri dari lebih dari seribu bentuk campuran yang unik, atau gerakan wajah yang sesuai dengan ekspresi berbeda .

“Ketika Anda mencoba menjalankan kinerja itu, saat runtime ada banyak bentuk kompleks yang berbeda, dan sistem waktu nyata tidak tahu apa yang harus ditarik darinya dalam kerangka waktu yang tepat yang dibutuhkannya,” kata Inversin.

Solusinya: Chatterbox, alat yang dikembangkan oleh Digital Human Group untuk menyederhanakan proses analisis dan penyajian ekspresi wajah secara langsung. Pustaka ekspresi wajah dimasukkan dari setiap anggota pemeran dan bingkai utama yang diidentifikasi oleh seniman lapangan digital ke dalam Chatterbox, yang kemudian menggunakan algoritme pembelajaran mesin untuk secara otomatis melacak titik pada wajah aktor di setiap bidikan dan menghitung opsi terbaik untuk mengubah ekspresi wajah tanpa mengorbankan kualitas.

“Untuk membuatnya lebih cocok untuk mesin game, kami mengambil ribuan bentuk wajah yang berbeda dan menghancurkannya,” kata Inversin. “Kami menurunkannya ke bentuk yang sempurna berdasarkan kinerja. Dan apa artinya jika karakter hanya berbicara, mereka tidak membutuhkan bentuk campuran untuk, Anda tahu, berteriak, kan?”

Dengan kata lain, Chatterbox membuat ekspresi wajah seperti yang telah dilakukan video game dengan aset dalam game lainnya – menjadikannya sesuai kebutuhan berdasarkan apa yang dilakukan pemain pada saat itu.

Secara keseluruhan, setelah 42 hari pengambilan gambar dalam fase penangkapan gerak, domain digital memiliki 32 jam rekaman yang diambil untuk dimasukkan ke dalam game. Dari 4.500 bidikan yang dianggap berkualitas game, hanya 27 — kurang dari 0,5 persen — yang dimodifikasi oleh animator dalam pascaproduksi. Secara tradisional, animator perlu secara manual menyentuh ekspresi di seluruh rekaman, tetapi antara Chatterbox dan pengembangan dengan Masquerade 2.o, tim hanya perlu “memperbaiki dua hal yang membuat mesin kesal”. Itu sangat penting untuk proyek sebesar ini.

“Anda tidak dapat menggunakan kekerasan pada apa pun dalam waktu 30 jam,” tambah Pianza. “Sistemnya harus bekerja.”

Hasilnya adalah penampilan dalam game yang terasa disesuaikan dengan masing-masing aktor. Inversen mengatakan dia percaya bahwa berada di atas panggung dan mampu bergerak bebas dan mengekspresikan perasaan mereka meningkatkan standar penampilan para aktor. Ini memiliki beberapa implikasi yang menjanjikan untuk penangkapan gerak di industri hiburan.

“Agar aktor dan sutradara dapat menangkap sesuatu di panggung mocap dan mengetahui bahwa penampilan mereka diterjemahkan secara efektif ke dalam video game dengan nuansa wajah dan penampilan mereka, saya pikir ini adalah nilai jual yang sangat besar bagi semua orang yang ingin melihatnya. mengalami sekaligus mengarahkan dan mengkonsumsi media itu. Karena itu seperti berjalan Ted Raimi saat dia berjalan melewati sel penjara. Ini adalah Lance Henriksen yang menampar bibirnya. Itu yang dia lakukan. Kami tidak menambahkan itu, itu penampilan normalnya. “