Maneesh Agrawala, Direktur Stanford's Brown Institute for Media Innovation mengembangkan teknologi sinkronisasi bibir yang memungkinkan memodifikasi kata-kata dari pembicara sehingga hampir tidak dapat terdeteksi bahwa video tersebut palsu atau asli. Alat tersebut dapat memasukkan kata-kata yang tidak pernah diucapkan dengan sempurna atau sebaliknya. 

Temuan ini pun mempermudah koreksi dari sebuah video tanpa harus merekam ulang seluruh adegan dalam video. Namun, sayangnya teknologi tersebut juga menciptakan peluang baru yang cukup membahayakan, yaitu munculnya deep fake (video rekayasa) yang dibuat dengan tujuan untuk mendistorsi kebenaran.

Menyadari bahaya tersebut, Agrawala dan rekan - rekannya di Stanford dan University of California, Berkeley meluncurkan pendekatan berbasis Artificial Intelligence (AI) untuk mendeteksi teknologi sinkronisasi bibir. Program baru ini secara akurat menemukan lebih dari 80 persen pemalsuan dengan menemukan ketidakcocokan antara suara yang dibuat orang dan bentuk mulut mereka.

Agrawala juga memperingatkan bahwa tidak ada solusi teknis jangka panjang untuk mendeteksi deep fake. Cara mengatasinya adalah meningkatkan literasi media agar orang lebih bertanggung jawab jika mereka dengan sengaja memproduksi dan menyebarkan informasi yang salah.

Cara Kerja Deep Fake 

Menurut wikipedia, deep fake merupakan sebuah teknik digital untuk mensintesis citra manusia dengan memanfaatkan kecerdasan buatan. Teknologi ini dimanfaatkan untuk menggabungkan atau menempatkan gambar atau video ke gambar atau video yang lainnya.

Penggunaan teknologi deep fake di beberapa industri dianggap legal dan membantu proses pekerjaan. Sebagai contoh dalam industri pertelevisian, siapa pun yang memproduksi acara TV fiksi, film, atau iklan bisa menghemat waktu dan uang ketika harus memperbaiki kesalahan pengambilan gambar.

Namun, masalah muncul ketika alat tersebut sengaja digunakan untuk menyebarkan informasi palsu. Banyak video palsu yang dibuat dengan cara menempelkan wajah orang pada sebuah video. Namun, meskipun hasilnya terlihat meyakinkan, namun metode deep fake ini dapat meninggalkan jejak digital atau visual yang dapat dideteksi komputer.

Sedangkan deep fake yang berasal dari teknologi sinkronisasi bibir biasanya menghasilkan video yang lebih sulit dikenali kepalsuannya. Teknologi ini memanipulasi bagian gambar yang jauh lebih kecil dan kemudian mensintesis gerakan bibir yang sangat cocok dengan cara mulut seseorang bergerak jika dia mengucapkan kata-kata tertentu. Dengan sampel gambar dan suara yang cukup, produser atau pembuat video bisa membuat seseorang "mengatakan" apa pun.

Mendeteksi Deep Fake

Khawatir tentang penggunaan teknologi yang tidak etis, Agrawala bekerja untuk menciptakan alat deteksi deep fake dengan beberapa peneliti lain.  Ide dasarnya adalah mencari ketidakkonsistenan antara "penglihatan" atau formasi mulut dan "fonem" bunyi fonetik.

Secara khusus, para peneliti melihat mulut orang tersebut saat membuat suara "B", "M", atau "P," karena hampir tidak mungkin untuk membuat suara tersebut tanpa menutup bibir dengan kuat. Para peneliti pertama kali bereksperimen dengan teknik manual murni, di mana pengamat manusia mempelajari video. Meskipun berhasil, namun pekerjaan tersebut membutuhkan banyak orang dan memakan waktu.

Penelitan berikutnya dengan menguji AI  berbasis jaringan saraf yang akan lebih cepat membuat analisis setelah melatihnya dengan sebuah video Barack Obama, Mantan Presiden AS. Sistem bekerja dengan baik dan mampu mengidentifikasi lebih dari 90 persen lip-sync pada video Obama, namun akurasinya turun menjadi sekitar 81 persen ketika digunakan untuk mengenali tokoh  pembicara lain.

Video deep fake Presiden Obama (2018) : https://www.youtube.com/watch?v=cQ54GDm1eL0&t=3s

Bagaimana Mencegah Penyebaran Deep Fake?

Para peneliti mengatakan pendekatan yang mereka lakukan dalam memburu deep fake seperti main kucing-kucingan. Saat teknik deep fake menjadi lebih canggih, para pemalsu video akan meninggalkan lebih sedikit jejak.

Dalam jangka panjang, kata Agrawala, tantangan sebenarnya bukanlah tentang melawan video palsu dari deep fake, melainkan tentang bagaimana memerangi disinformasi. Untuk mengurangi disinformasi, kita perlu meningkatkan literasi media dan mengembangkan sistem akuntabilitas.

"Itu bisa berarti perlu undang-undang yang melarang dengan sengaja membuat disinformasi dan konsekuensi jika melanggarnya, serta mekanisme untuk memperbaiki kerugian yang ditimbulkan sebagai akibatnya,” pungkas Agrawala.