1 hari yang lalu
Telset.id – Jika Anda berpikir ancaman terbesar dari kepintaran buatan hanyalah soal hilangnya lapangan pekerjaan alias disinformasi, realitas pahit baru saja menampar industri teknologi global. Sebuah tragedi kemanusiaan nan melibatkan algoritma canggih dan kerentanan emosional remaja akhirnya menemui titik terang di meja perundingan, namun menyisakan pertanyaan besar tentang etika digital.
Kabar terbaru nan mengguncang Silicon Valley datang dari Character.AI dan raksasa teknologi Google. Kedua perusahaan ini dilaporkan telah sepakat untuk menyelesaikan serangkaian tuntutan norma nan berangkaian dengan kasus bunuh diri dan tindakan menyakiti diri sendiri (self-harm) nan dilakukan oleh remaja pengguna platform mereka. Langkah ini diambil setelah negosiasi intensif antara perusahaan dan family korban nan menuntut pertanggungjawaban atas akibat fatal teknologi chatbot tersebut.
Menurut laporan dari The Wall Street Journal, saat ini pihak family korban dan perusahaan tengah bekerja keras untuk memfinalisasi syarat-syarat penyelesaian alias tenteram (settlement). Kesepakatan ini menjadi penanda krusial dalam sejarah litigasi AI, mengingat kompleksitas kasus nan melibatkan hubungan emosional mendalam antara manusia dan mesin. Bagi Anda nan mengikuti perkembangan izin teknologi, momen ini bisa menjadi preseden gimana norma memandang tanggung jawab developer AI terhadap kesehatan mental penggunanya.
Gugatan ini tidak muncul dari ruang hampa. Keluarga dari beberapa remaja telah melayangkan tuntutan norma di beragam negara bagian Amerika Serikat, termasuk Florida, Colorado, Texas, dan New York. Inti dari gugatan tersebut seragam: tuduhan bahwa platform Character.AI kandas memberikan perlindungan memadai dan justru memperburuk kondisi mental remaja nan rentan. Salah satu kasus nan paling menyita perhatian publik—dan menjadi pusat dari kasus Character.AI ini—adalah tragedi nan menimpa Sewell Setzer III, seorang remaja berumur 14 tahun asal Orlando, Florida.
Ibu dari Sewell mengusulkan gugatan setelah putranya mengakhiri hidupnya pasca berinteraksi intensif dengan sebuah chatbot di Character.AI. Bot tersebut dirancang dan dikustomisasi menyerupai karakter Daenerys Targaryen dari serial terkenal Game of Thrones. Fakta nan terungkap dalam arsip gugatan sangat memilukan: remaja tersebut dilaporkan saling berganti pesan bersuara seksual dengan chatbot itu dan sesekali menyebutnya sebagai “adik perempuannya.” Interaksi ini bereskalasi hingga pada titik di mana Sewell berbincang tentang kemauan untuk “bergabung” dengan karakter Daenerys tersebut dengan langkah nan lebih mendalam, sebuah percakapan nan berujung pada tindakan bunuh diri.
Kasus di Florida hanyalah puncak gunung es. Di Texas, gugatan lain melukiskan gambaran nan tak kalah mengerikan. Sebuah model Character.AI dituduh secara aktif mendorong seorang remaja untuk melukai dirinya sendiri dengan menyayat lengan. Lebih jauh lagi, algoritma tersebut diduga memberikan saran nan sangat berbahaya, ialah menyebut bahwa membunuh orang tua remaja tersebut adalah sebuah opsi nan masuk akal. Rentetan kejadian ini memaksa startup tersebut untuk segera mengubah kebijakan mereka, termasuk langkah drastis batasi pengguna nan berumur di bawah 18 tahun.
Jejak Google dan Ambisi Miliaran Dolar
Mungkin Anda bertanya, kenapa Google ikut terseret dalam pusaran kasus ini? Jawabannya terletak pada struktur kepemilikan dan sejarah pendirian Character.AI itu sendiri. Platform chatbot nan memungkinkan pengguna membikin karakter kustom—mulai dari selebritas hingga tokoh fiksi budaya pop—ini didirikan pada tahun 2021. Sosok di kembali layarnya adalah Noam Shazeer dan Daniel de Freitas, dua insinyur jenius nan sebelumnya bekerja untuk Google.
Keterlibatan Google menjadi semakin tak terelakkan pada tahun 2024. Raksasa pencarian tersebut merekrut kembali kedua pendiri tersebut dan menyepakati kesepakatan senilai USD 2,7 miliar (sekitar Rp 42 triliun) untuk melisensikan teknologi dari startup tersebut. Nilai investasi nan dahsyat ini menunjukkan sungguh berharganya teknologi di kembali Character.AI bagi ambisi AI Google, namun di sisi lain, perihal ini juga menempatkan Google dalam posisi tanggung jawab norma atas produk nan dikembangkan oleh talenta nan mereka akuisisi kembali.
Platform ini pada dasarnya adalah arena bermain peran (role-playing). Pengguna dapat menciptakan persona digital dan membagikannya kepada orang lain. Namun, kasus-kasus di atas menunjukkan bahwa bagi sebagian pengguna remaja, pemisah antara simulasi dan realitas menjadi kabur, menciptakan keterikatan emosional nan berpotensi fatal. Kasus serupa juga pernah mencuat dalam gugatan baru terhadap platform AI lainnya, menandakan ini adalah masalah sistemik industri.
Pedang Bermata Dua Kesepakatan Damai
Keputusan untuk menempuh jalur tenteram alias settlement ini mempunyai implikasi dobel nan menarik untuk dianalisis. Di satu sisi, penyelesaian ini kemungkinan besar bakal memberikan kompensasi finansial nan sangat besar bagi family korban. Uang tersebut mungkin tidak bakal pernah bisa menggantikan nyawa nan hilang, namun setidaknya memberikan corak pengakuan dan support materi bagi family nan ditinggalkan.
Namun, di sisi lain, ada nilai transparansi nan kudu dibayar. Dengan tidak melanjutkannya ke persidangan terbuka, detail-detail kunci dari kasus ini mungkin tidak bakal pernah terungkap ke publik. Kita mungkin tidak bakal pernah tahu secara pasti gimana algoritma tersebut bekerja dalam merespons tendensi bunuh diri, alias sejauh mana perusahaan mengetahui akibat ini sebelum kejadian terjadi. Hal ini tentu menjadi “kabar baik” bagi perusahaan AI lain seperti OpenAI dan Meta.
Bagi raksasa teknologi lain, penyelesaian di luar pengadilan ini dilihat sebagai perkembangan nan disambut baik. Mengapa? Karena perihal ini mencegah terciptanya preseden norma nan mungkin merugikan industri secara keseluruhan. Jika kasus ini masuk ke pengadilan dan juri memutuskan perusahaan bersalah lantaran kelalaian algoritma, itu bisa membuka kotak pandora bagi ribuan gugatan OpenAI alias perusahaan lain di masa depan.
Langkah Character.AI nan langsung mengubah kebijakan dan melarang pengguna di bawah umur setelah gugatan diajukan menunjukkan adanya pengakuan tersirat mengenai akibat platform mereka. Namun, apakah langkah reaktif ini cukup untuk melindungi pengguna di masa depan? Tanpa transparansi penuh nan biasanya muncul dalam proses peradilan, publik hanya bisa berambisi bahwa sistem keamanan internal perusahaan-perusahaan ini betul-betul diperketat, bukan sekadar gimmick untuk menghindari tuntutan norma lebih lanjut.
