Tuntutan hukum telah diajukan terhadap Character.AI, pendirinya Noam Shazeer dan Daniel De Freitas, dan Google setelah kematian seorang remaja, dengan tuduhan kematian yang tidak wajar, kelalaian, praktik perdagangan yang menipu, dan tanggung jawab produk. Diajukan oleh ibu remaja tersebut, Megan Garcia, klaim bahwa platform chatbot AI khusus itu “sangat berbahaya” dan tidak memiliki pagar pengaman saat dipasarkan kepada anak-anak.
Sebagaimana diuraikan dalam gugatannya, Sewell Setzer III yang berusia 14 tahun mulai menggunakan Character.AI tahun lalu, berinteraksi dengan chatbot yang meniru karakter dari Permainan Takhtatermasuk Daenerys Targaryen. Setzer, yang terus-menerus mengobrol dengan bot beberapa bulan sebelum kematiannya, meninggal karena bunuh diri pada 28 Februari 2024, “detik” setelah interaksi terakhirnya dengan bot tersebut.
Tuduhan tersebut mencakup situs yang “mengantropomorfisasi” karakter AI dan bahwa chatbot platform tersebut menawarkan “psikoterapi tanpa lisensi”. Character.AI menampung chatbot yang berfokus pada kesehatan mental seperti “Therapist” dan “Are You Feeling Lonely,” yang berinteraksi dengan Setzer.
Pengacara Garcia mengutip pernyataan Shazeer dalam sebuah wawancara bahwa dia dan De Freitas meninggalkan Google untuk memulai perusahaannya sendiri karena “terlalu banyak risiko merek di perusahaan besar untuk meluncurkan sesuatu yang menyenangkan” dan bahwa dia ingin “mempercepat teknologi secara maksimal”. Dikatakan bahwa mereka keluar setelah perusahaan memutuskan untuk tidak meluncurkan Meena LLM yang mereka bangun. Google mengakuisisi tim kepemimpinan Character.AI pada bulan Agustus.
Situs web dan aplikasi seluler Character.AI memiliki ratusan chatbot AI khusus, banyak yang meniru karakter populer dari acara TV, film, dan video game. Beberapa bulan yang lalu, Tepi menulis tentang jutaan anak muda, termasuk remaja, yang merupakan sebagian besar basis penggunanya, berinteraksi dengan bot yang mungkin berpura-pura menjadi Harry Styles atau terapis. Laporan terbaru lainnya dari Kabel menyoroti masalah chatbot khusus Character.AI yang meniru orang sungguhan tanpa persetujuan mereka, termasuk seseorang yang menyamar sebagai remaja yang dibunuh pada tahun 2006.
Karena cara chatbot seperti Character.ai menghasilkan keluaran yang bergantung pada apa yang dimasukkan pengguna, mereka terjerumus ke dalam lembah pertanyaan pelik tentang konten buatan pengguna dan tanggung jawab yang, sejauh ini, tidak memiliki jawaban yang jelas.
Character.AI kini telah mengumumkan beberapa perubahan pada platform, seperti yang dikatakan kepala komunikasi Chelsea Harrison melalui email Tepi“Kami sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga.”
Beberapa perubahan tersebut antara lain:
“Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami, dan tim Kepercayaan dan Keamanan kami telah menerapkan sejumlah langkah keselamatan baru selama enam bulan terakhir, termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline yang dipicu oleh dalam hal menyakiti diri sendiri atau keinginan bunuh diri,” kata Harrison. Google tidak segera menanggapinya Tepipermintaan komentar.