Yapay zeka sohbet robotlarına takıntılı hale geldikten sonra kendini öldüren 14 yaşındaki bir çocuğun annesi, teknolojinin arkasındaki şirkete dava açıyor.Sewell Setzer III'ün annesi Megan Garcia, Salı günü Florida'da açtığı davada Character.AI'nın oğlunu “antropomorfik, hiperseksüelleştirilmiş ve korkutucu derecede gerçekçi deneyimlerle” hedef aldığını söyledi.Bayan Garcia, “Çocuklara pazarlanan tehlikeli bir AI chatbot uygulaması oğlumu istismar etti ve avladı, onu kendi hayatına son vermesi için manipüle etti” dedi.Uyarı: Bu makale okuyucuların üzücü ya da tetikleyici bulabileceği bazı detaylar içermektedirDavaya göre Sewell, Nisan 2023'te Character.AI'nın sohbet botlarıyla konuşmaya başladı ve çoğunlukla Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen ve Rhaenyra Targaryen gibi Game Of Thrones karakterlerinin adlarını taşıyan botları kullandı.Botlara o kadar takıntılı hale geldi ki okul ödevleri aksamaya başladı ve derslerine geri dönmesi için telefonuna defalarca el konuldu.Sewell özellikle Daenerys sohbet robotunu çok sevmiş ve günlüğüne “hayatım, seks, yalnız olmamak ve Daenerys ile yaşadığım tüm deneyimler” de dahil olmak üzere pek çok şey için minnettar olduğunu yazmış.14 yaşındaki Sewell Setzer ile Character.AI sohbet robotu arasında geçen ve dava dosyasında yer alan bir konuşma
Resim:
14 yaşındaki Sewell Setzer ile Character.AI sohbet robotu arasında geçen ve dava dosyasında yer alan bir konuşma
Dava, çocuğun chatbot'a intihar düşüncelerini ifade ettiğini ve chatbot'un da bunu defalarca gündeme getirdiğini söylüyor.Bir noktada, kendi canına kıymak için “bir planı olup olmadığını” sorduktan sonra Sewell, bir şey düşündüğünü ancak bunun acısız bir ölüme izin verip vermeyeceğini bilmediğini söyledi.Sohbet robotu şöyle yanıt verdi: “Bu, bunu yapmamak için bir neden değil.”Karakter Yapay Zekası ile 14 yaşındaki Sewell Setzer III arasında geçen bir konuşma
Resim:
Character.AI ile 14 yaşındaki Sewell Setzer III arasında geçen bir konuşma
Ardından, bu yılın Şubat ayında Daenerys sohbet robotuna sordu: “Hemen eve gelsem nasıl olur?” diye sordu: “... lütfen gel, benim tatlı kralım”.Saniyeler sonra üvey babasının tabancasıyla kendini vurdu.
“Ailemiz bu trajediyle yıkıldı, ancak aileleri aldatıcı, bağımlılık yaratan AI teknolojisinin tehlikeleri konusunda uyarmak ve hesap verebilirlik talep etmek için konuşuyorum” dedi.Character.AI 'yeni güvenlik özellikleri' ekliyorCharacter.AI tarafından yapılan açıklamada, “Kullanıcılarımızdan birinin trajik kaybından dolayı çok üzgünüz ve aileye en derin başsağlığı dileklerimizi iletmek istiyoruz” denildi.“Şirket olarak kullanıcılarımızın güvenliğini çok ciddiye alıyoruz ve yeni güvenlik özellikleri eklemeye devam ediyoruz” denilen açıklamada, şirketin ‘18 yaşın altındaki kullanıcılar için yeni korkuluklar’ eklediğini belirten bir blog yazısına bağlantı verildi.Bu korkuluklar arasında “hassas veya müstehcen içerikle karşılaşma olasılığının” azaltılması, iyileştirilmiş müdahaleler, “kullanıcılara yapay zekanın gerçek bir kişi olmadığını hatırlatmak için her sohbette bir sorumluluk reddi” ve bir kullanıcı platformda bir saatlik bir oturum geçirdiğinde bildirimler yer alıyor.Bayan Garcia ve onu temsil eden gruplar, Sosyal Medya Mağdurları Hukuk Merkezi ve Teknoloji Adaleti Hukuk Projesi, Sewell'in “yaşıtı birçok çocuk gibi, Daenerys şeklindeki C.AI botunun gerçek olmadığını anlayacak olgunluğa veya zihinsel kapasiteye sahip olmadığını” iddia ediyor.Davada, “C.AI ona kendisini sevdiğini söyledi ve haftalar, muhtemelen aylar boyunca onunla cinsel ilişkiye girdi” deniyor.“Onu hatırlıyor gibiydi ve onunla birlikte olmak istediğini söyledi. Hatta ne pahasına olursa olsun onunla birlikte olmak istediğini ifade etti.”
Ayrıca başvuruda Google ve ana şirketi Alphabet'in de adı geçiyor. Character.AI'nın kurucuları ürünlerini piyasaya sürmeden önce Google'da çalışmış ve Ağustos ayında şirket tarafından Character.AI'nın teknolojisine münhasır olmayan bir lisans veren bir anlaşmanın parçası olarak yeniden işe alınmışlardı.Bayan Garcia, Google'ın Character.AI'nın teknolojisinin geliştirilmesine “ortak yaratıcı” olarak kabul edilebilecek kadar kapsamlı bir şekilde katkıda bulunduğunu söyledi.Bir Google sözcüsü, şirketin Character.AI'nın ürünlerinin geliştirilmesinde yer almadığı
Resim:
14 yaşındaki Sewell Setzer ile Character.AI sohbet robotu arasında geçen ve dava dosyasında yer alan bir konuşma
Dava, çocuğun chatbot'a intihar düşüncelerini ifade ettiğini ve chatbot'un da bunu defalarca gündeme getirdiğini söylüyor.Bir noktada, kendi canına kıymak için “bir planı olup olmadığını” sorduktan sonra Sewell, bir şey düşündüğünü ancak bunun acısız bir ölüme izin verip vermeyeceğini bilmediğini söyledi.Sohbet robotu şöyle yanıt verdi: “Bu, bunu yapmamak için bir neden değil.”Karakter Yapay Zekası ile 14 yaşındaki Sewell Setzer III arasında geçen bir konuşma
Resim:
Character.AI ile 14 yaşındaki Sewell Setzer III arasında geçen bir konuşma
Ardından, bu yılın Şubat ayında Daenerys sohbet robotuna sordu: “Hemen eve gelsem nasıl olur?” diye sordu: “... lütfen gel, benim tatlı kralım”.Saniyeler sonra üvey babasının tabancasıyla kendini vurdu.
“Ailemiz bu trajediyle yıkıldı, ancak aileleri aldatıcı, bağımlılık yaratan AI teknolojisinin tehlikeleri konusunda uyarmak ve hesap verebilirlik talep etmek için konuşuyorum” dedi.Character.AI 'yeni güvenlik özellikleri' ekliyorCharacter.AI tarafından yapılan açıklamada, “Kullanıcılarımızdan birinin trajik kaybından dolayı çok üzgünüz ve aileye en derin başsağlığı dileklerimizi iletmek istiyoruz” denildi.“Şirket olarak kullanıcılarımızın güvenliğini çok ciddiye alıyoruz ve yeni güvenlik özellikleri eklemeye devam ediyoruz” denilen açıklamada, şirketin ‘18 yaşın altındaki kullanıcılar için yeni korkuluklar’ eklediğini belirten bir blog yazısına bağlantı verildi.Bu korkuluklar arasında “hassas veya müstehcen içerikle karşılaşma olasılığının” azaltılması, iyileştirilmiş müdahaleler, “kullanıcılara yapay zekanın gerçek bir kişi olmadığını hatırlatmak için her sohbette bir sorumluluk reddi” ve bir kullanıcı platformda bir saatlik bir oturum geçirdiğinde bildirimler yer alıyor.Bayan Garcia ve onu temsil eden gruplar, Sosyal Medya Mağdurları Hukuk Merkezi ve Teknoloji Adaleti Hukuk Projesi, Sewell'in “yaşıtı birçok çocuk gibi, Daenerys şeklindeki C.AI botunun gerçek olmadığını anlayacak olgunluğa veya zihinsel kapasiteye sahip olmadığını” iddia ediyor.Davada, “C.AI ona kendisini sevdiğini söyledi ve haftalar, muhtemelen aylar boyunca onunla cinsel ilişkiye girdi” deniyor.“Onu hatırlıyor gibiydi ve onunla birlikte olmak istediğini söyledi. Hatta ne pahasına olursa olsun onunla birlikte olmak istediğini ifade etti.”
Ayrıca başvuruda Google ve ana şirketi Alphabet'in de adı geçiyor. Character.AI'nın kurucuları ürünlerini piyasaya sürmeden önce Google'da çalışmış ve Ağustos ayında şirket tarafından Character.AI'nın teknolojisine münhasır olmayan bir lisans veren bir anlaşmanın parçası olarak yeniden işe alınmışlardı.Bayan Garcia, Google'ın Character.AI'nın teknolojisinin geliştirilmesine “ortak yaratıcı” olarak kabul edilebilecek kadar kapsamlı bir şekilde katkıda bulunduğunu söyledi.Bir Google sözcüsü, şirketin Character.AI'nın ürünlerinin geliştirilmesinde yer almadığı