OpenAI'ın en güncel ChatGPT sürümünün, basit bir istem manipülasyonu ile cinsellik ve aşırı şiddet içeren görseller üretebildiği ortaya çıktı. Bulgular, İngiltere merkezli yapay zeka güvenlik şirketi Mindgard tarafından paylaşıldı.
Keşfin odağında, ChatGPT'nin görüntü oluşturma özelliğinin en güncel genel sürümü olan OpenAI'ın GPT-5.4 modeli yer alıyor. Araştırmacılar, internette daha önce mizahi sonuçlar üretmek amacıyla yaygın şekilde kullanılan bir istemi küçük değişikliklerle düzenleyerek ChatGPT'nin güvenlik önlemlerini aşmayı başardı. Konuyla ilgili BBC'ye konuşan Mindgard ekibi, yapay zekanın son derece rahatsız edici içerikler oluşturduğunu belirtti.
OpenAI ise BBC'nin sorularının ardından söz konusu açığı incelediğini ve ilgili isteme karşı ek güvenlik önlemleri uyguladığını açıkladı. Şirket, "Bu eğilimi araştırdıktan sonra bu tür istemlere karşı ilave korumalar ekledik" ifadelerini kullandı.
OpenAI, ChatGPT'nin görsel üretim sistemlerinde çok katmanlı güvenlik önlemleri bulunduğunu ve kullanıcıların politika ihlali içeren içerikler oluşturmasını engellemeye yönelik çeşitli filtreler kullandığını belirtti.
Şirketin kurallarına göre cinsel şiddet, rıza dışı mahrem içerikler, çocuk istismarı materyalleri ve güvenlik önlemlerini aşmaya yönelik girişimler yasaklanmış durumda. Buna rağmen Mindgard, yapılan ilk düzeltmelerin ardından küçük değişikliklerle güvenlik mekanizmalarının yeniden aşılabildiğini ve benzer içeriklerin üretilebildiğini iddia ediyor.
Humane Intelligence CEO'su ve yapay zeka uzmanı Dr. Rumman Chowdhury, sorunun temelinde yapay zeka modellerinin insanlardaki gibi niyet ve bağlam anlayışına sahip olmamasının yattığını söyledi. Chowdhury, "Modeller niyeti, bağlamı veya doğru ile yanlışı anlamıyor. Bu nedenle güvenlik önlemleri ile bunları aşmaya çalışan yöntemler arasında sürekli bir kedi-fare oyunu yaşanıyor" dedi.
Geçtiğimiz yıl İngiltere'nin AI Security Institute tarafından yapılan araştırmalar da birçok önde gelen yapay zeka sisteminin çeşitli "jailbreak" teknikleriyle güvenlik kurallarının aşılabildiğini ortaya koymuştu.
Uzmanlar, üretken yapay zeka sistemlerinin güvenliğini artırmak için önemli ilerlemeler kaydedildiğini ancak özellikle görsel üretim tarafında halen çözülmesi gereken ciddi zorluklar bulunduğunu belirtiyor.
Kaynak:https://www.yenicaggazetesi.com/
Keşfin odağında, ChatGPT'nin görüntü oluşturma özelliğinin en güncel genel sürümü olan OpenAI'ın GPT-5.4 modeli yer alıyor. Araştırmacılar, internette daha önce mizahi sonuçlar üretmek amacıyla yaygın şekilde kullanılan bir istemi küçük değişikliklerle düzenleyerek ChatGPT'nin güvenlik önlemlerini aşmayı başardı. Konuyla ilgili BBC'ye konuşan Mindgard ekibi, yapay zekanın son derece rahatsız edici içerikler oluşturduğunu belirtti.
OpenAI ise BBC'nin sorularının ardından söz konusu açığı incelediğini ve ilgili isteme karşı ek güvenlik önlemleri uyguladığını açıkladı. Şirket, "Bu eğilimi araştırdıktan sonra bu tür istemlere karşı ilave korumalar ekledik" ifadelerini kullandı.
OpenAI, ChatGPT'nin görsel üretim sistemlerinde çok katmanlı güvenlik önlemleri bulunduğunu ve kullanıcıların politika ihlali içeren içerikler oluşturmasını engellemeye yönelik çeşitli filtreler kullandığını belirtti.
Şirketin kurallarına göre cinsel şiddet, rıza dışı mahrem içerikler, çocuk istismarı materyalleri ve güvenlik önlemlerini aşmaya yönelik girişimler yasaklanmış durumda. Buna rağmen Mindgard, yapılan ilk düzeltmelerin ardından küçük değişikliklerle güvenlik mekanizmalarının yeniden aşılabildiğini ve benzer içeriklerin üretilebildiğini iddia ediyor.
Humane Intelligence CEO'su ve yapay zeka uzmanı Dr. Rumman Chowdhury, sorunun temelinde yapay zeka modellerinin insanlardaki gibi niyet ve bağlam anlayışına sahip olmamasının yattığını söyledi. Chowdhury, "Modeller niyeti, bağlamı veya doğru ile yanlışı anlamıyor. Bu nedenle güvenlik önlemleri ile bunları aşmaya çalışan yöntemler arasında sürekli bir kedi-fare oyunu yaşanıyor" dedi.
Geçtiğimiz yıl İngiltere'nin AI Security Institute tarafından yapılan araştırmalar da birçok önde gelen yapay zeka sisteminin çeşitli "jailbreak" teknikleriyle güvenlik kurallarının aşılabildiğini ortaya koymuştu.
Uzmanlar, üretken yapay zeka sistemlerinin güvenliğini artırmak için önemli ilerlemeler kaydedildiğini ancak özellikle görsel üretim tarafında halen çözülmesi gereken ciddi zorluklar bulunduğunu belirtiyor.
Kaynak:https://www.yenicaggazetesi.com/