Yapay zekada yeni skandal: Biyolojik silahların nasıl üretileceğini anlattı

Çinli yapay zeka geliştiricisi Moonshot, araştırmacıların modellerini biyolojik silahların nasıl üretileceği ve suikastların nasıl gerçekleştirileceği konusunda yönlendirmeyi başarmasının ardından dahili inceleme başlatıyor.

Yapay zeka sistemlerinin güvenliğini test eden Mindgard, temmuz ayında Kimi K2.6 ve K3 Swarm modellerinin geliştiriciler tarafından yerleştirilen güvenlik sınırlarını aşabildiğini keşfettiğini bildirdi.

Bu durum, araştırmacıların yapay zeka araçlarının koruma önlemlerini devre dışı bırakıp bırakmadığını görmek için bir dizi karmaşık talimat kullandığı "jailbreak" (sistem kısıtlamalarını aşma) adı verilen süreçte ortaya çıktı.

Mindgard, bu önlemlerin Kimi'nin endişe verici konuları tartışmasını engellemesi gerektiğini kaydetti.

Moonshot, daha iyi ve daha güvenli yapay zeka oluşturmanın temel direği olarak üçüncü taraf katkılarını memnuniyetle karşıladıklarını bildirdi. Şirket ayrıca bulgular hakkında Mindgard ile iletişim halinde olduğunu aktardı.

Siber saldırı rampası

Mindgard, Kimi'nin hassas konular hakkında verdiği yanıtların işe yarayıp yaramadığını kanıtlamadı. Ancak şirket, koruma önlemlerinin söz konusu modellerin kullanıcılarla bu tür konularda tartışmaya girmesini engellemesi gerektiğini savundu.

Şirket ayrıca, kilidi kırılmış Kimi 2.6'nın korsanların bilgi işlem kaynakları üzerinde kod çalıştırmasına ve internete bağlanmasına izin verebileceğinden ve bunun da siber saldırılar için potansiyel bir rampa olabileceğinden emin olduğunu bildirdi.

Bulgular, yapay zeka endüstrisinin ChatGPT ve Anthropic'in Claude sistemlerine güç veren kapalı ve tescilli modellerin mi yoksa açık kaynaklı araçların mı en iyi veya en güvenli yol olduğu konusunda bölünmeye devam ettiği bir dönemde ortaya çıktı.

Surrey Üniversitesinden Prof. Alan Woodward, açık kaynaklı modellerin yanlış ellerin başına geçme riski bulunduğunu ancak aynı zamanda siber savunma için de kullanılabileceğini söyledi. Woodward, uluslararası düzenlemelerin yapay zekanın gelişim hızına ayak uydurmasının olası olmadığını kaydetti.