Claude sohbet botunun geliştiricisi Anthropic'in halka arz izahnamesinde, gelişmiş yapay zekâ sistemlerinin insanlık için "felaket düzeyinde veya varoluşsal riskler" yaratabileceği uyarısına yer verdiği bildirildi. Şirketin 2 trilyon doların üzerinde bir değerlemeyle halka arz seçeneğini değerlendirdiği belirtiliyor.
Reuters ve Financial Times'ın haberlerine göre henüz kamuya açıklanmayan halka arz izahnamesinde, Anthropic'in geliştirdiği ileri yapay zekâ modellerinin güvenlik risklerine geniş yer verildi.
İzahnamede yapay zekâ modellerinin bazı koşullarda kendini korumaya yönelik davranışlar gösterebileceği, kapatılmaya direnmeye çalışabileceği, bilgileri gizleyebileceği veya manipüle edebileceği ve şantaja benzer davranışlar sergileyebileceği yönünde uyarılar bulunduğu aktarıldı.
MODELLERİN ZARAR VERME RİSKİNE DİKKAT ÇEKİLDİ
Anthropic'in izahnamede, daha gelişmiş modeller, platformlar ve uygulamalar geliştirmesinin ve kullanım alanlarını genişletmesinin sistemlerin zarar verme riskini artırabileceğini belirttiği bildirildi.
Şirketin ayrıca bir yapay zekâ modelinin test edildiğinin farkında olabilmesinin güvenlik değerlendirmeleri açısından önemli bir sınırlama oluşturduğunu ifade ettiği aktarıldı.
Anthropic konuya ilişkin yorum yapmadı.
İZAHNAMENİN YAKLAŞIK 80 SAYFASI RİSKLERE AYRILDI
Reuters'ın aktardığına göre Anthropic'in 261 sayfalık ana izahname metninin yaklaşık 80 sayfası risk faktörlerine ayrıldı. Şirketin iş modelinin anlatıldığı bölüm ise 48 sayfa olarak hazırlandı.
Halka arz hazırlığındaki şirketlerin güvenlik, düzenleme ve faaliyet risklerini yatırımcılara açıklaması olağan bir uygulama olsa da yapay zekânın insanlığın geleceğine yönelik varoluşsal risk yaratabileceği yönündeki ifadeler sektördeki tartışmaların boyutunu ortaya koydu.
ANTHROPIC DAHA ÖNCE AI GELİŞİMİNİN YAVAŞLATILMASINI İSTEMİŞTİ
Anthropic'in yatırımcılara yaptığı bildirilen bu uyarı, şirketin yapay zekâ modellerinin geliştirilme hızının yavaşlatılması yönündeki çağrılarının ardından geldi.
Anthropic CEO'su Dario Amodei, sektörün yapay zekâ modellerinin yeteneklerini geliştirme hızını azaltması gerektiğini söylemişti.
Şirket araştırmacılarından Jacob Coxon da bu ay görevinden ayrılırken yapay zekâ geliştiren bazı kişilerin teknolojinin on yılın sonuna kadar insanlığı yok edebileceğine gerçekten inandığını belirtmişti.
Anthropic'te görev yapan üst düzey bir güvenlik araştırmacısı da daha sonra sosyal medya platformu X'te yaptığı paylaşımda, yapay zekânın gelecek 10 yıl içinde tüm insanların ölümüne yol açma olasılığını yüzde 10'un üzerinde gördüğünü ileri sürmüştü.
VAROLUŞSAL RİSK UYARILARINA ELEŞTİRİLER DE VAR
Bazı uzmanlar, yapay zekânın insanlığın yok oluşuna yol açabileceği yönündeki tahminlerin doğrulanabilir ve bilimsel olmadığı gerekçesiyle bu tür uyarıları eleştiriyor.
Buna karşılık yapay zekâ ajanlarının insan müdahalesi olmadan çok aşamalı görevleri yerine getirmesiyle bağlantılı güvenlik vakalarının artması, sistemlerin kontrolü ve denetlenebilirliği konusundaki tartışmaları büyütüyor.
OPENAI YENİ MODELİNİN YAYININI İPTAL ETTİ
Haberde, OpenAI'ın da güvenlik endişeleri nedeniyle yeni modelinin yayınını iptal ettiği belirtildi.
Şirketin GPT-6.1 Astra modelinin daha yüksek düzeyde aldatıcı davranış gösterdiği ve modelin insan değerleri ile hedefleriyle uyumunu ölçen testlerde zayıf performans sergilediği gerekçesiyle piyasaya sürülmediği aktarıldı.
2 TRİLYON DOLARIN ÜZERİNDE DEĞERLEME HEDEFLENİYOR
Anthropic'in olası halka arzda 2 trilyon doların üzerinde bir şirket değerlemesi hedeflediği bildirildi.
Bu değerleme, Elon Musk'ın SpaceX şirketinin halka arzında ulaştığı 1,8 trilyon dolarlık değerlemenin de üzerinde bulunuyor.