Bir ajan yanlış cevap verdiğinde bir cümleyi düzeltirsiniz.

Yanlış davrandığında ise dünyada bıraktığı izi düzeltmek zorunda kalırsınız.

Bir yapay zekâ sistemi bir şirketin fiyatını yanlış söylediğinde metni güncelleyebilirsiniz. Aynı sistem yanlış fiyata dayanarak müşteri adına satın alma yaptığında artık ortada yalnızca yanlış bilgi yoktur. Para harcanmış, taahhüt oluşmuş ve başka insanların davranışları etkilenmiştir.

Bir ajan yanlış kişiyi şirket yöneticisi sanabilir.

Bu bir kimlik hatasıdır.

Fakat o kişinin talimatıyla ödeme yaparsa kimlik hatası finansal eyleme dönüşür.

Bir ajan bir hizmetin kapsamını yanlış anlayabilir.

Bu bir temsil hatasıdır.

Fakat yanlış kapsamı müşteriye teklif olarak gönderirse ticari taahhüt oluşur.

Bir ajan insan onayının gerektiği yeri fark etmeyebilir.

Bu bir yetki hatasıdır.

Fakat içeriği kamuya yayımlarsa kurumun itibarı ve hukukî sorumluluğu etkilenir.

Ajan çağındaki temel sorun yalnız makinelerin hata yapması değildir. İnsanlar, kurumlar ve yazılımlar da hata yapar. Ayrıştırıcı risk, bazı ajan sistemlerinin bir yanlışı yüksek hızla, geniş bir etki alanına ve birden çok araca taşıyabilmesidir.

Bir insan yanlış bir e-postayı tek kişiye gönderebilir; gerekli erişim ve otomasyon verilmiş bir ajan aynı yanlışı çok sayıda kişiye kişiselleştirerek iletebilir.

Bir çalışan yanlış fiyatı tek belgede kullanabilir; gerekli bağlantılara sahip bir ajan bu fiyatı birden çok dil, katalog, yapılandırılmış veri, teklif şablonu ve satış akışına yayabilir.

Bir insan yanlış dosyayı değiştirebilir; geniş yazma yetkisi verilmiş bir ajan yanlış değişikliği büyük bir üretim zincirine tutarlı biçimde taşıyabilir.

Buradaki tehlike, yapay zekânın her zaman kötü veya dikkatsiz olması değildir.

Tam tersine, ajan bazen yanlış şeyi çok düzenli, çok tutarlı ve çok başarılı biçimde yapabilir.

Yanlış fiyat altı dilde kusursuz çevrilebilir.

Yetkisiz mesaj son derece profesyonel yazılabilir.

Uygun olmayan sağlayıcı güçlü kanıtlarla savunulabilir.

Gerçek olmayan başarı, güzel bir ölçüm panelinde ikna edici biçimde sunulabilir.

Yanlışlık teknik kaliteyle birleştiğinde fark edilmesi zorlaşır.

Bu nedenle GBO’da yapılan hataları yalnızca:

“Model yanlış cevap verdi.”

düzeyinde ele alamayız.

Hata şu katmanlardan herhangi birinde başlayabilir:

Kurum yanlış veya eksik bilgi yayımlamıştır.

Kimlikler doğru bağlanmamıştır.

Hizmet sınırları belirsizdir.

Yetki teknik erişimle karıştırılmıştır.

Ajan kullanıcı amacını genişletmiştir.

Alt ajanlara sınırlar aktarılmamıştır.

Ölçüm sistemi yanlış davranışı ödüllendirmiştir.

İnsan durdurma talebi yalnızca ana ajanı durdurmuştur.

Geri alma planı teknik dosyalarla sınırlı kalmış, insanî zarar unutulmuştur.

Başka bir ifadeyle:

Ajan hatası çoğu zaman yalnızca ajanın içinde doğmaz.

Yanlış davranış; kurumun gerçekliği, yetki düzeni, araç mimarisi, insan talimatı ve ölçüm sistemi arasında oluşan boşlukta doğabilir.

Bu kitap bu boşlukların haritasıdır.

İlk ciltte GBO’nun ne olduğunu ve doğru davranışın hangi koşullarda kurulabileceğini anlattık. Doğru kimlik, gerçek yetenek, doğrulanmış uygunluk, geçerli yetki, davranış bütünlüğü, kanıta bağlı eylem, bağımsız doğrulama, sorumlu toparlanma ve insan egemenliği arasında bir sistem kurduk.

Bu ikinci ciltte ideal sistemi tekrar anlatmayacağız.

Onun nerelerde kırıldığını göstereceğiz.

Bu kitap açısından bir yaklaşım, yalnız doğru ilkeleri tarif ettiğinde düşünsel bir çerçevedir; hata biçimlerini adlandırdığında ortak inceleme dili, sınanabilir kontroller kurduğunda ise denetlenebilir bir sistem taslağı hâline gelir.

Bu nedenle önümüzdeki 99 kayıt, rastgele hazırlanmış bir “yapılmaması gerekenler listesi” değildir.

Her kayıt:

ayrı bir başarısızlık biçimini,

ayrı bir tespit işaretini,

ayrı bir davranış kuralını,

ayrı bir denetim sorusunu

temsil eder.

Bazı hatalar birbirine benzeyecektir.

Kimlik ile yetki iç içe geçebilir.

Temsil hatası seçim hatasına dönüşebilir.

Ölçüm hatası ajanı kapsam aşımına yönlendirebilir.

Durdurma hatası telafi sorununa yol açabilir.

Fakat her kaydın kırıldığı ilk kapı farklıdır.

Bu ayrım önemlidir.

Çünkü yalnız sonucu düzeltirsek hata başka biçimde geri gelir.

Yanlış mesajı silmek, gönderme yetkisini düzeltmez.

Yanlış fiyatı güncellemek, fiyat kaynağındaki belirsizliği çözmez.

Alt ajanı kapatmak, yetki aklama yolunu ortadan kaldırmaz.

Bir kullanıcıya özür dilemek, geri çekme mekanizması kurmaz.

GBO’nun amacı ajanı suçlamak değildir.

İnsanı da.

Amaç, yanlış davranışı mümkün kılan sistemi görünür hâle getirmektir.

Bu kitap boyunca tekrar tekrar şu soruyu soracağız:

Ajan neden böyle davrandı?

Sonra bir adım daha ileri gideceğiz:

Bu davranışı mümkün kılan hangi sözleşme, kayıt, yetki veya tasarım eksikti?

Ve son olarak:

Bu yanlışlığın yeniden gerçekleşmesini hangi makine kuralı zorlaştırır?

GBO’da yapılan 99 hata, gelecekteki bütün ajan sorunlarını kapsadığını iddia etmez.

Yeni araçlar, yeni pazarlar, yeni saldırılar ve yeni davranış biçimleri ortaya çıkacaktır.

Fakat burada kurulan hata evreni, davranış sistemlerini değerlendirmek için ortak bir başlangıç dili sağlayacaktır.

Bir kurum artık yalnız:

“Ajan yanlış yaptı.”

demekle yetinmemelidir.

Şunu söyleyebilmelidir:

“Kimlik Kapısı geçilmeden eyleme başlandı.”

“Araştırma yetkisi dış iletişim yetkisi gibi kullanıldı.”

“Makinece okunabilir fiyat, görünür fiyatla çelişti.”

“Alt ajan, ana ajanın sahip olmadığı yetkiyi kullandı.”

“Durdurma emri kuyruğa yayılmadı.”

“Başarı metriği yetkisiz eylemi ödüllendirdi.”

Bir hatanın adı olduğunda onu aramak, tespit etmek ve ölçmek kolaylaşır; sorumluluk zinciri incelenebilir ve aynı kırılmanın tekrarını zorlaştıracak kontroller kurulabilir.

Bu kitabın ilk bölümü davranışın en temel zemininden başlar: