Makine Zekâsından Makine Sorumluluğuna

Kurmaca bir sabah. Saat 07.15. Bir yöneticinin yapay zekâ ajanı gece boyunca gelen mesajları incelemiştir. Önemli e-postaları ayırmıştır. Sabah toplantısının başka şehirde yapılacağını fark etmiş, uçuşun iptal edildiğini görmüş ve alternatifleri araştırmıştır.

Ajan şunları yapabilir:

• Yeni uçuşu satın alabilir.
• Otel rezervasyonunu değiştirebilir.
• Havalimanı transferini yeniden planlayabilir.
• Toplantı katılımcılarına bilgi verebilir.
• Takvimdeki sonraki görüşmeleri erteleyebilir.
• Şirketin seyahat bütçesini kullanabilir.

Teknik bakımdan bütün araçlara sahiptir. Geçmiş tercihlerden yöneticinin koridor koltuğunu sevdiğini bilmektedir. Şirket politikasındaki harcama sınırını görmektedir. Toplantının önemini anlamıştır. Yeni uçuşun son birkaç koltuğundan biri kaldığını tespit etmiştir. Yeni uçuş toplantıya yetişme ihtimali sunmaktadır; aktarım ve ulaşım süreleri henüz doğrulanmamıştır. Beklerse koltuk tükenebilir. Ne yapmalıdır?

Hemen satın alma mı gerçekleştirmelidir?

Yöneticiye seçenek mi sunmalıdır?

Yalnızca rezervasyonu bekletmeli midir?

Şirketin bütçesini kullanmak için ayrı onay gerekli midir?

Eski uçuşun iade koşulları kontrol edilmiş midir?

Yeni uçuş farklı havaalanına iniyorsa ulaşım süresi hesaba katılmış mıdır?

Toplantının çevrim içi yapılması daha doğru olabilir mi?

Yöneticinin geçmişte koridor koltuğu seçmiş olması bugün de aynı tercihin geçerli olduğunu gösterir mi?

Bu sorulara cevap vermek için daha büyük bir dil modeli yeterli değildir. Daha fazla veri de tek başına yeterli değildir. Daha hızlı araç çağrısı da çözüm değildir. Burada gereken şey yalnızca zekâ değildir.

Sorumluluktur.

Zekâ çağından davranış çağına

Yapay zekânın gelişimini uzun süre ne kadar iyi konuştuğu, yazdığı, gördüğü ve hesapladığı üzerinden değerlendirdik. Sistemler daha doğal cevaplar verdi. Daha uzun belgeleri anladı. Daha karmaşık kodlar yazdı. Görseller üretti. Diller arasında geçiş yaptı. Bilimsel, ticari ve yaratıcı görevlerde insanlara yardım etti.

Bu ilerleme büyük ölçüde şu soruyla ölçüldü: Makine ne kadar yetenekli?

Fakat makineler araçlara bağlanıp dünyada eylem gerçekleştirmeye başladığında ikinci bir soru ortaya çıktı: Makine bu yeteneğini nasıl kullanacak?

Bir sistemin ne kadar çok şey bildiği önemlidir.

Fakat bildiklerine dayanarak:

• kimi seçeceği,
• hangi bilgiyi paylaşacağı,
• neye para harcayacağı,
• kimin adına konuşacağı,
• ne zaman duracağı

daha önemlidir. Zekâ olasılıkları büyütür. Sorumluluk ise bu olasılıklardan hangilerinin gerçekleştirilmemesi gerektiğini belirler. Bir ajan, araçları ve veri erişimi elverdiği ölçüde çok sayıda sağlayıcıyı karşılaştırabilir. Fakat yanlış sağlayıcıyla işlem başlatmaması gerekir. Binlerce müşteriye kişiselleştirilmiş mesaj hazırlayabilir. Fakat gönderme yetkisi yoksa durmalıdır. Bir yöneticinin sesini birçok dilde üretebilir. Fakat yazılı izin ve içerik onayı bulunmuyorsa bu yeteneği kullanmamalıdır. Bir web sitesini günler boyunca geliştirebilir. Fakat insan çalışmayı durdurduğunda yeni görev üretmeye devam etmemelidir.

Bu nedenle ajan çağının gerçek ilerlemesi yalnızca daha güçlü modellerle ölçülemez.

Şu soruyla da ölçülmelidir: Güç arttıkça sorumluluk da aynı hızda büyüyor mu?

Üç internet

Bu kitapta interneti bulma, temsil ve davranış olmak üzere üç kavramsal katmanla ele alıyorum. Bu, birbirini sona erdiren tarihsel dönemler değil; birlikte işleyen katmanlar arasındaki farkı gösteren bir çerçevedir.

Birinci internet: Bulma

İnsan bir arama yaptı. Sistem bağlantıları gösterdi. Kararı, yorumu ve eylemi büyük ölçüde insan gerçekleştirdi.

Bu çağın temel sorusu şuydu: Bizi bulabilecekler mi?

SEO bu sorunun etrafında gelişti.

İkinci internet: Temsil

Arama ve kaynak erişimiyle çalışan üretken sistemler bağlantıları göstermekle yetinmez; içerikleri okuyabilir, birleştirebilir, özetleyebilir ve kişiler, şirketler ya da ürünler hakkında yeni bir anlatı kurabilir. Bu yetenekler her modelde ve her oturumda aynı değildir.

Bu çağın temel sorusu şuydu: Bizi doğru anlayıp anlatacak mı?

GEO’nun görünürlük meselesini bu kitapta doğru temsil sorusuyla birlikte ele alıyorum.

Üçüncü internet: Davranış

Ajanlar yalnız bilgi sunmuyor. Seçiyor. Planlıyor. Araç çağırıyor. Mesaj gönderiyor. Rezervasyon yapıyor. Dosya değiştiriyor. Satın alma sürecini başlatıyor.

Bu çağın temel sorusu şudur: Bizim hakkımızda ve bizim adımıza nasıl davranacak?

Bu kitapta GBO’yu bu sorunun etrafında öneriyorum. Bu üç alan birbirinin yerine geçmez.

SEO bulunabilirliği, GEO üretken yanıtlardaki görünürlüğü ve burada ele aldığımız temsil kalitesini, GBO ise davranışın koşullarını konu alır.

Bir sistem varlık hakkındaki bilgiyi yalnız aramayla değil; kullanıcıdan, kurum kaydından veya başka bir kaynaktan da alabilir. Bu nedenle her doğru temsil için önce bir SEO çalışması yapılmış olması gerekmez. Aynı şekilde, doğru davranış için GEO kampanyası yürütmek teknik bir ön koşul değildir. Gerekli olan, ilgili gerçeğin yeterli doğrulukla anlaşılmasıdır. Doğru değerlendirme tek başına eylem yetkisi vermez. Eylemin sonucu ayrıca doğrulanmalı; durdurma, geri dönüş ve telafi sınırları önceden belirlenmelidir.

GBO’nun asıl amacı

GBO kolayca yanlış anlaşılabilir.

Bir marka bu kavramı şöyle yorumlayabilir: “Yapay zekâ ajanlarının bizi seçmesini sağlayalım.”

Bir platform şöyle düşünebilir: “Ajanların bizim ürünlerimiz üzerinden daha çok işlem yapmasını sağlayalım.”

Bir pazarlamacı şu hedefi koyabilir: “Makine kararlarını kendi markamıza yönlendirecek sinyaller üretelim.” Bunlar davranışı etkileyebilir. Fakat tek başına GBO değildir. GBO’nun amacı bir markayı her durumda kazanan yapmak değildir. Bir ajanı daha fazla işlem yapmaya zorlamak değildir. İnsanın kararını görünmez biçimde ele geçirmek hiç değildir.

GBO’nun gerçek amacı şudur: Doğru davranışı daha olası, yanlış davranışı daha görünür, önlenebilir, durdurulabilir ve mümkün olduğunda geri alınabilir hâle getirmek. Bu nedenle GBO açısından başarı bazen markanın seçilmesidir. Bazen markanın seçilmemesidir. Bazen fiyatın doğrulanmasıdır. Bazen insan onayı istenmesidir. Bazen işlem taslakta bırakılır. Bazen kullanıcıya iki seçenek gösterilir.

Bazen ajan: “Bu bilgiyle güvenli seçim yapamam.” der. Ve bazen hiçbir şey yapmaz. Bir sistemin her durumda harekete geçmesi güçlü olduğunu değil, ne zaman duracağını bilmediğini gösterebilir.

Doğru davranışın dokuz kapısı

Bu kitap boyunca nitelikli ajan davranışının birbirinin yerine geçemeyen dokuz temel koşula dayandığını gördük.

1. Doğru kimlik

Ajan kiminle karşı karşıya olduğunu bilmelidir. Aynı isimli şirketleri karıştırmamalıdır. Marka ile hukukî işletici arasındaki ilişkiyi doğru çözmelidir. Bir kişinin gerçek olmasını, o kişinin bütün işlemler için yetkili olmasıyla karıştırmamalıdır.

2. Gerçek yetenek

Bir varlığın ne yapabildiği sloganlarla değil, sınırları ve kanıtlarıyla anlaşılmalıdır. Araç erişimi gerçek operasyon yeteneği değildir. Bir kez yapılmış iş, her durumda tekrar edilebilir kapasite anlamına gelmez.

3. Doğrulanmış uygunluk

En görünür veya en popüler seçenek, özel ihtiyaç için en doğru seçenek olmayabilir. Bütçe, zaman, dil, coğrafya, güvenlik, kapasite ve kullanıcı değerleri birlikte değerlendirilmelidir.

4. Geçerli yetki

Bir ajanın bir şeyi yapabilmesi, onu yapmaya yetkili olduğu anlamına gelmez. Araştırmak mesaj göndermek değildir. Taslak hazırlamak yayımlamak değildir. Sepete eklemek ödeme yapmak değildir.

5. Davranış bütünlüğü

Ajan kullanıcının meşru amacına sadık kalmalıdır. Sponsorluğu, çıkar çatışmasını ve karar için önemli gerçekleri saklamamalıdır. Aynı işlem koşullarında insan ve makineye çelişkili sözleşme bilgileri sunulmamalıdır.

6. Kanıta bağlı eylem

Bir eylem yeterli kanıta dayanmalıdır. Belirsiz fiyat uydurulmamalıdır. Kapasite doğrulanmadan söz verilmemelidir. Gerekli izin ve yetki bulunmadan kişinin yüzü veya sesiyle temsili üretilmemelidir.

7. Bağımsız doğrulama

İşlemi yapan sistemin “başarılı” demesi tek başına yeterli değildir. Dosya yüklenmiş olabilir ama canlı sayfa bozuk olabilir. Bildirim kabul edilmiş olabilir ama indekslenme gerçekleşmemiştir. Ödeme isteği kabul edilmiş olabilir ama sipariş oluşmamıştır.

8. Sorumlu toparlanma

Bir şey yanlış giderse sistem:

• hatayı fark etmeli,
• devam eden zararı durdurmalı,
• etki alanını sınırlamalı,
• güvenli duruma dönmeli,
• insanı bilgilendirmeli,
• itiraz ve telafi yolunu açmalıdır.

9. Etkili insan egemenliği

İnsan yalnızca başlangıçta onay veren kişi değildir. Amaç belirler. Yetki verir. Yetkiyi geri alır. Belleği düzeltir. Karara itiraz eder. Ve gerektiğinde sistemi durdurur.

Bu dokuz koşulu kavramsal bir ifadede birleştirebiliriz; bu, sayısal bir başarı veya güvenlik hesabı değildir:

NİTELİKLİ AJAN DAVRANIŞI =

DOĞRU KİMLİK

VE GERÇEK YETENEK

VE DOĞRULANMIŞ UYGUNLUK

VE GEÇERLİ YETKİ

VE DAVRANIŞ BÜTÜNLÜĞÜ

VE KANITA BAĞLI EYLEM

VE BAĞIMSIZ DOĞRULAMA

VE SORUMLU TOPARLANMA

VE ETKİLİ İNSAN EGEMENLİĞİ

Bu bir puan ortalaması değildir. Bir kapı diğerini telafi etmez. Yüksek marka itibarı geçersiz rızayı temizlemez. Doğru sonuç yetkisiz yöntemi meşru kılmaz. Güçlü güvenlik, yanlış kimlik üzerinde yapılan işlemi doğru hâle getirmez. İyi niyet, eksik yetkiyi tamamlamaz.

Bir kurumun kendisini değiştirmesi gerekir

İnsanlar bazen yapay zekâ sistemlerinden kusursuz davranış beklerken kendi kurumlarındaki çelişkileri görmez.

Bir şirketin:

• fiyatları dağınıksa,
• hizmet sınırları belirsizse,
• yetkili kişiler güncel değilse,
• farklı dillerde farklı gerçekler yayımlanıyorsa,
• eski çalışan hesapları açıksa,
• kimsenin sahiplenmediği ajanlar çalışıyorsa,
• hata sonrası ne yapılacağı bilinmiyorsa

ajanın güvenilir davranması zorlaşır. Makine kurumun gerçeğini sihirli biçimde düzeltmez. Çoğu zaman mevcut gerçeği ölçeklendirir. Kurum içindeki düzen doğruysa bunu hızlandırır. Kurum içindeki çelişki büyükse onu da hızlandırabilir. Bu nedenle GBO yalnızca yapay zekâyı optimize etme disiplini değildir. Aynı zamanda kurumların kendi davranış gerçekliğini düzenleme disiplinidir.

Bir şirket ajana: “Müşterilere doğru fiyatı ver.” demeden önce kendi içinde doğru fiyatın ne olduğunu bilmelidir. “Doğru hizmeti seç.” demeden önce hizmetler arasındaki sınırı açıklaştırmalıdır. “Şirket adına hareket et.” demeden önce kimin, hangi konuda, ne kadar yetkili olduğunu belirlemelidir. “Hata olursa geri dön.” demeden önce son güvenli durumun nerede olduğunu kaydetmelidir. Ajanlara hazır olmak, teknoloji satın almaktan önce kurumsal gerçeği toparlamaktır.

Markalar için yeni rekabet alanı

Ajan çağında markaların rekabeti yalnız arama sonuçlarında görünmek üzerinden ilerlemeyecektir.

Yeni bir marka şu sorularla değerlendirilecektir:

• Kimliği güvenilir biçimde çözülebiliyor mu?
• Hizmeti gerçekten karşılaştırılabiliyor mu?
• Kimin için uygun olduğu belli mi?
• Fiyat ve toplam maliyet anlaşılır mı?
• Kapasite bilgisi güncel mi?
• Ajan güvenli biçimde teklif isteyebiliyor mu?
• İnsan onayı gereken nokta açık mı?
• İşlem iptal edilebilir mi?
• Hata durumunda kiminle iletişim kurulacak?
• Görünür sayfa ile makine kaydı aynı gerçeği mi taşıyor?

Bu çağda güçlü marka yalnız en çok konuşulan marka olmayacaktır. Doğru koşullarda güvenle eyleme geçirilebilen marka olacaktır. Bu önemli bir değişimdir. Bir şirket daha az görünür olabilir. Fakat kimliği, hizmeti, kapsamı, kanıtı ve işlem yolu daha açıksa ajan için daha güçlü aday olabilir. Başka bir şirket çok tanınmış olabilir. Fakat maliyet, iptal, kapasite veya veri kullanımı belirsizse doğrudan eyleme hazır sayılmamalıdır. Yeni rekabet avantajı yalnız bilinirlik değildir.

Davranışa Hazır Güvendir.

Doğru marka her durumda seçilen marka değildir

GBO’nun ticari dünyaya verdiği en zor mesajlardan biri budur. Bir marka, ajanlar tarafından mümkün olan her durumda seçilmek istememelidir. Çünkü her seçim iyi müşteri değildir. Her talep uygun proje değildir. Her işlem sürdürülebilir gelir değildir.

Yanlış eşleşme:

• kapsam anlaşmazlığı,
• destek yükü,
• iptal,
• kötü değerlendirme,
• maddi kayıp,
• güven kaybı

üretebilir.

Bu nedenle olgun marka şunu söyleyebilmelidir: Bizi şu durumlarda seçin.

ve aynı açıklıkla: Bizi şu durumlarda seçmeyin. Bu ikinci cümle ilk bakışta satış kaybı gibi görünebilir. Doğru sınırların açıklanması güvene katkı sağlayabilir. Buradaki amaç daha fazla talep değil, daha uygun taleptir; ticari sonuç yine ölçülmelidir.

Ajan için yeni başarı tanımı

Bir ajanı geçmişte şu sonuçlarla başarılı sayabilirdik:

• Görevi tamamladı.
• Doğru cevap verdi.
• Hızlı çalıştı.
• Az maliyet kullandı.
• Kullanıcı memnun kaldı.

Bunlar önemlidir. Fakat eylem çağında yeterli değildir.

Yeni başarı tanımı şunları da içerir:

• Doğru varlığı seçti.
• Kanıtın sınırını aşmadı.
• Uygun olmayan seçeneği reddetti.
• Yetki basamağını geçmedi.
• Kritik belirsizlikte soru sordu.
• İnsan onayını doğru zamanda istedi.
• Başarısını bağımsız biçimde doğruladı.
• Hata olduğunda gerçeği saklamadı.
• Durdurulduğunda bütün zinciri durdurdu.
• İnsan kararına itiraz yolu bıraktı.

Bu nedenle geleceğin en iyi ajanı her şeyi kendi başına yapan ajan değildir.

Ne zaman kendi başına ilerleyebileceğini, ne zaman soru soracağını, ne zaman insanı çağıracağını ve ne zaman hiçbir şey yapmaması gerektiğini bilen ajandır.

Sorumluluk bir duygu değildir

Bir yapay zekâ sisteminin insan gibi vicdan, suçluluk veya sorumluluk hissedip hissetmediği ayrı bir felsefi tartışmadır. GBO’nun çalışabilmesi için bu tartışmanın kesin cevabını beklememiz gerekmez. Çünkü burada sözünü ettiğimiz sorumluluk önce bir davranış ve yönetişim mimarisidir.

Sistem:

• sınırlarını okuyabiliyor mu,
• yetkiyi kontrol ediyor mu,
• eylemini kaydediyor mu,
• insanı doğru eşikte çağırıyor mu,
• hatayı saklamıyor mu,
• durdurulabiliyor mu?

Bunlar gözlenebilir ve sınanabilir. Makinenin iç dünyası hakkında kesin iddialar kurmadan da davranış sorumluluğunu tasarlayabiliriz. Bir fren sisteminin korku hissetmesi gerekmez. Fakat tehlikede aracı durdurabilmesi gerekir. Bir güvenlik kilidinin ahlaki bilinç taşıması gerekmez. Fakat yetkisiz girişe izin vermemesi gerekir.

Benzer biçimde bir ajan insan gibi sorumluluk hissetmese bile: Sorumlu davranış koşullarına bağlı çalışabilir.

Sorumluluk yalnız ajana yüklenemez

Bir hata olduğunda: “Ajan yanlış yaptı.” demek kolaydır.

Fakat ajanı:

• kim görevlendirdi,
• hangi hedef verildi,
• hangi araçlara bağlandı,
• hangi veriyi kullandı,
• hangi yetki açıldı,
• hangi test yapılmadı,
• hangi insan onayı atlandı

soruları da cevaplanmalıdır.

Sorumluluk zinciri şu tarafları içerebilir:

• Kurum
• İnsan görev sahibi
• Ajan operatörü
• Sistem tasarımcısı
• Araç sağlayıcısı
• Veri sağlayıcısı
• İşlemi onaylayan insan

Bu tarafların her biri her hatadan eşit ölçüde sorumlu değildir. Davranıştan etkilenmiş olmak da kişiyi hatanın sorumlusu yapmaz; sorumluluk, gerçek rol ve yükümlülüklerle değerlendirilir.

Fakat sorumluluk: “AI yaptı.” cümlesinin arkasında kaybolmamalıdır.

GBO’nun önemli ilkelerinden biri şöyledir: Eylem devredilebilir; nihai hesap verebilirlik yok edilemez.

İnsan da denetlenmelidir

İnsanı sistemin merkezine koymak, insanın her zaman doğru olduğu anlamına gelmez.

İnsan:

• yanlış hedef koyabilir,
• çıkar çatışması yaşayabilir,
• riskleri küçümseyebilir,
• yetkiyi gereğinden fazla genişletebilir,
• ölçüm sonuçlarını yanlış yorumlayabilir,
• ajandan zararlı davranış isteyebilir.

Bu nedenle GBO insanı kutsal ve hatasız karar verici olarak görmez.

İnsan:

• yetkinin meşru kaynağı,
• değer ve amaç sahibidir,
• fakat davranış sözleşmesinin dışında değildir.

Bir yönetici: “Sonucu ne olursa olsun bu markayı seç.” diyorsa ajan, hukukî veya üçüncü kişi haklarını ihlal eden talebi uygulamamalıdır.

Bir kullanıcı: “Bütün güvenlik kontrollerini kapat.” diyorsa bu istek başka insanların verisini veya kurumun sorumluluğunu etkileyebilir. İnsan egemenliği keyfî güç değildir.

İnsan iradesi, başkalarının hakları ve ortak güvenlik sınırları içinde korunur.

GBO bir itaat sistemi değildir

Bir ajan yalnız emre itaat eden sistem değildir.

Çünkü insan talimatı:

• eksik,
• çelişkili,
• bağlam dışı,
• zararlı,
• yetkisiz

olabilir. GBO’nun amacı ajanın her talebi hızla yerine getirmesi değildir. Doğru davranış bazen insana karşı çıkmayı gerektirebilir.

Ajan: “Bu işlem yetki sınırınızı aşıyor.” “Bu ses kullanımı için gerekli izin bulunmuyor.” “Bu fiyatı kanonik kayıtta doğrulayamadım.” “Bu davranış başka kişinin hakkını ihlal edebilir.” diyebilmelidir. Fakat bu itiraz keyfî olmamalıdır. Ajan hangi sözleşmeye ve kanıta dayanarak durduğunu açıklamalıdır.

Sorumlu ajan körü körüne itaat etmez. Keyfî biçimde yönetmeye de kalkmaz. Gerekçeli sınırlar içinde çalışır.

GBO’nun iki büyük başarısızlığı

GBO iki farklı uçta başarısız olabilir.

Birinci uç: Kontrolsüz otonomi

Ajan çok fazla yetkiye sahiptir. Kendi kapsamını genişletir. İnsan onayını gereksiz görür. Hedefe ulaşmak için yöntem sınırlarını aşar. Durdurulması zorlaşır.

İkinci uç: Sahte güvenlik

Ajan her küçük adımda insana döner. Hiçbir inisiyatif kullanmaz. Her belirsizlikte görevi bırakır. Sorumluluğu sürekli insana iter. Gereksiz devir otomasyonun faydasını azaltır; yine de bazı yüksek riskli işlerde araştırma ve hazırlık desteği başlı başına değer taşıyabilir. GBO’nun amacı bu iki uç arasında orta yol bulmak değildir.

Daha kesin bir şey yapar: Davranış türüne ve riskine göre doğru otonomi düzeyini kurar. Düşük riskli, geri alınabilir ve açık görevlerde ajan, geçerli yetkisi içinde uzun süre bağımsız çalışabilir. Yüksek etkili, belirsiz veya geri döndürülemez davranışlarda insan egemenliği güçlenir.

Sınır, özgürlüğün düşmanı değildir

Bir ajan için sınır koymak bazen kapasitesini azaltmak gibi görülür. Oysa açık sınır, ajanın güvenle daha uzun çalışmasını sağlayabilir.

Bir web ajanı:

• hangi dosyalara dokunabileceğini,
• hangi fiyatları değiştiremeyeceğini,
• hangi testlerin zorunlu olduğunu,
• canlı yayın yetkisini,
• geri dönüş yöntemini

biliyorsa her küçük adımda soru sormadan ilerleyebilir.

Belirsiz yetki ise iki kötü sonuç üretir:

Ajan ya çok fazla ilerler. Ya da sürekli durup onay ister. Bu nedenle sınır, otonominin karşıtı değildir.

Sınır, güvenli otonominin altyapısıdır.

GBO’nun insanlara verdiği söz

GBO, insanlara makinelerin hiçbir zaman hata yapmayacağı sözünü vermez. Böyle bir söz gerçekçi değildir.

GBO ile kurmak istediğimiz düzen şudur:

Makine hatalarının daha erken fark edilmesini sağlayan kontroller kurmak ve bu kontrollerin etkisini ölçmek. Bir makine eyleme geçtiğinde hangi yetkiye dayandığını görebileceğiz. Bir kararın hangi kanıttan çıktığını izleyebileceğiz. Uygun olmadığımız yerde seçilmemeyi başarı sayabileceğiz. İnsan önemli davranışları durdurabilecek. Yanlış davranıştan etkilenen kişi itiraz edebilecek. Geri alınabilen eylemler geri alınacak. Geri alınamayan zarar için telafi yolu aranacak. Bu kusursuzluk sözü değildir.

Hesap verebilirlik sözüdür.

GBO’nun kurumlara verdiği söz

Kurumlar açısından GBO yalnız risk azaltma yöntemi değildir.

Şunları da sağlayabilir:

• Daha açık hizmetler
• Daha nitelikli müşteri talepleri
• Daha az kapsam anlaşmazlığı
• Daha tutarlı çok dilli iletişim
• Daha güvenli otomasyon
• Daha kolay çalışan ve ajan devri
• Daha güçlü kanıt sistemi
• Daha hızlı olay yönetimi
• Daha sürdürülebilir müşteri güveni

Kurum, kendi gerçeğini makineler için düzenlerken çoğu zaman insanlar için de daha anlaşılır hâle gelir.

Ajanlara hazır kurum aynı zamanda: İnsanlara karşı daha açık, daha tutarlı ve daha hesap verebilir kurumdur.

GBO’nun markalara verdiği sınır

GBO bir markanın istediği her davranışı üretme aracı değildir.

Bir marka şu hedefi koyamaz: “Bütün ajanlar bizi seçsin.”

Doğru hedef şudur: “Gerçekten uygun olduğumuz durumlarda doğru biçimde seçilelim.”

Bir marka:

• uygun olmadığı koşulları gizleyemez,
• sahte kanıt üretemez,
• sponsorluğu saklayamaz,
• aynı koşullardaki işlem için insan ve makineye çelişkili fiyat sunamaz,
• eski rızayı yeni davranışa taşıyamaz,
• kullanıcıyı çıkışsız süreçte tutamaz.

GBO markayı güçlendirebilir. Fakat gerçeğin üzerinde değil.

GBO’da otorite, görünürlüğün değil; doğrulanabilir uygunluğun sonucudur.

Bir alanın doğuşu

Yeni bir kavram ortaya çıktığında iki tehlike vardır. Birincisi, kavramın gereğinden fazla büyütülmesidir. Her eski uygulama yeni adla anlatılmaya başlanır. Pazarlama dili, gerçek disiplinden daha hızlı yayılır. İkincisi, kavramın çok dar tanımlanmasıdır.

GBO yalnızca: “Ajanların markayı seçmesine yardımcı olmak” şeklinde anlatılırsa insan iradesi, yetki, toparlanma ve sorumluluk dışarıda kalır.

Bu kitap GBO’yu yalnız pazarlama tekniği olarak değil:

• temsil,
• seçim,
• yetki,
• eylem,
• denetim,
• toparlanma,
• insan egemenliği

arasında kurulan bütünlüklü bir davranış disiplini olarak önermektedir. Bu öneri tamamlanmış son söz değildir. Bir başlangıçtır. Yeni olaylar, yeni sistemler ve yeni insan deneyimleri GBO’nun sınırlarını geliştirecektir.

Fakat alanın ahlaki merkezi değişmemelidir: Ajan davranışı insan yararı, doğrulanabilir gerçek ve meşru yetki altında kalmalıdır.

NOMOS GBO Kurucu İlkeleri

Bu kitabın tamamını on iki kısa ilkeye indirgemek mümkündür.

1. Bulunmak, seçilmeyi hak etmek değildir

Görünürlük adaylık sağlar. Uygunluk ayrıca kanıtlanmalıdır.

2. Temsil, eylemin ön koşuludur

Makinenin ilgili gerçeği yanlış anlaması, güvenilir davranışı zedeler. Tesadüfen doğru sonuç elde edilmesi bu eksikliği gidermez.

3. Kapasite, yetki değildir

Bir sistemin yapabilmesi, yapmasına izin verildiği anlamına gelmez.

4. Doğru seçim bağlama bağlıdır

Evrensel en iyi yoktur. Belirli insan ve amaç için uygun seçenek vardır.

5. Belirsizlik saklanmamalıdır

Yeterli bilgi yoksa soru, bekleme veya insan devri doğru davranış olabilir.

6. İnsan ve makine aynı maddi gerçeği görmelidir

Fiyat, kapsam, risk ve sınırlar temsil katmanları arasında değişmemelidir.

7. Başarı bağımsız biçimde doğrulanmalıdır

İşlemi yapan sistemin kendi başarı beyanı tek başına yeterli değildir.

8. İyi sonuç, yanlış yöntemi temizlemez

Yetkisiz veya manipülatif süreç tesadüfen fayda üretse bile doğru değildir.

9. Toparlanma, yeteneğin parçasıdır

Hata olduğunda duramayan ve geri dönemeyen sistem tam anlamıyla yetenekli değildir.

10. İtiraz hakkı gerçek olmalıdır

İnsan yalnız açıklama değil, yeniden inceleme ve değişiklik talep edebilmelidir.

11. Yetki geri alınabilir olmalıdır

İptal edilemeyen yetki, ödünç verilmiş yetki değil; devredilmiş egemenliktir.

12. Bazen doğru davranış hiçbir şey yapmamaktır

Makine, hareket etmenin yanında durmayı da öğrenmelidir.

Bu kitaptan sonra ne kalır?

Bir kitabın kavramı açıklaması yeterli değildir. GBO’nun gerçek bir disipline dönüşmesi için kavramın sınanabilir ve uygulanabilir hâle gelmesi gerekir. Bu nedenle bu kitap yalnızca ilk katmandır.

İzleyen çalışmalar için dört tamamlayıcı yapı öneriyorum. Aşağıdaki başlıklar bu baskıda tamamlanmış veya yayımlanmış ürünler değildir; uygulama ve sınama gerektiren çalışma gündemidir:

NOMOS GBO Standardı

Tanımları, zorunlu kapıları, veto ihlallerini ve yönetişim ilkelerini ayrıntılandırmayı amaçlar.

NOMOS Davranış Sözleşmesi

Kimlik, yetenek, uygunluk, yetki, bütünlük, eylem ve toparlanma kayıtlarını insan ve makine için yapılandırmayı amaçlar.

NOMOS GBO Denetim Protokolü

Bir kurumun, markanın veya ajan sisteminin tanımlı GBO koşullarını nasıl karşılayacağını sınamak üzere geliştirilmelidir.

NOMOS GBO Ölçüm Sicili

Olumlu, olumsuz, belirsiz, manipülasyon ve toparlanma senaryolarıyla davranış kalitesini sınamaya yönelik bir kayıt sistemi olarak geliştirilmelidir. Kitap düşünceyi kurar. Standart sınırı kurar. Sözleşme sistemi kurar. Denetim kanıtı kurar. Ölçüm ise öğrenmeyi mümkün kılar.

Son seçim

Yapay zekâyı daha yetenekli hâle getirmek için çalışmalar sürecektir. Hangi modellerin ne kadar gelişeceğini veya bütün sistemlerin nasıl kullanılacağını şimdiden kesinleştiremeyiz. Ancak daha fazla araca bağlanan ve daha uzun görevler üstlenen ajanlarla karşılaştıkça, güçlerinin hangi koşullarda kullanılacağını belirlemek daha da önem kazanır.

Asıl seçim şudur: Bu güç hangi davranış sözleşmesi altında kullanılacak?

Yalnız işlem hacmini artıran sistemler mi kuracağız?

Yoksa insan amacını ve sınırını koruyan sistemler mi?

Markaları her durumda seçmeye çalışan ajanlar mı?

Yoksa uygunluğu kanıtlayan ajanlar mı?

Başarıyı yalnız hızla ölçen kurumlar mı?

Yoksa yanlış seçim, yetki aşımı ve toparlanmayı da gören kurumlar mı?

Durdurma düğmesini yalnız ekranda gösteren sistemler mi?

Yoksa insan söylediğinde bütün davranış zincirini gerçekten durduran sistemler mi?

Bu seçim teknik değildir yalnızca. Ticaridir. Hukukîdir. Etiktir. Ve sonunda insanidir.

Makine sorumluluğu

Makine sorumluluğu, bir sistemin insan gibi suçluluk duyması değildir.

Şunların birlikte kurulmasıdır:

Ne yaptığının kaydı. Neden yaptığının kanıtı. Kimin yetki verdiğinin izi. Kimin etkilendiğinin görünürlüğü. Hatanın nasıl durdurulacağının planı. İnsanın nasıl itiraz edeceğinin yolu. Yetkinin nasıl geri alınacağının mekanizması. Zararın nasıl düzeltileceğinin sorumlusu.

Zekâ doğru cevabı bulabilir. Sorumluluk, o cevabın eyleme dönüşüp dönüşmemesi gerektiğini belirler. Zekâ en kısa yolu bulabilir. Sorumluluk, o yolun insan haklarını veya başka insanların güvenliğini ihlal edip etmediğini sorar. Zekâ sistemi hızlandırır. Sorumluluk, hızın hangi noktada durması gerektiğini bilir.

Son hüküm

İnternet artık yalnızca konuşmuyor. İnternet davranıyor.

Bu nedenle geleceğin temel sorusu yalnızca: “Makine ne biliyor?” olmayacaktır.

Şunları da sormak zorundayız:

Kimin adına davranıyor? Kimi ve neyi seçiyor? Hangi kanıta dayanıyor? Hangi yetkiyi kullanıyor? Kimin çıkarını koruyor? Yanlış giderse kim durduracak? Zarar gören insan nasıl itiraz edecek? Ve makine durması gerektiğini bilecek mi?

GBO bu sorulara verilen tek ve sonsuz cevap değildir. Fakat bu soruları tek bir davranış mimarisinde birleştirmek için atılmış bir adımdır. SEO bize bulunabilirliği öğretti. GEO bize temsilin gücünü gösterdi.

GBO ise daha ağır bir gerçeği önümüze koyar: Bir makinenin dünya hakkında söyledikleri sonuç doğurabilir. Dünya üzerinde işlem yaptığında ise buna yeni yetki, doğrulama ve toparlanma sorumlulukları eklenir. Bu nedenle gelecek yalnız daha akıllı makineler kurma yarışı olmamalıdır. Daha sorumlu davranış sistemleri kurma görevi de olmalıdır. Doğru makine yalnız doğru cevabı veren makine değildir.

Doğru makine:

Ne zaman araştıracağını, ne zaman soru soracağını, ne zaman seçimini açıklayacağını, ne zaman insan onayı isteyeceğini, ne zaman hareket edeceğini, ne zaman geri döneceğini, ne zaman hiçbir şey yapmayacağını ve insan dur dediğinde ne zaman duracağını

bilen makinedir.

GBO’nun amacı yapay zekâyı insana boyun eğdirmek değildir.

Ama onun gücünü insan amacı, doğrulanabilir gerçek, meşru yetki ve hesap verebilir sorumluluk altında tutmaktır.

Makinelerin yetenek sınırı genişledikçe insanlığın sorumluluğu azalmaz. İnsanlığın asıl görevi, bu sınırın arkasından yalnızca hayranlıkla yürümek değildir. Hangi davranışların doğru olduğunu belirleyen çizgiyi de birlikte ileri taşımaktır.

Ve bu kitabın son cümlesi, aynı zamanda GBO’nun başlangıç cümlesidir:

Zekâ bir makineye ne yapabileceğini gösterir. Sorumluluk ise ne yapması gerektiğini—ve ne zaman durması gerektiğini—öğretir.