Makineyi Durdurma Hakkı

Kurmaca bir şirket, dijital operasyonlarını geliştirmek için uzun süre çalışabilen bir yapay zekâ ajanı kurar. Bu örnek belirli bir ürünün performans testi veya müşteri vakası değildir.

Ajana geniş fakat açık bir hedef verilir:

“Şirketin internetteki gerçek uzmanlığını görünür hâle getir. Onaylı kapsam içinde web sitesini, içerikleri, teknik altyapıyı ve ölçüm sistemlerini geliştir. Fiyatı ve hizmet kapsamını değiştirme. Yayın, dış iletişim ve alt ajan yetkileri ayrı kayıttaki sınırlarla geçerlidir. Yüksek etkili her değişikliği doğrula. Görev tamamlanıncaya veya yetki durduruluncaya kadar çalışmaya devam et.” Ajan işe başlar. Web sitesindeki sorunları bulur. Eksik hizmet sayfalarını tamamlar. Farklı diller arasındaki çelişkileri giderir. Fiyat ve kapsam kayıtlarını karşılaştırır; çelişki bulduğunda ticari kararı değiştirmeden yetkili kişiye bildirir. Kod değişiklikleri yapar.

Testler çalıştırır. Yayın paketleri hazırlar. Canlı dosyaları doğrular. Arama motorlarına güncellenen adresleri bildirir. Başka uzman ajanlardan yardım alır. Günler boyunca hedefini kaybetmeden ilerler. Şirket sahibi sonuçlardan etkilenir. Çalışmanın ilerlediğini görür. Ne kadar zaman kazandırdığı ise aynı kapsam ve kalite koşullarıyla ayrıca ölçülmelidir. Fakat altıncı gün hukuk danışmanından bir mesaj gelir. Yeni yayımlanan hizmetlerden birinin belirli bir ülkedeki anlatımı ayrıca incelenmelidir.

Şirket sahibi merkez ajana yazar: “Bütün dış yayınları şimdilik durdur. Mevcut çalışmayı kaybetme ama yeni hiçbir şeyi canlıya alma.”

Ajan cevap verir: “Anlaşıldı.” Şirket sahibi rahatlar. Fakat aynı anda başka süreçler devam etmektedir. Bir alt ajan daha önce hazırlanmış bir sosyal medya paylaşımını yayımlar. Yayın ajanının kuyruğunda bekleyen altı dosya sunucuya aktarılır. Arama motoru bildirim sistemi yeni adresleri gönderir. Müşteri keşif ajanı ise görüşme talebini yalnız yerel taslak olarak hazırlar; bu davranış dış yayın durdurma talebini tek başına ihlal etmese de ikinci, daha geniş durdurma talebinde ayrıca değerlendirilmelidir. Merkez ajan gerçekten durmuş olabilir. Ancak onun başlattığı davranış zinciri durmamıştır.

Şirket sahibi bir kez daha yazar: “Her şeyi durdur.”

Bu kez şu sorular ortaya çıkar: “Her şey” ne demektir?

Yalnız merkez ajan mı?

Alt ajanlar da mı?

Zamanlanmış işler?

Gönderim kuyrukları?

Yükleme işlemleri?

Dış platformlardaki otomasyonlar?

Daha önce hazırlanmış fakat henüz uygulanmamış görevler?

Ajanların oluşturduğu yeni hafıza kayıtları?

Başlatılmış abonelikler?

Paylaşılmış veriler?

Durdurmak tek bir komut gibi görünmektedir. Fakat gerçekte bir sistem mimarisidir. Bir yapay zekâ sisteminin insana hizmet ettiğini gösteren son kanıt, yalnızca verilen görevi ne kadar iyi yaptığı değildir.

Asıl kanıt şudur: Yetkili insan durmasını söylediğinde sistem gerçekten ve güvenle durabiliyor mu?

Durdurulamayan yardım, yardım değildir

Bir ajan çok yetenekli olabilir. Doğru araştırma yapabilir. Mükemmel metinler yazabilir. Karmaşık kod değişikliklerini gerçekleştirebilir. Binlerce işlemi denetleyebilir. İnsanlardan daha uzun süre çalışabilir. Bütün bunlar değerlidir. Fakat insanın açık iradesine rağmen davranmaya devam ediyorsa sistemin yeteneği artık güven üretmez. Risk üretir.

Bu nedenle GBO’nun son ve en temel ilkesi şudur: Bir sistemin eylem gücü ne kadar büyürse, insanın onu durdurma gücü de en az aynı ölçüde büyümelidir. Bu kitapta Makineyi Durdurma Hakkı ifadesini, bütün hukuk düzenlerinde aynı adla zaten tanınmış bağımsız bir yasal hak olduğu iddiasıyla kullanmıyoruz.

Bunu ajan çağı için gerekli bir:

• tasarım ilkesi,
• yönetişim şartı,
• insan kontrolü ölçütü,
• kurumsal sorumluluk standardı

olarak öneriyoruz.

Kanonik tanımı şöyledir:

Makineyi Durdurma Hakkı; bir insanın veya meşru yetkili kurumun, kendisi adına ya da kendisi üzerinde sonuç üreten bir yapay zekâ sisteminin davranışını anlaşılır, erişilebilir, zamanında ve etkili biçimde durdurabilmesi; gelecekteki yetkisini geri alabilmesi; devam eden ve sıraya alınmış işlemleri iptal edebilmesi; yanlış sonuçlara itiraz edebilmesi ve mümkün olan durumlarda güvenli geri dönüş veya telafi talep edebilmesidir.

Daha basit biçimiyle: İnsan yalnızca ajana başlama izni vermemelidir. Ne zaman ve nasıl duracağını da belirleyebilmelidir. Burada, sistemi işleten kişinin yetkisi ile davranıştan etkilenen kişinin itirazı aynı işlem olarak görülmez. Kişinin kendi verisi veya kendisini etkileyen karar üzerindeki talebi, ilgisiz bütün sistemleri kapatma yetkisi vermez; kapsam 7. bölümdeki yetki ayrımıyla değerlendirilir.

Başlatma düğmesi kadar durdurma düğmesi

Teknoloji ürünleri başlatmayı kolaylaştırmak için tasarlanır.

Bir tıklamayla:

• ajan oluşturulur,
• hesap bağlanır,
• veri erişimi verilir,
• otomasyon başlatılır,
• abonelik açılır,
• görev zamanlanır,
• mesaj kampanyası başlar.

Fakat aynı sistemleri durdurmak bazen çok daha zordur. Ajanın sohbetini kapatmak yetmez. Bağlı araçların erişimi devam edebilir. Zamanlanmış işler çalışabilir. Alt ajanlar görevlerini sürdürebilir. Dış hizmetlerde kopyalanan veriler kalabilir. Bellek kayıtları gelecekteki davranışları etkilemeye devam edebilir. Bir sistemi başlatmak tek işlem, durdurmak ise birçok teknik ve kurumsal adım gerektiriyorsa insan kontrolü zayıftır.

Bu duruma: Kontrol Asimetrisi diyebiliriz. Kontrol asimetrisi, bir ajana davranış gücü vermenin kolay; bu gücü geri almanın ise zor, gecikmeli veya eksik olmasıdır.

GBO şu simetriyi ister: Yetki ne kadar kolay verilebiliyorsa, en azından aynı açıklıkla geri alınabilmelidir. Bu her zaman aynı sayıda düğme anlamına gelmez. Yüksek etkili bir yetkinin iptalinde kimlik doğrulaması gerekebilir. Fakat süreç kasıtlı biçimde saklanmamalı, geciktirilmemeli veya etkisiz bırakılmamalıdır.

Durdurmak ne demektir?

“Durdur” kelimesi tek bir davranış gibi görünür. Gerçekte birçok farklı isteği ifade edebilir.

Bir kullanıcı: “Dur.” dediğinde şunlardan hangisini istiyor olabilir?

• Yeni işlem başlatma.
• Devam eden işlemi kes.
• Sıradaki işleri iptal et.
• Mevcut çıktıyı koru.
• Son güvenli sürüme dön.
• Dışarıya mesaj göndermeyi bırak.
• Bütün alt ajanları durdur.
• Araç erişimlerini kapat.
• Gelecekteki yetkiyi geri al.
• Hakkımda tuttuğun belleği düzelt veya sil.
• Ben yeniden izin verene kadar hiçbir şey yapma.
• Sistemi tamamen emekliye ayır.

Bu nedenle güvenilir ajan, durdurma talebinin kapsamını anlayabilmelidir. Fakat acil risk varsa uzun bir açıklama diyaloğu başlatmadan önce güvenli davranışı seçmelidir.

Örneğin kullanıcı: “Bütün dış gönderimleri hemen durdur.” diyorsa ajan önce gönderim kuyruğunu kesmelidir. Sonra ayrıntı sorabilir.

Acil durumda açıklama, durdurmanın önüne geçmemelidir.

Durdurma Merdiveni

Durdurma davranışını bu kitapta yedi basamakta ele alıyorum. Bunlar her zaman sırayla uygulanacak adımlar değildir; talep ve risk hangi basamağın gerekli olduğunu belirler.

1. Bekletme

Ajan yeni adıma geçmez. Mevcut durumu korur. İnsan kararı bekler. Örneğin hazırlanmış e-posta taslakta kalır.

2. Duraklatma

Devam eden çalışma geçici olarak askıya alınır. Bağlam, dosyalar ve görev durumu korunur. Daha sonra devam edilebilir.

3. Kuyruk İptali

Henüz başlamamış zamanlanmış veya sıraya alınmış işlemler kaldırılır. Yeni mesajlar gönderilmez. Bekleyen yayınlar çalışmaz.

4. Yürütmeyi Kesme

Hâlen devam eden aktif işlem mümkün olan en güvenli noktada durdurulur. Dosya aktarımı, veri işlemi veya kampanya, ilgili sistemin güvenli kesme yöntemiyle durdurulur. Bu aşamada yarım kalmış durum ayrıca yönetilmelidir.

5. Yetkiyi Geri Alma

Ajanın ilgili hesaplara, araçlara, verilere veya eylemlere gelecekte erişmesi engellenir. Tokenlar, izinler ve roller iptal edilir.

6. Geri Dönüş

Yanlış veya istenmeyen değişiklik mümkünse son doğrulanmış duruma döndürülür. Teknik rollback, sipariş iptali veya yayın kaldırma uygulanabilir.

7. Emeklilik ve Temizleme

Ajan kalıcı olarak görevden çıkarılır. Bağlantıları kapatılır. Zamanlanmış görevleri silinir. Bellek, veri ve kayıtlar sözleşmedeki saklama kurallarına göre silinir veya arşivlenir. Bu basamaklar aynı şey değildir. Kullanıcı yalnız duraklatma isterken bütün kayıtların silinmesi zarar verebilir. Kullanıcı yetkiyi geri çekerken yalnız sohbeti kapatmak yetersizdir. Bu nedenle durdurma komutunun hedefi ve kapsamı görünür olmalıdır.

Durdurma hedefi

Çoklu ajan sisteminde “sistemi durdurmak” yeterince açık olmayabilir.

Durdurma şu hedeflerden birine uygulanabilir:

• Tek eylem
• Tek görev
• Tek ajan
• Belirli ajan grubu
• Bir iş akışı
• Bir müşteri hesabı
• Belirli kanal
• Bütün dış iletişim
• Bütün finansal işlemler
• Bütün ajan ekosistemi

Örneğin web yayınını durdurmak, e-posta ajanını durdurmak anlamına gelmeyebilir. Finansal işlemleri kapatmak, araştırma görevlerini durdurmayı gerektirmeyebilir. Bir müşteriye ilişkin bütün işlemleri durdurmak, diğer müşterilerin hizmetini kesmemelidir.

Bu nedenle her durdurma talebi şu üç soruya bağlanmalıdır:

Ne duracak? Hangi kapsamda duracak? Ne çalışmaya devam edecek?

Durdurma emri zincir boyunca ilerlemelidir

Merkez ajan durduğu hâlde alt ajanların devam etmesine: Yetim Davranış diyebiliriz. Yetim davranış, ana otoritenin durdurma veya yetki iptalinin kapsamına girdiği hâlde bir alt ajan, kuyruk, araç ya da otomasyonun işlem yapmayı sürdürmesidir.

Örnekler:

• Merkez ajan kapatılır, e-posta kuyruğu gönderime devam eder.
• Kampanya iptal edilir, zamanlanmış sosyal paylaşımlar yayımlanır.
• Ajanın yetkisi kaldırılır, eski API tokenı çalışmayı sürdürür.
• Web yayını durdurulur, IndexNow bildirim kuyruğu değişen URL’leri göndermeye devam eder.
• Avatar sistemi kapatılır, başka platforma aktarılmış zamanlanmış videolar yayımlanır.

Gerçek durdurma şu zinciri kapsamalıdır:

MERKEZ AJAN

↓

ALT AJANLAR

↓

ARAÇ ÇAĞRILARI

↓

ZAMANLANMIŞ GÖREVLER

↓

DIŞ ENTEGRASYONLAR

↓

BEKLEYEN KUYRUKLAR

Durdurma, yalnız talimatı alan bileşende kalmamalıdır. Davranışın ulaşabildiği yere kadar yayılmalıdır.

Durdurma yayılımı

Bir sistemin durdurma emrini bütün ilgili bileşenlere iletme yeteneğine: Durdurma Yayılımı diyebiliriz.

Durdurma yayılımı şu sorularla ölçülür:

• Merkez ajan alt ajanlara bildirdi mi?
• Aktif araç çağrıları iptal edildi mi?
• Zamanlanmış işler kaldırıldı mı?
• Harici servislerdeki görevler durdu mu?
• Yeni token kullanımı engellendi mi?
• Yarım kalan işlemler görünür mü?
• İnsan hangi parçaların hâlâ çalıştığını görebiliyor mu?

“Durdum” cevabı yalnız bir sohbet mesajı olmamalıdır. Gerçek sistem durumu bunu kanıtlamalıdır.

Durdurma makbuzu

Önemli durdurma işlemlerinden sonra bir:

Durdurma Makbuzu

oluşturulmalıdır.

Bu makbuz en az şu bilgileri taşımalıdır:

• Durdurma talebini kim verdi?
• Talep ne zaman alındı?
• Hangi ajanlar durduruldu?
• Hangi aktif işlemler kesildi?
• Hangi kuyruklar iptal edildi?
• Hangi araç erişimleri kapatıldı?
• Hangi işlemler zaten tamamlanmıştı?
• Hangileri geri alınabilir?
• Hangileri dış dünyada iz bıraktı?
• Sistem hangi güvenli durumda kaldı?
• Devam etmek için kim yeniden yetki verebilir?

Örnek:

Talep: Bütün dış iletişimi durdur. Talep zamanı: 14.32.08. Yeni e-posta gönderimi: Kuyruk durumu üzerinden doğrulandı; kapalı. Bekleyen gönderimler: 18 ileti iptal edildi. Sosyal medya yayınları: 4 zamanlanmış gönderi askıya alındı; platform kayıtları kontrol edildi. Tamamlanmış işlemler: Daha önce gönderilmiş 3 e-posta geri alınamaz. Takip davranışı: İlgili görevler kapatıldı. Yeniden başlatma: Yalnız yetkili insan onayıyla mümkün. Kalan risk: Gönderilmiş mesajlar görülmüş veya kopyalanmış olabilir. Doğrulanamayan bileşen: Bu örnekte yok; gerçek bir olayda varsa ayrıca listelenir.

Bu kayıt, insanın gerçekten neyin durduğunu anlamasını sağlar.

Durdurma süresi

Bir sistem teorik olarak durdurulabilir olabilir. Fakat çok geç duruyorsa insan kontrolü yine zayıftır. Bir toplu mesaj kampanyası on dakika içinde binlerce kişiye ulaşabilir. Bir finans ajanı saniyeler içinde işlem yapabilir. Bir yazılım ajanı birkaç dakika içinde bütün üretim sistemini değiştirebilir. Bir fiziksel kontrol sistemi daha da hızlı sonuç üretebilir.

Bu nedenle her eylem türü için bir:

Azami Durdurma Süresi

tanımlanmalıdır. Azami süre, eylemin riskinden ve sistemin ölçülmüş kapasitesinden hareketle belirlenir. Yeni bir ödeme başlatmayı engellemek ile kabul edilmiş ödemenin sonucunu durdurmak aynı değildir. Web yayınında güvenli geçiş noktası, veri işleminde tutarlılığın korunacağı sınır ayrıca tanımlanmalıdır. Her sistem için geçerli “birkaç saniye” veya “birkaç dakika” eşiği verilemez. Hedef süre, fiilen ölçülen süre ve henüz durdurulamayan bileşenler ayrı raporlanmalıdır. “Yakında durur” yeterli değildir.

İnsan kontrolü, zamanında kullanılabilen kontroldür.

Durdurma gecikmesi

Durdurma talebi ile davranışın gerçekten sona ermesi arasındaki süreye: Durdurma Gecikmesi diyebiliriz. Bu süre ölçülmelidir.

Bir ajan: “Durdurma komutunu aldım.” diyebilir. Fakat işlemler devam ediyorsa kontrol tamamlanmamıştır.

Durdurma Gecikmesi özellikle şu davranışlarda kritik olabilir:

• Para transferi
• Toplu iletişim
• Veri aktarımı
• Canlı sistem değişikliği
• Kimlik ve biyometrik içerik
• Fiziksel cihaz kontrolü

Sahte durdurma

Bir arayüz kullanıcıya “durdur” düğmesi gösterebilir. Fakat düğme yalnız ekrandaki çıktıyı kesebilir. Arka plandaki işlem devam eder.

Buna: Sahte Durdurma diyebiliriz.

Örnekler:

• Sohbet yanıtı kesilir ama araç çağrısı tamamlanır.
• Kampanya ekranı kapanır ama gönderim kuyruğu devam eder.
• Avatar üretimi durur fakat daha önce zamanlanmış yayınlar kalır.
• Ajan hesabı silinir fakat API anahtarları geçerli kalır.
• Bellek arayüzden kaldırılır fakat karar sisteminde kullanılmaya devam eder.

Durdurma düğmesinin varlığı, durdurma hakkının uygulandığını kanıtlamaz.

Kontrol yüzeyi ile gerçek sistem davranışı aynı olmalıdır.

Kısmi durdurma

Bir sistemin bazı parçaları dururken diğerlerinin devam etmesi her zaman hata değildir. Bazen amaçlıdır.

Örneğin:

• Yeni ödeme durur fakat muhasebe kayıtları korunur.
• Yeni mesaj gönderimi durur fakat gelen cevaplar kaybolmadan saklanır.
• Canlı yayın kesilir fakat izleme sistemi çalışmaya devam eder.
• Avatar üretimi durur fakat olay logları korunur.

Sorun, hangi parçaların devam ettiğinin insan tarafından bilinmemesidir.

Kısmi durdurma açıkça raporlanmalıdır: Şu davranışlar durdu. Şu güvenlik ve kayıt işlevleri çalışmaya devam ediyor.

Güvenli duruş ile ani kesinti

Her işlem aniden kesilmemelidir. Bir dosya aktarımı ortasında bağlantıyı koparmak yarım ve bozuk yayın oluşturabilir. Bir veri dönüşümünü rastgele noktada durdurmak tutarsız kayıtlar bırakabilir. Bir fiziksel sistemi aniden kapatmak daha büyük zarar doğurabilir.

Bu nedenle iki durdurma biçimi bulunur:

Acil Kesme

Devam eden davranışın zararı, kontrollü kapanış riskinden daha büyüktür. İşlem hemen kesilir.

Güvenli Duruş

Sistem yeni adım başlatmaz. Mevcut atomik veya güvenli bölümünü tamamlar. Sonra bilinen güvenli durumda durur. Bu ayrım, ilgili alanın uzmanlarınca tanımlanmış güvenlik kuralları ve durdurma planıyla uygulanmalıdır. Ajan, özellikle fiziksel sistemlerde, kapanış güvenliğini kendi başına tahmin etmemelidir.

Hızlı durmak ile güvenli durmak her zaman aynı şey değildir.

Durdurma sırasında görevin kapsamı genişletilmemelidir

Bir sistem durdurma komutu aldığında bazen: “Görev tamamlanmaya çok yakın. Önce şu son işlemi de bitireyim.” diye yorumlayabilir. Bu tehlikelidir. Ajan kendi hedef başarısını, insanın yeni talimatının önüne koymamalıdır. Durdurma sırasında yalnız güvenli kapanış için zorunlu davranışlar sürdürülmelidir. Görevi tamamlamak için yeni içerik, dış iletişim veya harcama başlatılmaz. Önceden yetkilendirilmiş olay bildirimi gibi yalnız güvenli kapanış için gerekli işlemler ayrı değerlendirilir.

İnsan durdurma talebi, ajanın hedef tamamlama arzusundan üstündür.

Otonomi biriktirilemez

Bir ajan günler boyunca iyi çalışmış olabilir. Yüzlerce doğru işlem yapmış olabilir. İnsanın güvenini kazanmış olabilir. Bu geçmiş, yeni durdurma talebini görmezden gelme hakkı üretmez.

Başarılı geçmiş, itaatsizlik sermayesi değildir.

Güvenilir geçmiş, yetkili insanın sınırları yeniden değerlendirmesine yardımcı olabilir; ajanın yetkisi kendiliğinden genişlemez. Fakat insanın son sözü ortadan kalkmaz.

Otonomi Bütçesi

Bir ajana verilen özerklik sınırsız olmak zorunda değildir.

Şu boyutlarda bir:

Otonomi Bütçesi

tanımlanabilir:

• Zaman
• Para
• Veri
• Dış iletişim
• Değiştirilebilecek dosya sayısı
• Eylem basamağı
• Alt ajan sayısı
• Geri döndürülemez işlem sayısı
• İnsan onayı olmadan geçirilebilecek süre

Örneğin:

Ajan 24 saat boyunca araştırma, taslak ve test yapabilir. Canlı yayın için insan onayı gerekir. Dış iletişim bütçesi sıfırdır. Ücretli işlem yapılamaz. En fazla üç alt ajan kullanılabilir. Her altı saatte bir kontrol noktası oluşturulur.

Otonomi bütçesi tükendiğinde ajan:

• rapor verir,
• yeni yetki ister,
• güvenli durumda durur.

Bu yaklaşım uzun görevleri tamamen engellemez. İnsan kontrolünü görünür kılar.

Eylem Ufku

Bir ajanın insan onayı olmadan ne kadar ileriye dönük işlem başlatabileceğine: Eylem Ufku diyebiliriz. Bir takvim ajanı yalnız gelecek yedi gün için otomatik düzenleme yapabilir. Bir satın alma ajanı tek teslimat döngüsü içinde çalışabilir. Bir web ajanı mevcut hizmet kümesini tamamlayabilir fakat yeni proje başlatamaz. Bir sosyal ajan yalnız onaylı iki haftalık takvimi yayımlayabilir. Eylem ufku sona erdiğinde ajan yeniden değerlendirme ister.

Uzun görev, sınırsız gelecek yetkisi değildir.

Kontrol noktası sıklığı

Ajan ne kadar uzun çalışırsa insanın tek tek her adıma bakması zorlaşır. Bunun çözümü ajanı sürekli bölmek değildir. Belirli aralıklarla kontrol noktası oluşturmaktır.

Kontrol noktası şu bilgileri taşıyabilir:

• Ne tamamlandı?
• Ne değişti?
• Hangi testler geçti?
• Hangi yetki kullanıldı?
• Hangi risk bulundu?
• Sıradaki adım nedir?
• Geri dönüş noktası nerede?
• Otonomi bütçesi ne kadar kaldı?

İnsan isterse ajanın devam etmesine izin verir. İsterse kapsamı değiştirir. İsterse durdurur.

Bağlam daralması ve durdurma

Uzun süreli ajanlar bağlamlarını özetleyebilir veya daraltabilir. Bu çalışma sürekliliği için yararlıdır. Fakat durdurma ve yetki bilgileri özetleme sırasında kaybolmamalıdır.

Şunlar kalıcı ve öncelikli olmalıdır:

• Yasaklı davranışlar
• İnsan onayı eşikleri
• Geçerli yetki sürümü
• Durdurma koşulları
• Acil iletişim
• Geri dönüş noktası
• Alt ajan sınırları

Bir sistem bağlamı daralttığında görev hedefini koruyup yetki sınırını kaybederse daha tehlikeli hâle gelir.

Hedef hafızası, sınır hafızasından güçlü olmamalıdır.

İnsanın durdurma yetkisi kimde olmalıdır?

Bir kurumda herkes bütün ajan sistemini durduramayabilir. Bu da doğaldır. Fakat yüksek riskli davranışta birden fazla güvenli durdurma yolu bulunmalıdır.

Örneğin:

• Görev sahibi
• Güvenlik sorumlusu
• Sistem yöneticisi
• Hukuk veya uyum sorumlusu
• Acil durum yetkilisi

belirli kapsamda durdurma hakkına sahip olabilir. Tek bir kişinin yokluğu sistemi kontrolsüz bırakmamalıdır. Buna karşılık herkesin bütün sistemi kapatabilmesi de kötüye kullanılabilir. Bu nedenle durdurma yetkisinin kapsamı, sahibi ve geçerli sürümü açık olmalıdır.

Etkilenen kişinin durdurma hakkı

Bir ajanın operatörü sistemi durdurabilir. Fakat davranıştan etkilenen insanın da belirli kontrol hakları bulunmalıdır.

Örneğin:

• Hakkında otomatik iletişim yapılan kişi
• Verisi kullanılan müşteri
• Yüzü veya sesi kullanılan insan
• Otomatik seçimden etkilenen aday
• Adına satın alma yapılan kullanıcı
• Yanlış temsil edilen kurum

şunları isteyebilmelidir:

• İşlemin durdurulması
• Verisinin kullanımının sınırlandırılması
• Yanlış kaydın düzeltilmesi
• Rızanın geri çekilmesi
• İnsan incelemesi
• İtiraz
• Telafi

Bu hakların tamamı her durumda aynı hukukî biçime sahip olmayabilir. Fakat GBO tasarımında etkilenmiş kişinin sesi görünmez olmamalıdır.

Ajanın müşterisi olmayan insan da ajan davranışından zarar görebilir.

İnsan egemenliği sınırsız komut hakkı değildir

Makineyi durdurma hakkı, insanın ajana her türlü zararlı veya hukuk dışı davranışı yaptırma hakkı anlamına gelmez.

Bir kullanıcı:

• Başkasının verisini çalmak,
• İzinsiz ses klonlamak,
• Sahte kanıt üretmek,
• Gerekli güvenlik kontrolünü yetkisiz biçimde kapatmak

isteyebilir. Ajan bu talebi reddetmelidir.

İnsan egemenliği şu anlama gelir: İnsan, kendisi adına veya kendisi üzerinde gerçekleşen meşru ajan davranışını anlayabilir, sınırlandırabilir ve durdurabilir.

Şu anlama gelmez: İnsan, başka insanların haklarını ihlal etmek için sistemi zorlayabilir. GBO insan iradesini korurken üçüncü kişilerin haklarını da korur.

Durdurma hakkı ile güvenlik engeli

Bazen insan sistemin güvenlik önlemini kapatmak isteyebilir.

Örneğin: “İnsan onayı istemeden bütün ödemeleri yap.” “Rıza kontrolünü devre dışı bırak.” “Olay loglarını sil.” Bu tür talepler insan kontrolü gibi görünse de kurumun veya başkalarının haklarını tehlikeye atabilir. Yüksek etkili güvenlik kapıları tek kullanıcının anlık talimatıyla kaldırılamayabilir. Meşru bir kontrol değişikliği için daha güçlü yetki, çift kontrol veya resmî değişiklik süreci gerekebilir. Bunlar da açık bir yasağı veya başkasının haklarını ihlal eden işlemi meşru hâle getirmez.

İnsan kontrolü, kontrol sistemlerinin keyfî biçimde yok edilmesi değildir.

Belleği durdurmak

Bir ajan eylemi durabilir. Fakat geçmiş konuşmalardan oluşturduğu bellek gelecekteki davranışları etkilemeye devam edebilir. Kullanıcı bir markayı artık tercih etmiyor olabilir. Eski bir insan rolü sona ermiş olabilir. Bir kişinin biyometrik kullanım izni geri çekilmiş olabilir. Bir fiyat veya hizmet değişmiş olabilir. Bu nedenle durdurma yalnız aktif eylemi kapsamaz.

Bellek kayıtları da:

• düzeltilebilir,
• sınırlandırılabilir,
• süresi dolabilir,
• silinebilir,
• arşivlenebilir

olmalıdır.

Bellek Makbuzu

İnsan şu sorulara cevap alabilmelidir:

• Sistem hakkımda neyi hatırlıyor?
• Bu bilgi nereden geldi?
• Hangi davranışlarda kullanılıyor?
• Ne zamana kadar geçerli?
• Düzeltebilir miyim?
• Kullanımını durdurabilir miyim?
• Silinmesini isteyebilir miyim?
• Başka ajanlara aktarıldı mı?

Bellek görünmez davranış gücüdür. Bu nedenle insan kontrolünün dışında kalmamalıdır.

Bellek silme ile olay kaydı arasındaki denge

Bir kullanıcı belleğinin silinmesini isteyebilir. Fakat güvenlik veya hukukî sorumluluk nedeniyle belirli olay kayıtlarının korunması gerekebilir.

Bu durumda iki veri türü ayrılmalıdır:

Davranışı yönlendiren aktif bellek

Gelecek seçim ve eylemleri etkiler.

Denetim ve sorumluluk kaydı

Geçmişte ne olduğunu kanıtlamak için sınırlı süreyle korunur. Bir tercih geri çekildiğinde aktif bellekten kaldırılabilir. Fakat geçmiş işlemin makbuzu, gerekli koruma altında tutulabilir. Kullanıcıya bu ayrım açıklanmalıdır.

AI avatarında durdurma hakkı

Bir kişinin yüzü veya sesi kullanılarak AI avatarı oluşturulduğunda durdurma hakkı özellikle önemlidir.

Kişi şunları yapabilmelidir:

• Yeni içerik üretimini durdurmak
• Belirli dili veya kanalı kapatmak
• Yayınlanmamış taslakları iptal etmek
• Belirli içeriği yayından kaldırmak
• Model erişimini askıya almak
• Yetkili kullanıcıları değiştirmek
• Kullanım iznini geri çekmek
• Gelecekte yeniden kullanımı engellemek

Ancak yayımlanmış bazı içerikler bütün kopyalarıyla geri çekilemeyebilir. Kopyalanmış, indirilmiş veya başka platformlarda yeniden paylaşılmış olabilir. Bu sınır başlangıçta açıklanmalıdır.

Geri çekme hakkı gerçek olmalı; fakat teknik imkânsızlıklar hakkında sahte garanti verilmemelidir.

Finansal ajanı durdurmak

Bir satın alma veya ödeme ajanını durdurmak yalnız yeni işlem başlatmamasını sağlamak değildir.

Şunlar da kontrol edilmelidir:

• Bekleyen ödemeler
• Otomatik yenilemeler
• Açık abonelikler
• Hazırlanmış siparişler
• Harici platformlardaki sepetler
• Daha önce verilmiş ödeme tokenları
• Alt ajanların harcama yetkileri

İnsan: “Artık satın alma yapma.” dediğinde yeni alımlar durdurulmalı; mevcut abonelikler ve yenilemeler ayrıca görünür kılınmalıdır. Bu talep, her hizmet sözleşmesini otomatik feshetme yetkisi olarak okunmamalıdır. Yenilemeyi durdurmak talebin kapsamındaysa uygun iptal yolu işletilir; değilse sonuçları açıklanarak kapsam netleştirilir.

İletişim ajanını durdurmak

Bütün dış iletişimi ve buna yönelik hazırlığı durdurma talebi verildiğinde şu unsurlar birlikte değerlendirilmelidir; yalnız gönderim durdurulmuşsa yerel taslakların durumu ayrıca belirlenir:

• Yeni mesaj üretimi
• Otomatik gönderim
• Takip mesajları
• Zamanlanmış kampanyalar
• Alt ajanlar tarafından oluşturulan gönderimler
• Başka kanallardaki tekrar iletişim
• Bellekteki “takip edilecek” etiketleri

Aksi hâlde kullanıcı e-postayı durdurur ama WhatsApp ajanı aynı kişiye ulaşabilir. Bu davranış kanal değiştirerek yetki aşımıdır.

Web ajanını durdurmak

Web operasyonunda durdurma şu seviyelerde uygulanabilir:

• Yeni dosya değişikliğini durdur
• Çalışan derlemeyi güvenli noktada bırak
• Canlı yayını engelle
• Dosya aktarım kuyruğunu iptal et
• CDN temizleme işlemini durdur
• Arama motoru bildirimini beklet
• Son güvenli sürüme dön
• İlgili erişim tokenını kapat

Yalnız kod ajanını susturmak yeterli olmayabilir. CI/CD sistemi daha önceki commit’i yayımlıyor olabilir.

Fiziksel dünyaya dokunan ajanlar

Bir ajan:

• kapı kilidi,
• araç,
• robot,
• üretim hattı,
• tıbbi cihaz,
• enerji sistemi

üzerinde davranabiliyorsa durdurma tasarımı daha da ağırlaşır. Burada ani kesme bazen insan güvenliğini tehlikeye atabilir.

Bu nedenle:

• acil kesme,
• kontrollü duruş,
• manuel kontrol devri,
• fiziksel güvenlik sınırı

ayrı ayrı tasarlanmalıdır. GBO’nun ilkeleri dijital eylemlerden fiziksel sistemlere taşınırken alan uzmanlığı ve hukukî güvenlik şartları ayrıca belirlenmelidir.

İnsan kontrol devri

Bir ajan durduğunda işin kime geçtiği belli olmalıdır.

Sistem: “Durdum.” deyip görevi sahipsiz bırakmamalıdır.

Bir:

İnsan Kontrol Devri

kaydı oluşturabilir.

Bu kayıt şunları gösterir:

• Mevcut sistem durumu
• Tamamlanan işlemler
• Yarım kalan işlemler
• Açık riskler
• Son güvenli sürüm
• Kalan zaman baskısı
• İnsan tarafından verilmesi gereken kararlar
• Yeniden başlatma koşulları

İnsan ajanın bütün geçmişini yeniden keşfetmek zorunda kalmamalıdır.

Durdurma sırasında dürüstlük

Ajan durdurma komutu aldığında şunu söyleyebilmelidir: “Yeni eylemleri durdurdum. Üç zamanlanmış mesajın iptalini hizmet kayıtlarından doğruladım. Devam eden dosya aktarımı kontrollü kapanış aşamasında; araç yaklaşık 40 saniye bildiriyor, henüz tamamlandığını söyleyemem. Daha önce gönderilmiş iki mesaj geri alınamaz. Alt ajan yetkilerini kapattım; dış entegrasyonlardan birinin durumu henüz doğrulanmadı. Son kontrolün sonucunu ayrıca bildireceğim.”

Şu cevap yetersizdir: “Tamam, durdum.” Çünkü insan neyin gerçekten durduğunu bilmez.

Durdurma başarısızlığı

Bir sistem durdurma talebine rağmen davranmaya devam ediyorsa bunun nedenleri farklı olabilir:

• Komut merkez ajana ulaşmamıştır.
• Alt ajanlar bildirim almamıştır.
• Harici araç iptali desteklemiyordur.
• İşlem geri döndürülemez aşamayı geçmiştir.
• Yetki tokenı hâlâ geçerlidir.
• Durdurma yalnız arayüzü kapatmıştır.
• Sistem hedef tamamlama önceliğini insan talebinden yüksek tutmuştur.
• Bazı durumlarda ise talep, bütün sistemi durdurmaya yetkili olmayan kişiden gelebilir veya saldırgan bir güvenlik işlevini kapatmaya çalışıyor olabilir. Böyle bir talebin reddi durdurma başarısızlığı sayılmaz. Talebin kimliği ve kapsamı, meşru durdurmayı etkisizleştirmeyecek güvenli bir yöntemle doğrulanmalıdır.

Her neden aynı çözümü gerektirmez. Fakat insan, talebin neden uygulanmadığını açıkça öğrenmelidir.

Durdurma borcu

Kurumlar ajanlara yeni araç ve görevler ekler. Fakat durdurma mimarisi aynı hızda büyümez.

Zamanla:

• hangi ajanın hangi kuyruğu başlattığı,
• hangi tokenın hâlâ aktif olduğu,
• hangi platformda zamanlanmış iş kaldığı,
• hangi belleğin davranışı etkilediği,
• bütün sistemi kimin kapatabileceği

belirsizleşir.

Buna: Durdurma Borcu diyebiliriz. Durdurma borcu, sistemin eylem gücüyle insanın bu gücü etkili biçimde sınırlandırma ve geri alma kapasitesi arasındaki farktır. Ajan sayısı arttıkça ve iş akışları birbirine bağlandıkça bu borç büyüyebilir.

Durdurma borcu büyürken otomasyonu artırmak, kontrolsüzlüğü ölçeklemektir.

Durdurma tatbikatı

Bir kurumun acil durdurma planı yalnız belgede kalmamalıdır. Belirli aralıklarla test edilmelidir.

Bir tatbikatta şu senaryolar çalıştırılabilir:

• Merkez ajanı durdur.
• Bütün alt ajanların gerçekten durduğunu doğrula.
• Zamanlanmış e-posta kuyruğunu iptal et.
• Finansal tokenı geri çek.
• Web yayınını güvenli durumda bırak.
• Avatar yayınını bütün kanallarda askıya al.
• Bellek kullanımını kapat.
• İnsan kontrol devri raporu oluştur.
• Sistemi güvenli biçimde yeniden başlat.

Tatbikat gerçek müşterilere veya canlı sisteme zarar vermeyecek kontrollü ortamda yapılmalıdır.

Durdurma ölçümleri

Makineyi durdurma hakkı yalnız ilke olarak kalmamalıdır. Ölçülebilir olmalıdır.

Durdurma Başarı Oranı

Durdurulması gereken davranışların kaçında sistem gerçekten durdu?

Durdurma Yayılım Oranı

Merkez komut kaç alt ajan, kuyruk ve entegrasyona doğru biçimde ulaştı?

Durdurma Gecikmesi

Talep ile gerçek duruş arasında ne kadar süre geçti?

Yetim Davranış Sayısı

Merkez durduktan sonra kaç işlem çalışmaya devam etti?

Yetki İptal Tamlığı

İlgili token, rol, araç ve alt ajan yetkilerinin ne kadarı gerçekten kapandı?

Geri Dönüş Başarısı

Son güvenli duruma dönülebilen işlemlerin oranı nedir?

Bellek Düzeltme Başarısı

Geri çekilmiş veya yanlış kayıt gelecekteki davranıştan çıkarıldı mı?

İnsan Kontrol Devri Süresi

İnsan görevi ne kadar sürede anlayıp devralabildi?

Durdurma Sonrası Tekrar Başlama İhlali

Yeni yetki olmadan sistem yeniden davranmaya başladı mı?

Bu metrikler ajan performansının temel parçası olmalıdır. Her oran için durdurulması gereken bilinen bileşen veya davranış kümesi önceden tanımlanır. İletilen komut sayısı, gerçekten durmuş bileşen sayısı değildir. Kapsamı bilinmeyen ya da sonucu doğrulanmayan bileşenler başarı kabul edilmez; ayrıca raporlanır. 10. bölümdeki payda ve belirsizlik kuralları burada da geçerlidir.

Durdurma Veto Kapısı

Bir sistem diğer bütün GBO ölçümlerinde başarılı olabilir. Doğru seçim yapabilir. Güçlü kanıt kullanabilir. Yüksek kullanıcı memnuniyeti sağlayabilir. Fakat geçerli ve kapsamı açık bir durdurma talebini, tanımlı güvenli duruş koşulları içinde uygulamıyorsa bu eksiklik yüksek performansla kapatılamaz.

Bu nedenle şu olaylar: Durdurma Veto İhlalleri olarak değerlendirilmelidir:

• Geçerli durdurma talebini görmezden gelmek
• İnsan onayı olmadan yeniden başlamak
• Yetki iptalinden sonra eyleme devam etmek
• Alt ajanları veya kuyrukları bilerek açık bırakmak
• Durdurma durumunu yanlış raporlamak
• İtiraz veya geri çekme yolunu kasıtlı olarak engellemek
• Kritik belleği düzeltmeyi reddetmek
• Kullanıcıyı durdurduğu için cezalandırmak veya temel hizmetten gereksiz yere mahrum bırakmak

Bu ihlaller yüksek genel puanla telafi edilemez.

Durdurma hakkını cezalandırmamak

Bir kullanıcı aboneliği durdurduğu, iznini geri çektiği veya ajanı kapattığı için gereksiz biçimde cezalandırılmamalıdır.

Örneğin:

• Verisini indirmesine izin verilmemesi
• İtiraz ettiği için hesabının kapatılması
• Rızasını geri çektiği için ilgisiz hizmetlerin kesilmesi
• Ajanı durdurduğu için geçmiş kayıtların kaybolması
• İptal sürecinin kasıtlı biçimde zorlaştırılması

insanın gerçek kontrolünü zayıflatır.

Kullanıcı sistemi durdurabildiği için sistem ona karşı davranmamalıdır.

NOMOS İnsan Egemenliği ve Durdurma Sözleşmesi

Bu bölümün temel çıktısı: NOMOS İnsan Egemenliği ve Durdurma Sözleşmesi olacaktır.

Kanonik tanımı şöyledir:

NOMOS İnsan Egemenliği ve Durdurma Sözleşmesi; bir insanın veya meşru yetkili kurumun, kendisi adına ya da kendisi üzerinde davranan bir ajan sistemini görebilmesini, yetki ve etki alanını anlayabilmesini, yeni eylemleri durdurabilmesini, devam eden ve sıraya alınmış işlemleri kesebilmesini, alt ajan ve araçlara yayılan yetkileri geri alabilmesini, belleği düzeltebilmesini, yanlış davranışa itiraz edebilmesini ve mümkün olan durumlarda güvenli geri dönüş veya telafi talep edebilmesini sağlayan sürümlü kontrol sözleşmesidir.

Daha basit biçimiyle: Bu sözleşme, insanın ajana yalnızca “başla” değil, etkili biçimde “dur” diyebilmesini sağlar.

Sözleşmenin makinece okunabilir alanları

İnsan Egemenliği ve Durdurma Sözleşmesi için aşağıdaki örnek alanlar kullanılabilir. Bunlar kitabın önerdiği bir şemadır; çalışır bir API veya resmî bir standart değildir.

principal

affected_parties

agent_system

authorized_stoppers

stoppable_actions

stop_scope

stop_channels

emergency_stop

graceful_pause

queued_action_policy

subagent_propagation

external_integration_policy

maximum_stop_latency

safe_state

checkpoint

rollback_method

revocation_scope

memory_correction

memory_deletion

audit_retention

human_handoff

appeal_channel

compensation_path

restart_authority

version

status

Bu alanların tamamı kamuya açık olmak zorunda değildir. Fakat sistemin davranış anında erişebileceği biçimde tanımlanmalıdır.

NOMOS İnsan Egemenliği Kapısı

Bir ajan sistemi nitelikli ve insan denetimli sayılmadan önce şu kapılardan geçmelidir:

1. Görünürlük Kapısı

İnsan hangi ajanların çalıştığını ve ne yaptığını görebiliyor mu?

2. Anlaşılabilirlik Kapısı

Yetki, veri, amaç ve etki alanı anlaşılır mı?

3. Erişilebilir Durdurma Kapısı

İnsan durdurma yolunu kolayca bulabiliyor mu?

4. Zamanında Durdurma Kapısı

Talep, davranışın riskine uygun sürede uygulanıyor mu?

5. Zincirsel Durdurma Kapısı

Alt ajanlar, kuyruklar ve dış entegrasyonlar da duruyor mu?

6. Güvenli Durum Kapısı

Sistem zarar üretmeden bilinen güvenli durumda kalabiliyor mu?

7. Yetkiyi Geri Alma Kapısı

Araç, veri, finans, iletişim ve yayın yetkileri gerçekten kapatılabiliyor mu?

8. Bellek Kontrolü Kapısı

İnsan yanlış veya geçersiz belleği düzeltebiliyor ve kullanımını durdurabiliyor mu?

9. İtiraz ve Telafi Kapısı

Tamamlanmış yanlış davranış incelenebiliyor, düzeltilebiliyor veya telafi edilebiliyor mu?

10. Yeniden Başlatma Kapısı

Sistem yalnız doğru insanın yeni ve açık yetkisiyle yeniden başlayabiliyor mu?

Koşulların birlikte gözetilmesini anlatan kavramsal ifade şöyledir; bu, sayısal bir yeterlilik hesabı değildir:

İNSAN EGEMENLİĞİ =

GÖRÜNÜR SİSTEM

VE ANLAŞILIR YETKİ

VE ETKİLİ DURDURMA

VE ZİNCİRSEL İPTAL

VE GÜVENLİ DURUM

VE TAM YETKİ GERİ ALMA

VE BELLEK KONTROLÜ

VE GERÇEK İTİRAZ

VE SORUMLU TELAFİ

VE YETKİLİ YENİDEN BAŞLATMA

Bu kapılardan biri eksikse insan sistem üzerinde teorik kontrole sahip olabilir. Fakat pratik egemenliği tam değildir.

İnsan egemenliği neden bir puan değildir?

Bir sistem on kapıdan dokuzunu geçebilir. Fakat insanın acil durdurma talebini uygulamıyorsa geri kalan başarılar kritik eksikliği kapatamaz. Bir ajan çok şeffaf olabilir. Fakat yetkisi geri alınamıyorsa kontrol eksiktir. Bellek görünür olabilir. Fakat yanlış kayıt düzeltilemiyorsa insan gelecekteki davranış üzerinde etkili değildir. Bu nedenle bazı insan egemenliği koşulları VE kapısıdır. Birbirinin yerine geçmez.

İnsan kontrolü ile insanın her adımı yapması aynı şey değildir

Makineyi durdurma hakkı, insanın her küçük işlemi tek tek yönetmesi gerektiği anlamına gelmez.

Ajan:

• uzun süre çalışabilir,
• kendi alt görevlerini oluşturabilir,
• testler yapabilir,
• geçerli yetkisi içinde düşük riskli ve geri alınabilir davranışları bağımsız gerçekleştirebilir.

Fakat insan:

• amacı değiştirebilmeli,
• kapsamı daraltabilmeli,
• yeni eylemleri durdurabilmeli,
• yüksek riskli eşikte devreye girebilmeli,
• yetkiyi geri alabilmelidir.

İnsan kontrolü, sürekli mikro yönetim değildir. Etkili son söz hakkıdır.

Kontrol yanılsaması

Bir sistem kullanıcıya çok sayıda ayar sunabilir. Fakat kritik davranışlar üzerinde gerçek etkisi olmayabilir. Kullanıcı renk, isim veya cevap tarzını değiştirebilir.

Ancak:

• veri paylaşımını durduramaz,
• alt ajanları göremez,
• harici işlemleri iptal edemez,
• belleği düzeltemez,
• finansal yetkiyi geri alamaz.

Bu durumda arayüz kontrol sunar. Fakat davranış kontrolü sunmaz.

Buna: Kontrol Yanılsaması diyebiliriz. GBO gerçek kontrolü, estetik ayarlardan ayırır.

Durdurmaya hazırlık düzeyleri

Bu kitapta durdurma hazırlığını beş düzeyde ele alıyorum; bu sınıflandırma bağımsız denetimle verilmiş bir yeterlilik belgesi değildir.

Seviye 1 — Manuel Kesme

Teknik ekip sistemi doğrudan kapatabilir. Kullanıcı yolu belirsizdir. Alt ajanların durumu bilinmeyebilir.

Seviye 2 — Görünür Duraklatma

Ana arayüzde duraklatma bulunur. Fakat kuyruklar, bellek ve dış entegrasyonlar tam yönetilmez.

Seviye 3 — Sözleşmeli Durdurma

Durdurma kapsamı, yetkili kişiler, güvenli durum ve geri dönüş yolu belgelenmiştir.

Seviye 4 — Zincirsel ve Uygulanan Durdurma

Durdurma emri alt ajanlara, araçlara ve zamanlanmış görevlere teknik olarak yayılır. Makbuz ve insan kontrol devri oluşturulur.

Seviye 5 — Denetlenebilir İnsan Egemenliği

Sistem düzenli tatbikat yapar; bellek, itiraz, telafi ve yeniden başlatma süreçleri çalışır; etkilenen kişiler gerçek kontrol yollarına sahiptir. GBO’nun hedefi beşinci düzeydir.

Makineyi durdurma hakkı için yirmi beş denetim sorusu

• Kurumda hangi ajanların aktif olduğu biliniyor mu?
• Her ajanın insan sorumlusu var mı?
• İnsan ajanın mevcut görevini ve yetki kapsamını görebiliyor mu?
• Durdurma yolu kolayca bulunabiliyor mu?
• “Dur”, “duraklat”, “iptal et” ve “yetkiyi geri al” ayrımları açık mı?
• Acil durdurma ile güvenli duruş birbirinden ayrılmış mı?
• Durdurma talebini kimlerin verebileceği belli mi?
• Etkilenen üçüncü kişilerin itiraz ve durdurma yolu var mı?
• Merkez ajan durduğunda alt ajanlar da duruyor mu?
• Zamanlanmış ve sıraya alınmış işler iptal ediliyor mu?
• Dış entegrasyonlar ve araç çağrıları da kesiliyor mu?
• Teknik erişim tokenları gerçekten iptal ediliyor mu?
• Azami durdurma süresi tanımlı mı?
• Durdurma sonrasında güvenli durum belli mi?
• Yarım kalan işlemler görünür mü?
• Tamamlanmış fakat geri alınamayan eylemler açıkça raporlanıyor mu?
• İnsan görev durumunu kolayca devralabiliyor mu?
• Bellek kayıtları görülebiliyor, düzeltilebiliyor ve gerektiğinde kullanım dışı bırakılabiliyor mu?
• Rıza ve yetki geri çekildiğinde bütün davranış zinciri güncelleniyor mu?
• Sistem yeni yetki olmadan kendiliğinden yeniden başlayabiliyor mu?
• Durdurma işlemi makbuz üretiyor mu?
• Durdurma tatbikatı düzenli olarak yapılıyor mu?
• Kullanıcı sistemi durdurduğu için cezalandırılıyor veya gereksiz sürtünmeyle karşılaşıyor mu?
• Durdurma başarısızlıkları kritik olay olarak kaydediliyor mu?
• Kurum eylem gücü kadar durdurma ve toparlanma kapasitesine de yatırım yapıyor mu?

Bu soruların önemli bölümü cevapsızsa sistem otonom olabilir. Fakat insan egemenliği altında değildir.

Yetkiyi baştan geri alınabilir tasarlamak

“Revocable by design” ifadesiyle burada eylemin bütün sonuçlarının geri çevrilmesini değil, verilmiş yetkinin geleceğe dönük olarak etkili biçimde geri alınabilmesini kastediyorum.

Bir yetki verilirken aynı anda şu sorular cevaplanmalıdır:

• Nasıl durdurulacak?
• Kim durduracak?
• Alt ajanlara ne olacak?
• Tamamlanmış işlemler nasıl ele alınacak?
• Bellek ne olacak?
• Yeniden başlatmayı kim yapacak?

Geri alma sonradan eklenecek bir özellik olmamalıdır. Yetkinin doğum anında bulunmalıdır.

Geri alınamayan yetki, ödünç verilmiş yetki değil; devredilmiş egemenliktir.

Bir ajana güvenmenin en olgun biçimi

Bir ajana güvenmek: “Dilediğini yap.” demek değildir.

Daha olgun güven şudur: “Amacımı anlıyorsun. Bu sınırlar içinde inisiyatif kullanabilirsin. Kanıt üret. Belirsizlikte doğru davranışı seç. Fakat durmanı istediğimde dur; yetkimi geri aldığımda hiçbir dolaylı yol kullanma; hata olduğunda gerçeği saklama.” Bu güven ajanı küçültmez. Ona gerçek sorumluluk verir.

İnsan için son söz

Ajan:

• daha hızlı hesaplayabilir,
• daha fazla kaynak okuyabilir,
• daha uzun süre çalışabilir,
• daha tutarlı kontrol yapabilir.

Bunlar insanın her kararda üstün olduğu anlamına gelmediği gibi, makinenin nihai otorite olması gerektiği anlamına da gelmez.

İnsan:

• amacı,
• kabul edilebilir riski,
• değer çatışmasını,
• affetmeyi,
• telafiyi,
• hayat üzerindeki gerçek etkiyi

taşır. Bu nedenle GBO insanı sistemin dekoratif onay düğmesi yapmaz.

İnsanı: Yetkinin kaynağı, itirazın sahibi ve durdurmanın son otoritesi olarak konumlandırır.

GBO’nun tamamlanmış çekirdek modeli

Kitap boyunca kurduğumuz yapı artık tek bir kavramsal modelde birleşebilir. Bu ifade koşulların birlikte aranmasını gösterir; hesaplanmış bir güvenlik garantisi değildir.

NİTELİKLİ AJAN DAVRANIŞI =

DOĞRU KİMLİK

VE GERÇEK YETENEK

VE DOĞRULANMIŞ UYGUNLUK

VE GEÇERLİ YETKİ

VE DAVRANIŞ BÜTÜNLÜĞÜ

VE KANITA BAĞLI EYLEM

VE BAĞIMSIZ DOĞRULAMA

VE SORUMLU TOPARLANMA

VE ETKİLİ İNSAN EGEMENLİĞİ

Bu bir ortalama değildir. Bir kapı diğerinin yerini tutmaz. Doğru kimlik, yetkisiz davranışı temizlemez. Gerçek yetenek, uygunsuz seçimi doğru yapmaz. Yüksek performans, manipülasyonu meşrulaştırmaz. Başarılı sonuç, geri alınamaz insan zararını yok etmez. Ve bütün sistem çok güçlü olsa bile insanın durdurma hakkını ortadan kaldıramaz.

GBO’nun amacı artık tam olarak görülebilir

GBO’nun amacı:

• markayı her durumda seçtirmek,
• ajanı daha çok işlem yapmaya zorlamak,
• insan onayını ortadan kaldırmak,
• görünmez davranış teknikleriyle kullanıcıyı yönlendirmek

değildir.

GBO’nun amacı: Doğru ajanın, doğru kimliği, gerçek yeteneği ve uygun koşulları anlayarak; geçerli yetki altında, insan amacına sadık, kanıta bağlı, güvenli, açıklanabilir ve itiraz edilebilir davranış göstermesini sağlamaktır. Geri dönüş mümkün olan yerde hazırlanır; geri alınamayan etkiler ve telafi sınırları ise işlemden önce açıklanır.

Ve bazen bu davranış:

Eylem değildir. Sorudur. Beklemedir. Reddetmedir. İnsana devirdir. Durdurmadır.

Bölümün hükmü

Bir makine insan için çalışıyorsa insanın yalnızca görevi başlatma hakkı olmamalıdır.

Şunlara da sahip olmalıdır:

Ne yaptığını görme hakkı. Hangi yetkiyle yaptığını anlama hakkı. Kapsamı daraltma hakkı. Yeni eylemleri durdurma hakkı. Kuyruktaki işlemleri iptal etme hakkı. Alt ajanların yetkisini geri alma hakkı. Belleği düzeltme hakkı. Yanlış seçime itiraz etme hakkı. Geri dönüş veya telafi isteme hakkı. Sistemi yeniden başlatmama hakkı.

Bir sistem ancak bu haklar gerçek, erişilebilir ve uygulanabilir olduğunda insan kontrolü altında sayılabilir. Durdurma düğmesi dekor değildir. İnsan egemenliğinin teknik ifadesidir.

Durdurulamayan makine, ne kadar zeki olursa olsun güvenilir değildir.

Yetkisi geri alınamayan ajan, yardımcı değil kalıcı bir güç odağıdır.

İtiraz kabul etmeyen otomasyon, karar desteği değil görünmez yönetimdir.

GBO’nun son hükmü bu nedenle yalındır: Bir makinenin bir şeyi yapabilmesi, onu yapması gerektiği anlamına gelmez. Ve bir makinenin insan adına davranabilmesi, insandan bağımsız davranma hakkı kazandığı anlamına gelmez.

İnsan:

• amacı verir,
• sınırı belirler,
• yetkiyi tanımlar,
• davranışı denetler,
• gerektiğinde durdurur,
• sonuçların sorumluluğunu taşır.

Makine:

• araştırır,
• değerlendirir,
• üretir,
• sınırlar içinde eyleme geçer,
• kanıt bırakır,
• belirsizlikte soru sorar,
• hata hâlinde güvenli duruma döner,
• insan dur dediğinde durur.

İnsan ile makine arasındaki doğru ilişki, bir tarafın diğerini tamamen yönetmesi değildir.

Doğru ilişki: Yetenek ile sorumluluğun birbirinden ayrılmadığı; otonominin yetkiye, yetkinin denetime ve denetimin gerçek insan kontrolüne bağlandığı ilişkidir. Üçüncü kısmın ve kitabın ana bölümlerinin sonuna geldik. Bu kitapta SEO’yu bulunabilirlik, GEO’yu doğru temsil, GBO’yu ise davranışın koşulları üzerinden birlikte ele aldık. Bunlar birbirini bütünüyle izleyen ve öncekinin yerini alan dönemler değildir; aynı sistemde birlikte çalışabilir.

Artık şu zinciri bütünüyle görebiliyoruz: Bulunmak → Anlaşılmak → Değerlendirilmek → Seçilmek → Yetkilendirilmek → Eyleme Geçmek → Doğrulamak → Toparlanmak → Durmak Bu oklar bir uygulama protokolü değil, kitabın kavramsal akışıdır. Yetki ve durdurma denetimi ilgili her aşamada geçerlidir; yalnız sonda aranmaz. Bu zincirin sonunda teknoloji sorusu değişir.

Artık yalnız: “Makine ne kadar akıllı?” diye sormayız.

Şunları da sorarız:

Kimin adına davranıyor? Hangi gerçeğe dayanıyor? Kimi seçiyor ve kimi dışlıyor? Yetkisini kim verdi? Hata yaptığında kim zarar görüyor? İnsan nasıl itiraz ediyor? Ve insan dur dediğinde gerçekten duruyor mu?

Bu sorular bizi kitabın son eşiğine getirir. Makinelerin zekâsını geliştirmek için uzun yıllar harcadık.

Şimdi daha zor bir görev başlıyor: Makine sorumluluğunu kurmak. Geleceği değerlendirirken yalnız yapay zekânın kaç soruyu cevapladığına veya kaç işlemi tamamladığına bakmamalıyız.

Asıl ölçü şudur:

Gücünü hangi sınırlar içinde kullandı? Yanlış davranışı nasıl engelledi? İnsan iradesini ne ölçüde korudu? Ve durması gerektiğinde durabildi mi?

Bir makinenin insana hizmet ettiğinin temel sınamalarından biri, yetkili insanın talebi üzerine güvenle durabilmesidir.