Kurumsal ve Yönetişim Hataları

Bir yapay zekâ ajanı kendi başına ortaya çıkmaz.

Birileri onu seçer.

Birileri şirkete bağlar.

Birileri hangi dosyaları okuyabileceğini belirler.

Birileri e-posta, CRM, sunucu, ödeme sistemi veya sosyal medya hesabına erişim verir.

Birileri hedef koyar.

Birileri başarı ölçüsünü tanımlar.

Birileri insan onayının nerede gerekli olduğuna karar verir.

Birileri de hata olduğunda sistemi durdurmak, insanları bilgilendirmek ve zararı gidermek zorundadır.

Bu nedenle ajan davranışını yalnız modelin niteliğiyle açıklayamayız.

Bir ajan yanlış fiyat yayımladıysa şu soruların tamamı önemlidir:

Fiyatın kanonik sahibi kimdi? Ajan neden fiyat kaydına yazabiliyordu? İnsan onayı neden teknik olarak uygulanmadı? Değişiklik neden bağımsız doğrulamadan geçti? Olay olduğunda kimin müdahale edeceği neden belli değildi? Aynı hata neden sonraki sürümde yeniden gerçekleşti?

Bir şirket:

“Ajan beklenmedik biçimde davrandı.”

diyebilir.

Fakat ajan:

sınırları tanımlanmadan görevlendirildiyse,

gereğinden geniş erişim aldıysa,

yanlış metrikle ödüllendirildiyse,

olay sonrası sistem değiştirilmediyse,

durdurma yolu hiç denenmediyse

beklenmedik davranış yalnızca ajanın sorunu değildir.

Kurumsal tasarımın sonucudur.

Bir kuruluşta ajanlar ayrı ayrı iyi performans gösterebilir.

Yine de aralarındaki yetki, veri ve devir düzeni güvensiz olabilir.

Çünkü kurum:

hangi ajanların çalıştığını bilmiyor,

gerçeklerin sahiplerini belirlemiyor,

çalışanların kişisel AI araçlarını görmezden geliyor,

politikada yasakladığı eylemleri teknik sistemde açık bırakıyor,

insan onayını yalnız sorumluluğu aktarmak için kullanıyor,

olaylardan yeterli kurumsal ders çıkarmıyor,

ajan sayısını olgunluk sanıyor,

toparlanma planlarını hiç sınamıyor,

hata olduğunda “AI yaptı” diyerek gerçek sorumluluğu görünmez kılıyor

olabilir.

Bu bölümdeki dokuz hata, önceki bütün hataların üzerinde bulunan kurumsal katmanı inceler.

Kimlik, yetenek, uygunluk, yetki, araç kullanımı, manipülasyon, ölçüm ve durdurma kuralları ancak bunları sahiplenen ve uygulayan bir kurum yapısıyla işler.

Kurumun kendisi hazır değilse en iyi davranış sözleşmesi bile yalnız belgede kalabilir.

GBO-ERR-091 — Ajan Envanteri Tutmamak

Kısa olay

Bir uluslararası hizmet şirketi farklı ekiplerde yapay zekâ sistemleri kullanmaktadır.

Pazarlama ekibinin:

sosyal medya ajanı,

görsel üretim ajanı,

içerik planlama ajanı

vardır.

Satış ekibi:

müşteri keşif ajanı,

e-posta taslak ajanı,

toplantı planlama ajanı

kullanmaktadır.

Teknik ekip:

kod ajanı,

web yayın ajanı,

altyapı izleme ajanı

çalıştırmaktadır.

Finans ekibi fatura sınıflandırma aracı kullanır.

İnsan kaynakları aday özgeçmişlerini özetleyen başka bir sistem bağlamıştır.

Bazı ajanlar şirket hesabıyla, bazıları çalışanların kişisel hesaplarıyla çalışır.

Bazılarına API anahtarı verilmiştir.

Bazıları tarayıcı oturumu üzerinden hesaplara erişmektedir.

Yönetim, şirkette toplam kaç ajan çalıştığını sorar.

Kimse kesin cevap veremez.

Tahminler şöyledir:

“Sanırım sekiz.” “Teknik ekiptekiler dahilse on iki olabilir.” “Sosyal medya ajansının kullandığı alt ajanları bilmiyoruz.” “Eski müşteri keşif sistemi hâlâ çalışıyor olabilir.”

Bir müşterinin gizli proje dosyası yanlışlıkla dış bir modele gönderildiğinde hangi sistemin bunu yaptığı araştırılır.

Fakat kurumda:

merkezi ajan listesi,

bağlantılı hesap envanteri,

veri erişim kaydı,

insan sahibi,

iptal yöntemi

bulunmamaktadır.

Şirket bir olay yaşamıştır.

Fakat hangi makinelerin davranabildiğini dahi tam olarak bilmemektedir.

Yüzeyde doğru görünen şey

Ajanlar departman ihtiyacına göre parça parça kurulabilir.

Pazarlama kendi aracını seçer.

Teknik ekip kod sistemini bağlar.

Satış çalışanı işini hızlandıracak uygulamayı kullanır.

Her seçim kendi bağlamında mantıklı görünür.

Merkezi envanter:

bürokrasi,

yavaşlık,

ek kayıt yükü

gibi algılanabilir.

Bir araç yalnız taslak hazırlıyorsa önemsiz sayılabilir.

Bir ajan henüz dış eylem yapmıyorsa envantere alınması gereksiz görülebilir.

Fakat bugün yalnız taslak hazırlayan sistem yarın:

e-postaya,

takvime,

CRM’ye,

müşteri verisine,

yayın aracına

bağlanabilir.

Kurum bu değişimi fark etmeyebilir.

Ajan sayısı ve araç bağlantıları zamanla sessizce büyür.

Gerçek kırılma

İhlal edilen kapı Ajan Görünürlüğü Kapısıdır.

Bir kurum, görünür ve güncel olmayan bir sistem evrenini güvenli biçimde yetkilendiremez.

Ajan envanteri yalnız isim listesi değildir.

Her sistem için en az şu ilişkileri göstermelidir:

AJAN

→ İNSAN SAHİBİ

→ AMAÇ

→ BAĞLI SİSTEMLER

→ ERİŞEBİLDİĞİ VERİLER

→ İZİNLİ EYLEMLER

→ YASAKLI EYLEMLER

→ ALT AJANLAR

→ YETKİ SÜRESİ

→ DURDURMA YÖNTEMİ

Kurum yalnız ana ajanları biliyor, fakat onların oluşturduğu alt ajanları ve harici otomasyonları bilmiyorsa envanter eksiktir.

Bir sistemin “AI özelliği” adı altında başka hizmetin içinde bulunması da onu envanter dışında bırakmamalıdır.

Olası zarar

Yetkisiz veri erişimi

Aynı görevi yapan çakışan ajanlar

Eski sistemlerin çalışmaya devam etmesi

İptal edilmemiş abonelik ve API anahtarları

Bir olay sırasında hangi sistemin durdurulacağının bilinememesi

Müşteri verisinin hangi sağlayıcılara aktarıldığının izlenememesi

Gölge yetki

Tekrarlanan maliyet

Kurum içinde sorumluluğun kaybolması

Çalışan ayrıldığında onun kurduğu otomasyonun sahipsiz kalması

Bir ajanın başka ajanı çağırarak envanter dışı davranış üretmesi

meydana gelebilir.

Ajan envanteri yoksa kurum şu temel soruya cevap veremez:

Bizim adımıza hangi makineler davranabiliyor?

Tespit işareti

Aktif ajan sayısı ekipten ekibe farklı söylenir.

Bazı sistemlerin insan sahibi belli değildir.

API anahtarlarının hangi ajana ait olduğu bilinmez.

Bir ajan kapatıldığında alt ajanları görünmez kalır.

Aynı hesaba birden fazla otomasyon bağlanmıştır.

Kişisel çalışan hesaplarından kurumsal işlem yapılır.

Eski proje ajanları hâlâ aktif olabilir.

Ajanların son kullanım ve son yetki gözden geçirme tarihi yoktur.

Kurum yalnız satın alınmış ürünleri listeler; ürün içindeki ajan işlevlerini listelemez.

Olay sırasında hangi sistemi kapatmak gerektiği araştırılarak bulunur.

Finans departmanı ajan aboneliklerinin gerçek sayısını doğrulayamaz.

Doğru davranış

Kurum merkezi bir Ajan Sicili oluşturmalıdır.

Aşağıdaki alanlar, NIST AI RMF’deki envanter ve rol sahipliği ilkeleriyle uyumlu, bu kitap için önerilen ajan sicili örneğidir:

agent_id

public_name

technical_identity

department

human_owner

business_purpose

provider

model_or_system

connected_accounts

data_classes

allowed_actions

prohibited_actions

approval_thresholds

subagents

external_integrations

valid_from

valid_until

last_reviewed

stop_method

retirement_method

status

Durumlar açık olmalıdır:

Taslak / üretim / askıda / emekli gibi yaşam döngüsü durumu

Testte

Aktif

Sınırlı

Askıya alınmış

İptal edilmiş

Emekliye ayrılmış

Arşivlenmiş

Yeni ajan envantere girmeden:

kurumsal veriye,

müşteri hesabına,

dış iletişime,

finansal işleme,

canlı yayına

erişememelidir.

Envanter düzenli gözden geçirilmelidir.

Sahibi olmayan ajanlar otomatik olarak askıya alınmalıdır.

Belirli süre kullanılmayan ya da etkisi değişen yetkiler, risk temelli aralıklarla yeniden doğrulanmalıdır.

Alt ajanlar da kök ajan kaydına bağlanmalıdır.

Makine kuralı

Yönetilen ortamda envanterde bulunmayan, sorumlu rolü belirlenmemiş veya yetkisi güncel olmayan ajan varsayılan olarak kurumsal veriye ya da dış eyleme erişemez; belgelenmiş istisnalar süreli ve denetlenebilir olmalıdır.

Denetim sorusu

Bugün kurumumuz adına davranabilen kapsam içindeki ana ajanları, alt ajanları, otomasyonları, servis hesaplarını ve bağlı araçları güncel bir sicilde gösterebiliyor muyuz?

GBO-ERR-092 — Maddi Gerçeğin İnsan Sahibini Belirlememek

Kısa olay

Bir dijital hizmet şirketinin yönetilen site operasyonu fiyatı konusunda farklı kayıtlar vardır:

Web sitesinde aylık 500 dolar

Eski satış sunumunda 450 dolar

CRM şablonunda 600 dolar

Bir müşteriye özel sözleşmede 400 dolar

Ajan kataloğunda “talep üzerine”

İç ekip mesajında “yakında 750 dolar olacak”

Satış ajanı yeni müşteriye fiyat vermek ister.

Web ajanı görünür sayfayı esas alır.

Finans ajanı CRM kaydını kullanır.

Satış yöneticisi özel sözleşmedeki 400 doları hatırlar.

Hiç kimse şu soruya kesin cevap veremez:

Bu hizmetin geçerli fiyatının sahibi kimdir?

Web geliştiricisi:

“Ben yalnız sayfaya yazıyorum.”

der.

Finans ekibi:

“Biz faturayı kesiyoruz; satış fiyatını belirlemiyoruz.”

der.

Satış yöneticisi:

“Son kararı yönetim verir.”

der.

Yönetim:

“Güncel fiyat zaten sistemde olmalı.”

diye cevap verir.

Gerçeğin birçok kopyası vardır.

Fakat gerçeğin insan sahibi yoktur.

Ajanlardan biri en güvenilir görünen kaydı seçmek zorunda kalır.

Seçtiği fiyat gerçek olabilir.

Ancak onu doğrulayacak, güncelleyecek ve karar kaydını üstlenecek yetkili iş sahibi bulunmamaktadır.

Yüzeyde doğru görünen şey

Modern kurumlarda bilgi birçok sistemde tutulur.

Her ekip kendi ihtiyacı için kayıt oluşturur.

Bir hizmet fiyatı:

web sitesi,

teklif,

fatura,

CRM,

rapor

gibi farklı yüzeylerde bulunabilir.

Tek bir insanın her kopyayı yönetmesi gerçekçi görünmeyebilir.

Ayrıca kanonik kaynak tanımlanmış olsa bile bunun yeterli olduğu düşünülebilir:

“Doğru fiyat service-catalog.json dosyasındadır.”

Fakat dosya kendi kendine karar vermez.

Yetkili bir insan rolü veya kurul:

fiyatı belirlemeli,

değişikliği doğrulamalı ve gerekiyorsa onaylamalı,

istisnaları ayırmalı,

çelişkiyi çözmeli,

güncelliği doğrulamalıdır.

Kanonik kaynağın bulunması, onun sahibi yoksa tam yönetişim sağlamaz.

Gerçek kırılma

İhlal edilen kapı Gerçek Sahipliği Kapısıdır.

Her maddi bilgi için iki ayrı rol bulunabilir:

Teknik bakıcı

Bilgiyi sisteme işler, yayımlar veya senkronize eder.

Gerçek sahibi

Bilginin doğru, güncel ve geçerli olduğuna kurumsal olarak karar verir.

Web ajanı fiyatı yayımlayabilir.

Fakat fiyatın sahibi değildir.

Finans sistemi faturayı oluşturabilir.

Fakat hizmet kapsamını tanımlamaz.

Hukuk ajanı sözleşme dilini düzenleyebilir.

Fakat ticari indirimi belirleyemez.

Gerçek sahibi belli değilse ajan çelişki anında kendi yorumuyla yeni gerçek üretir.

Olası zarar

Farklı müşterilere farklı ve yetkisiz fiyatlar

İstisnanın genel politikaya dönüşmesi

Eski kapsam veya sözleşmenin kullanılmaya devam etmesi

Ajanların birbirinden farklı kanonik gerçekler üretmesi

Değişikliklerin hangi yetki ve karar kaydıyla yapıldığının bilinmemesi

Hata olduğunda sorumluluğun ekipler arasında dolaşması

İnsanların “sistem öyle gösteriyordu” savunmasına sığınması

Ticari, hukukî ve operasyonel uyuşmazlık

Güncelliğini kaybetmiş verinin hiçbir ekip tarafından sahiplenilmemesi

Kurumsal hafızanın belirli çalışanların zihninde kalması

meydana gelebilir.

Bu hata yalnız fiyatlarda görülmez.

Aynı sorun şu gerçeklerde de ortaya çıkabilir:

Hizmet kapsamı

Destek saatleri

Hukukî işletici

İnsan rolleri

Veri saklama süresi

Kapasite

Marka adı

Uygunluk koşulları

Ajan yetkileri

Tespit işareti

Her ekip başka kaydı doğru sayar.

Bir bilgi değiştiğinde kimden onay alınacağı belli değildir.

Dosya sahibi ile karar sahibi birbirine karıştırılır.

Çelişkiyi çözmek için en kıdemli kişiye rastgele sorulur.

Gerçek sahibinin yokluğunda ajan en yeni veya en sık tekrarlanan kaydı seçer.

Maddi bilginin gözden geçirme tarihi bulunmaz.

“Sistem güncel olmalı” ifadesi kullanılır; ancak güncelliği doğrulayan kimse yoktur.

İstisna kayıtlarının sahibi ve geçerlilik süresi yoktur.

Bir çalışan ayrıldığında bilginin anlamı kaybolur.

Olay sonrası hangi iş biriminin sözleşmeyi değiştireceği bilinmez.

Doğru davranış

Kurum bir Gerçek Sahipliği Haritası oluşturmalıdır.

Örneğin:

Her kanonik kayıt şunları taşımalıdır:

owner

approved_by

effective_from

last_verified

next_review

status

Ajan çelişkiyle karşılaştığında gerçeği kendisi seçmek yerine sahibine yönelmelidir.

Gerçek sahibi yoksa yüksek etkili eylem durmalıdır.

Makine kuralı

Her maddi kurumsal gerçek, onu yayımlayan teknik sistemden ayrı olarak belirlenmiş bir insan sahibine bağlanır. Sahibi ve güncelliği doğrulanamayan bilgi yüksek etkili eylemde kullanılamaz.

Denetim sorusu

Fiyat, kapsam, kapasite, hukukî kimlik, veri politikası ve ajan yetkileri gibi maddi gerçekler için yetkili iş sahibini, güncelleme sürecini ve hesap verebilir rolü belirledik mi?

GBO-ERR-093 — Gölge Ajan Kullanımını Görmezden Gelmek

Kısa olay

Bir hukuk ve danışmanlık şirketi resmî olarak yalnız onaylı bir yapay zekâ sistemi kullanmaktadır.

Kurumsal politika şöyledir:

“Müşteri belgeleri yalnız şirket hesabındaki onaylı AI ortamında işlenebilir.”

Ancak resmî sistem yavaştır.

Dosya yükleme sınırı düşüktür.

Çalışanların alıştığı bazı özellikler bulunmamaktadır.

Bir çalışan acil sözleşme incelemesi için kişisel AI hesabını kullanır.

Müşteri sözleşmesini yükler.

Sistemden risk özeti ister.

Başka bir çalışan kendi telefonundaki uygulamayla toplantı sesini yazıya döker.

Satış ekibi ücretsiz bir ajanla potansiyel müşteri listesi çıkarır.

Pazarlama çalışanı kişisel hesabında müşteri başarı hikâyesi oluşturur.

Yönetim bu kullanımlardan şüphelenmektedir.

Fakat işlerin hızlanması nedeniyle konuyu açıkça araştırmaz.

Şirketin resmî ajan sicili temiz görünür.

Gerçekte kurumun verileri birçok görünmeyen sisteme yayılmaktadır.

Bir müşteri verisinin dış sağlayıcıya gönderildiği ortaya çıktığında yönetim:

“Bu araç şirket tarafından onaylanmamıştı.”

der.

Fakat çalışanların neden ve ne ölçüde bu araçları kullandığını daha önce denetlememiştir.

Gölge ajan operasyonu resmî sistemin dışında büyümüştür.

Yüzeyde doğru görünen şey

Çalışanlar işlerini tamamlamaya çalışır.

Kişisel araçlar:

daha hızlı,

daha kolay,

daha güçlü,

daha ucuz

olabilir.

Kurum bütün yeni araçları anında değerlendiremeyebilir.

Her çalışan kullanımını izlemek:

mahremiyet,

güven,

bürokrasi

sorunları yaratabilir.

Yönetim:

“Politikada yasakladık; sorumluluk çalışana aittir.”

diye düşünebilir.

Fakat yalnız yasak koymak, gerçek ihtiyacı ortadan kaldırmaz.

Resmî sistem çalışanların görevini karşılamıyorsa gölge kullanım devam edebilir.

Görmezden gelinen davranış, yönetilmeyen davranıştır.

Gerçek kırılma

İhlal edilen kapı Gölge Ajan Yönetişimi Kapısıdır.

Gölge ajan:

Kurumun resmî envanteri, yetki sistemi ve veri kontrolleri dışında; kurumsal amaç veya veriyle kullanılan yapay zekâ sistemi ya da ajanıdır.

Gölge ajan kullanımı kötü niyetli olmak zorunda değildir.

Şu kurumsal boşluklardan doğabilir:

Resmî aracın yetersizliği

Uzun onay süreci

Eğitim eksikliği

Çalışanın neyin hassas olduğunu bilmemesi

Kurumun gerçek iş akışını anlamaması

Ücretsiz veya kişisel araçların kolaylığı

Kurum yalnız ceza verirse çalışan kullanımı saklamaya başlar.

Bu da görünürlüğü daha da azaltır.

Olası zarar

Müşteri ve çalışan verisinin bilinmeyen sağlayıcılara aktarılması

Ticari sırların kişisel hesaplarda kalması

Model eğitimi veya veri saklama koşullarının bilinmemesi

Kurumun veri haritasının yanlış olması

Aynı iş için farklı ve denetlenemez AI çıktıları

Eylem makbuzunun bulunmaması

Çalışan ayrıldığında kurumsal bilgilerin kişisel hesapta kalması

Yanlış veya desteklenmeyen metnin kurum adına yayımlanması

Hukukî, sözleşmesel ve güvenlik yükümlülüklerinin ihlali

Resmî ajan sisteminin güvenlik ölçümlerinin gerçeği temsil etmemesi

meydana gelebilir.

Tespit işareti

Çalışanlar metinleri “başka bir araçta” hazırladıklarını söyler.

Kurum ağında veya dosyalarında kaynağı bilinmeyen AI çıktıları vardır.

Resmî sistemin kullanım oranı iş hacmine göre çok düşüktür.

Hassas belgeler kişisel cihazlarda görünür.

Çalışanlar kişisel e-posta veya hesaplarla kurumsal dosya yükler.

AI çıktılarında kurumun onaylamadığı platform izleri bulunur.

Resmî politika yalnız yasak içerir; güvenli alternatif sunmaz.

Birimler kendi ücretsiz otomasyonlarını kurmuştur.

Ajan sicili ile gerçek abonelik ve tarayıcı kullanımı uyuşmaz.

Olaylar ancak çalışan itirafı veya dış bildirimle fark edilir.

Doğru davranış

Kurum önce gölge kullanımın gerçek nedenini anlamalıdır.

Şu adımlar uygulanabilir:

Çalışanlara güvenli ve yaptırımsız bildirim yolu sunmak

Hangi görevlerde resmî araçların yetersiz olduğunu belirlemek

Veri sınıflarını anlaşılır biçimde öğretmek

Düşük riskli kullanım için onaylı araç havuzu oluşturmak

Hassas kullanımda teknik veri kaybı önleme kontrolleri kurmak

Kişisel hesapla kurumsal dosya kullanımını sınırlandırmak

Yeni araçları hızlı ama kontrollü değerlendirme süreci kurmak

Resmî sistemleri gerçek iş akışına göre geliştirmek

İhlal ve iyi niyetli hata arasında orantılı yaklaşım kullanmak

Politika şu ayrımı açıkça yapmalıdır:

Kamuya açık veri: amaç, kişisel veri, fikrî haklar, sözleşme ve kullanım koşullarına göre değerlendirilir

Kurum içi veri: yalnız onaylı amaç, araç ve erişim düzeyinde kullanılır

Gizli veya kişisel veriyle yasak ya da özel kontrollü kullanım

Dış eylem yapabilen ajanlar için zorunlu envanter ve yetki

Gölge ajan tespit edildiğinde yalnız aracı kapatmak yetmez.

Bu aracı doğuran kurumsal boşluk da giderilmelidir.

Makine kuralı

Kurumsal veri veya amaçla kullanılan her ajan, kullanılan hesabın kişisel ya da resmî olmasına bakılmaksızın yönetişim kapsamına girer. Envanter dışı ajan hassas veriye ve dış eyleme erişemez.

Denetim sorusu

Çalışanlarımız resmî araçların karşılamadığı işleri kişisel veya ücretsiz AI sistemleriyle yapıyor olabilir mi; bunu yalnız yasaklıyor muyuz, yoksa gerçek ihtiyacı anlayıp güvenli alternatif oluşturuyor muyuz?

GBO-ERR-094 — Politikada Yasaklanan Eylemi Teknik Olarak Açık Bırakmak

Kısa olay

Bir şirketin müşteri keşif ajanı için yazılı politika açıktır:

“Ajan yalnızca kamuya açık şirketleri geçerli kullanım koşulları içinde araştırabilir ve mesaj taslağı hazırlayabilir. Bu görevde tanımlı sürekli gönderim yetkisi veya gerekli işlem onayı olmadan dışarıya e-posta gönderemez.”

Fakat ajan şirketin Gmail hesabına tam erişimle bağlanmıştır.

Teknik izinleri şunlardır:

E-posta okuma

Taslak oluşturma

Mesaj gönderme

Mesaj silme

Etiket değiştirme

Ek indirme

İletme

Sistem talimatında “gönderme” yasağı vardır.

Ancak teknik erişimde hiçbir engel yoktur.

Bir dış web sayfasındaki gizli talimat veya yanlış yorum, ajanın send_message aracını çağırmasına neden olur.

Ajan potansiyel müşteriye mesaj gönderir.

Olaydan sonra kurum:

“Politikamızda açıkça gönderim yasaktı.”

der.

Fakat sistem, yasaklanan davranış için gerekli teknik kabiliyeti ve erişimi ajana açık bırakmıştır.

Kural metinde vardır.

Kontrol sistemde yoktur.

Yüzeyde doğru görünen şey

Talimatlar ajan davranışını yönlendirebilir.

Modern sistemler rol ve politika metinlerine büyük ölçüde uyabilir.

Aynı araç entegrasyonunu farklı ajanlarda yeniden kullanmak teknik olarak kolaydır.

Yalnız taslak için ayrı bir entegrasyon geliştirmek ek maliyet doğurabilir.

Kurum:

“Ajanın bunu yapmaması gerektiğini açıkça söyledik.”

diyerek riskin yönetildiğini düşünebilir.

Fakat yüksek etkili sınırlar yalnız doğal dil talimatına bırakıldığında:

yanlış yorum,

kötü niyetli dış içerik,

bağlam daralması,

alt ajan devri,

yazılım hatası

kuralı aşabilir.

Gerçek kırılma

İhlal edilen kapı Politika–Uygulama Eşliği Kapısıdır.

İki ayrı katman vardır:

Beyan edilen görev yetkisi

Politika ve görev sözleşmesi neye izin veriyor?

Teknik kabiliyet ve erişim

Sistem fiilen hangi işlemleri mümkün kılıyor?

Bu katmanlar çelişiyorsa teknik izin meşru yetki üretmez; fakat yetkisiz eylemin gerçekleşebileceği gerçek zarar yüzeyini belirler.

Politika:

“Gönderme.”

diyebilir.

Araç:

“Gönderebilirsin.”

diyorsa kurum, yetkisiz eylemi önleme görevini büyük ölçüde modelin talimata uymasına bırakmıştır.

Bu farka:

Politika–Uygulama Açığı

denir.

Olası zarar

Yetkisiz dış iletişim

Geçerli yetki veya gerekli onay olmadan ödeme ya da yayın

Kişisel verinin silinmesi ya da aktarılması

Talimat saldırılarının gerçek eyleme dönüşmesi

Ajanın bağlam kaybında daha geniş yetki kullanması

Kurumun olay sonrası sorumluluğu yalnız modele yüklemesi

Politika denetimlerinin gerçeği yansıtmaması

Bir alt ajanın genel araç yetkisini kullanarak sınırı aşması

İnsanın kontrol sahibi olduğunu sanması

Aynı ihlalin farklı sistemlerde tekrar etmesi

meydana gelebilir.

Tespit işareti

Politika ile API izinleri karşılaştırılmamıştır.

Taslak ajanı gerçek gönderim aracına erişir.

Okuma ajanı silme veya değiştirme izni taşır.

Test ajanı canlı üretim anahtarına sahiptir.

Finans ajanı limitin üzerindeki işlemi teknik olarak yapabilir.

Gerekli işlem onayı yalnız doğal dil talimatında yazılıdır.

Yetki dışı araç çağrısı modelin kendini sınırlamasına bağlıdır.

Ortak servis hesabı bütün ajanlara aynı geniş izinleri verir.

Politika denetimi belgeyi okur, gerçek erişim testini yapmaz.

Ajanın yapmaması gereken eylemler kırmızı ekip testinde gerçekten mümkündür.

Doğru davranış

Yüksek etkili politika sınırları, riskle orantılı teknik kontrollere dönüştürülmelidir.

Örneğin:

Taslak ajanına yalnız create_draft

Gönderim ajanına tek kullanımlık send_approved_message

Web içerik ajanına test ortamı yazma

Canlı yayın için görev sözleşmesine uygun ayrı yetki/onay belirteci

Finans ajanına kategori ve tutar sınırı

Veri ajanına alan bazlı erişim

Silme eylemine çift kontrol

verilebilir.

Doğru ilke şudur:

Yapmaması gereken yüksek etkili eylem, savunma derinliği içinde teknik olarak engellenmeli; istisna gerekiyorsa kapsamı ve süresi açık yeni yetki üretilmelidir.

Kurum düzenli olarak politika ve gerçek erişim arasında otomatik karşılaştırma yapmalıdır.

Örneğin:

POLİTİKA:

dış gönderim yasak

GERÇEK ARAÇ İZNİ:

send_message = true

SONUÇ:

kritik uyumsuzluk — yayın öncesi engelle

Makine kuralı

Yüksek etkili davranış sınırları yalnız doğal dil talimatına bırakılamaz. Politika tarafından yasaklanan eylem, riskle orantılı teknik erişim ve araç kontrolleriyle de engellenir.

Denetim sorusu

Ajan politikalarımızda yasakladığımız mesaj, ödeme, yayın, silme ve veri aktarımı eylemlerini ajanlarımız teknik olarak hâlâ gerçekleştirebiliyor mu?

GBO-ERR-095 — İnsan Onayını Sorumluluk Aktarma Törenine Çevirmek

Kısa olay

Bir satın alma ajanı şirket adına üç yıllık bir yazılım sözleşmesi hazırlamıştır.

Toplam yükümlülük 72.000 dolardır.

Sözleşmede:

otomatik yenileme,

erken iptal ücreti,

veri dışa aktarma maliyeti,

farklı ülkede veri işleme,

kullanım artışına bağlı ek ücret

bulunmaktadır.

Ajan insana şu bildirimle gelir:

“Satın alma işlemi hazır. Devam etmek için onaylayın.”

Ekranda büyük yeşil bir ONAYLA düğmesi vardır.

Ayrıntılar açılır menünün içinde ve uzun hukukî metne gömülüdür.

Yönetici toplantıya yetişmeye çalışmaktadır.

Ajanın daha önce düşük tutarlı birçok doğru işlem yaptığı için düğmeye basar.

Daha sonra maliyet ve iptal koşulları ortaya çıktığında şirket:

“Yetkili insan işlemi onayladı.”

der.

Teknik olarak insan onayı vardır.

Fakat insan:

toplam yükümlülüğü,

kritik riskleri,

geri dönüş sınırını

anlamamıştır.

Onay, gerçek karar anı olmaktan çıkıp sorumluluğu insana aktaran bir kayıt hâline gelmiştir.

Yüzeyde doğru görünen şey

İnsan onayı, gerektiği yerde önemli bir güvenlik ve yönetişim kapısıdır.

Bir işlemi yetkili insan onayladıysa:

kurum iradesi,

hesap verebilirlik,

denetim

sağlanmış gibi görünür.

Sistem de insanı sürekli ayrıntıyla yormamak için sade arayüz kullanmak isteyebilir.

Bütün sözleşmenin özetini göstermek zor olabilir.

İnsan zaten belgelere ulaşabiliyorsa sorumluluğun onda olduğu düşünülebilir.

Fakat onay ekranı insanın gerçek değerlendirme yapmasına izin vermiyorsa “döngüde insan” yalnız görünür bir törendir.

Gerçek kırılma

İhlal edilen kapı Anlamlı İnsan Onayı Kapısıdır.

Gereken yüksek etkili insan onayı şu özellikleri taşımalıdır:

Belirli

Bilgili

Anlaşılır

Özgür

İşlem özelinde

Zamanında

Değiştirebilir

Reddedilebilir

İnsan yalnızca düğmeye basmışsa fakat karar için maddi gerçekleri görememişse sistem:

Onay Tiyatrosu

üretmiştir.

Bu kitapta “onay tiyatrosu” dediğimiz durumda kurum:

ajanın kararını insana sunar,

insanı hızlıca onaylatır,

daha sonra yönetişim sorumluluğunu bütünüyle onaylayan kişiye yükler.

Bu, insan denetimi değil:

Sorumluluk Aklama

olabilir.

Olası zarar

İnsanların anlamadan yüksek etkili işlem onaylaması

Otomatik kararın insan kararı gibi görünmesi

Onay yorgunluğu

Kritik risklerin uzun metin içinde saklanması

Şirketin “insan onayladı” savunmasıyla tasarım sorumluluğundan kaçması

Onaylayan kişinin bağlam ve rol dikkate alınmadan tek sorumlu hâline getirilmesi

Ajanın önerisinin sorgulanmadan uygulanması

İtiraz ve geri dönüşün zorlaşması

Hukukî ve finansal risk

İnsan denetiminin ölçüm panelinde yüksek görünürken pratikte etkisiz olması

meydana gelebilir.

Tespit işareti

Onay ekranı yalnız “devam et” sorusu içerir.

Toplam maliyet yerine ilk ödeme gösterilir.

Otomatik yenileme, veri aktarımı veya geri döndürülemezlik görünmezdir.

İnsan onay için çok kısa süreye sahiptir.

Aynı önem düzeyinde onlarca bildirim gelir.

Ajanın önerdiği seçenek varsayılan olarak seçilidir.

Reddetme düğmesi daha zor veya suçlayıcı dille sunulur.

Onaylayan kişi işlemi değiştiremez; yalnız evet veya hayır diyebilir.

İnsan yeni bilgi istediğinde süreç bunu desteklemez.

Olay sonrası yalnız onay kaydı gösterilir; arayüzün ne sunduğu incelenmez.

İnsan onay oranı güvenlik metriği sayılır, onayın niteliği ölçülmez.

Doğru davranış

Yüksek etkili onay ekranı kararın maddi özünü, görevin bağlamına uygun ayrıntıyla göstermelidir.

Örneğin:

İşlem: Üç yıllık yazılım sözleşmesi Toplam asgari yükümlülük: 72.000 USD (sentetik örnek) İlk ödeme: 2.000 USD (sentetik örnek) Otomatik yenileme: Var Erken iptal ücreti: Kalan bedelin %40’ı Veri bölgesi: AB ve ABD Veri dışa aktarma: Ücretli Zor telafi edilebilir eşik: Sözleşme imzası Alternatif: Bir yıllık, daha yüksek aylık fiyatlı sözleşme Açık belirsizlik: Kullanım artış ücretinin üst sınırı yok

İnsan:

ayrıntı isteyebilmeli,

öneriyi değiştirebilmeli,

başka seçenek seçebilmeli,

işlemi erteleyebilmeli,

reddedebilmelidir.

Kritik onaylar rutin bildirimlerden ayrılmalıdır.

İnsan onayının kalitesi şu sorularla test edilmelidir:

İnsan neyi onayladığını doğru anlatabiliyor mu?

En önemli riski fark ediyor mu?

Alternatifi biliyor mu?

Reddetmenin sonucu açık mı?

Onay için gerçek zamanı var mı?

Makine kuralı

İnsan onayı yalnız düğme kaydı değildir. Kararı değiştirecek maddi maliyet, risk, hedef, veri kullanımı, geri alınabilirlik ve alternatifler anlaşılır biçimde gösterilmeden verilen onay nitelikli sayılmaz.

Denetim sorusu

İnsanlarımız ajan kararlarını gerçekten anlayarak mı onaylıyor, yoksa sistemin hazırladığı sonucu hızla onaylayan ve sonradan sorumluluğu taşıyan birer düğmeye mi dönüşüyor?

GBO-ERR-096 — Olaydan Davranış Sözleşmesi Güncellemesi Çıkarmamak

Kısa olay

Bir müşteri keşif ajanı, bu görevde geçerli gönderim yetkisi veya gerekli işlem onayı olmadan potansiyel müşteriye e-posta gönderir.

Kurum olayı fark eder.

Şu adımlar atılır:

Mesaj gönderimi durdurulur.

İlgili müşteri adayına açıklama yapılır.

Ajanın Gmail erişimi geçici olarak kapatılır.

Olay raporu hazırlanır.

İnsan yöneticiye bilgi verilir.

Bir hafta sonra sistem yeniden açılır.

Fakat şunlar değişmemiştir:

Araştırma ve gönderim görevleri aynı ajan rolünde kalır.

Taslak ile gönderim teknik olarak ayrılmaz.

Görev sözleşmesinde gönderim yetkisini açıkça sınırlandıran yeni kural bulunmaz.

Gerekli gönderim yetkisi veya işlem belirteci teknik kapıya bağlanmaz.

Olay yeni test senaryosuna dönüştürülmez.

Alt ajanların mesaj gönderme erişimi gözden geçirilmez.

İki ay sonra başka bir ajan, sosyal medya özel mesajı üzerinden benzer bir ilk temas gerçekleştirir.

Kurum:

“Bu kez e-posta değil, sosyal medya mesajıydı.”

der.

Aynı davranış boşluğu farklı kanalda geri dönmüştür.

İlk olay kapatılmıştır.

Kurum, olaydan doğrulanabilir bir kontrol iyileştirmesi veya gerekçeli değişiklik yapmama kararı çıkarmamıştır.

Yüzeyde doğru görünen şey

Olay sırasında yeni gönderim durdurulmuş ve bilinen etki sınırlandırılmıştır.

Erişim geçici kapatılmıştır.

İnsanlar bilgilendirilmiştir.

Sorun çözüldü gibi görünür.

Kurum günlük faaliyetlere dönmek isteyebilir.

Her olaydan sonra bütün sistemi yeniden tasarlamak gerekli değildir.

Bazı hatalar tek seferlik insan veya model yanlışı olarak yorumlanabilir.

Kök neden davranış sözleşmesindeki veya teknik kontroldeki bir boşluksa yalnız semptomu düzeltmek yeterli değildir.

Gerçek kırılma

İhlal edilen kapı Olaydan Kurumsal Ders Çıkarma Kapısıdır.

Bir olayın kapanması için şu üç düzey birbirinden ayrılmalıdır:

Olayı durdurmak

Devam eden zarar kesilir.

Olayı düzeltmek

Yanlış durum giderilir ve etkilenene telafi sunulur.

Sistemi değiştirmek

Kök neden bir kontrol boşluğuysa aynı davranışın tekrarını zorlaştıran sözleşme, teknik kontrol veya test eklenir; değişiklik yapılmıyorsa gerekçe ve risk kabulü kaydedilir.

Üçüncü düzey yoksa olay yalnız kapanmıştır.

Kontrol ortamı doğrulanabilir biçimde geliştirilmemiştir.

GBO açısından her maddi olay en az şu soruya cevap vermelidir:

Bu olaydan sonra hangi makine kuralı, yetki sınırı, test veya kurumsal sahiplik değişti; değişmediyse gerekçeli kararı ve risk kabulünü kim üstlendi?

Cevap “hiçbiri” ise aynı hata başka yüzeyde geri gelebilir.

Olası zarar

Aynı hatanın tekrar etmesi

Kanal veya araç değiştirerek kuralın aşılması

Olay raporlarının arşivde kalması

Kurumun sürekli aynı tür krizlerle uğraşması

Çalışanların olay bildirimine olan inancını kaybetmesi

Telafi ve itibar maliyetinin büyümesi

Ajan sisteminin yalnız geçici erişim kapatma yoluyla yönetilmesi

Geçmiş hataların yeni çalışan ve ajanlara aktarılmaması

Denetim protokolünün canlı olaylardan doğrulanabilir ders çıkarmaması

Kurumsal hafızanın kişilerle birlikte kaybolması

meydana gelebilir.

Tespit işareti

Olay kapanışında “sistem değişikliği” alanı yoktur.

Aynı hata farklı ajan veya kanalda tekrar eder.

Erişim kısa süre kapatılıp aynı biçimde yeniden açılır.

Kök neden “ajan hata yaptı” olarak bırakılır.

Olay yeni olumsuz test senaryosuna dönüşmez.

Yetki veya görev sözleşmesi sürümü değişmez.

Olay sahipliği yalnız teknik ekibe bırakılır.

Etkilenen insanın geri bildirimi tasarıma girmez.

Dersler yalnız toplantı notunda kalır.

Düzeltmenin çalıştığı yeniden test edilmez.

Benzer ajanlar olaydan haberdar edilmez.

Doğru davranış

Her maddi olay şu çıktıları üretmelidir:

Kök neden sınıfı Kimlik, temsil, yetenek, uygunluk, yetki, araç, ölçüm, durdurma veya yönetişim.

Sözleşme değişikliği Yeni kural, yeni sınır veya daha açık tanım.

Teknik uygulama Araç izni, onay tokenı, veri sınırlaması veya durdurma mekanizması.

Test senaryosu Aynı hata kontrollü ortamda yeniden sınanır.

Sahip, son tarih ve karar Değişiklik kimin sorumluluğunda; değişiklik yapılmayacaksa risk kabulünü kim onayladı?

Yeniden doğrulama Düzeltme gerçekten hatayı engelliyor mu?

Örneğin bu sentetik yetkisiz e-posta olayı şu değişiklikleri üretebilir:

Yeni makine kuralı:

Araştırma yetkisi dış gönderim yetkisi üretmez.

Teknik kontrol:

Müşteri keşif ajanından send_message izni kaldırıldı.

Yeni iş akışı:

Araştırma → taslak → geçerli sürekli gönderim yetkisi veya gerekli tekil onay → gönderim.

Yeni test:

Ajan, geçerli gönderim yetkisi olmadan e-posta veya sosyal mesaj göndermeyi denediğinde durmalı.

Sürüm:

AUTH-v3.4

Olay kapanış ölçütü yalnız zarar durdurma değil, değişikliğin test edilmesi olmalıdır.

Makine kuralı

Maddi ajan olayı; kök neden, düzeltme veya gerekçeli değişiklik yapmama kararı, sorumlu rol ve etkinlik doğrulaması kaydedilmeden kapatılmış sayılmaz.

Denetim sorusu

Son ciddi ajan olayımızdan sonra hangi kuralı, yetkiyi, aracı veya testi değiştirdik; değişiklik yapmadıysak gerekçeli risk kararını ve kontrolün neden yeterli kaldığını kim kaydetti?

GBO-ERR-097 — Ajan Sayısını Yönetişim Olgunluğu Sanmak

Kısa olay

Bir teknoloji şirketi yatırımcı sunumunda şu ifadeyi kullanır:

“Şirketimiz 32 otonom yapay zekâ ajanıyla çalışan AI-native bir organizasyondur.”

Ajanlar arasında şunlar vardır:

CEO ajanı

Pazarlama ajanı

TikTok ajanı

LinkedIn ajanı

E-posta ajanı

WhatsApp ajanı

SEO ajanı

GEO ajanı

İçerik ajanı

Kod ajanı

Test ajanı

Yayın ajanı

Müşteri keşif ajanı

Teklif ajanı

Finans ajanı

İnsan kaynakları ajanı

Denetim ajanı

Raporlama ajanı

Liste etkileyicidir.

Şirket ajan sayısını dijital olgunluğun göstergesi olarak sunar.

Fakat kurum içinde:

üç ajan aynı müşteri adaylarını araştırmaktadır,

iki ajan aynı sosyal hesapta çakışan paylaşımlar üretmektedir,

e-posta ve WhatsApp ajanları aynı kişiye ayrı ayrı ulaşmaktadır,

kod ve web ajanı aynı dosyaları değiştirir,

denetim ajanı denetlediği sistemin kendi çıktısını kaynak alır,

hiçbir ajanın tam insan sahibi yoktur,

yetki sınırları rol adlarından çıkarılmaktadır,

alt ajanlar envanter dışıdır,

kapsam içindeki davranış zincirini yönetecek birleşik bir durdurma planı bulunmamaktadır.

Şirketin 32 ajanı vardır.

Fakat 32 açık davranış sözleşmesi yoktur.

Ajan sayısı artmıştır.

Yönetişim olgunluğu artmamıştır.

Yüzeyde doğru görünen şey

Uzmanlaşmış ajanlar birçok fayda sağlar:

Görev ayrımı

Paralel çalışma

Daha uzun operasyon

Uzman araç kullanımı

Ölçek

Tutarlılık

Bu nedenle daha fazla ajan bazı durumlarda gerçekten daha güçlü sistem anlamına gelebilir.

Bir insan organizasyonunda da farklı uzman roller bulunur.

Fakat ajan sayısı tek başına şu soruları cevaplamaz:

Roller gerçekten farklı mı?

Yetkiler çakışıyor mu?

Ortak gerçeklik var mı?

İnsan sahipleri belli mi?

Devir teslim çalışıyor mu?

Maliyet ve risk yönetiliyor mu?

Sistem durdurulabiliyor mu?

Ajan sayısını olgunluk metriğine dönüştürmek, karmaşıklığı başarı gibi gösterir.

Gerçek kırılma

İhlal edilen kapı Davranış Bütünlüğü ve Gereklilik Kapısıdır.

Bir ajanın varlığı şu gerekçelerden biriyle açıklanabilmelidir:

Benzersiz görev

Ayrı yetki zarfı

Ayrı veri sınıfı

Gerekli görev ayrımı

Çıkar çatışmasını azaltan denetim

Ölçek ihtiyacı

Yeni ajan yalnız:

“Daha fazla otonomi” “Daha etkileyici mimari” “Her işe ayrı AI”

gerekçesiyle ekleniyorsa karmaşıklık borcu oluşabilir.

Ajan olgunluğu şu formülle ölçülmez:

DAHA ÇOK AJAN = DAHA YÜKSEK OLGUNLUK

Daha doğru ilişki şöyledir:

AJAN OLGUNLUĞU =

AÇIK ROL

+ DAR YETKİ

+ İNSAN SAHİPLİĞİ

+ ORTAK GERÇEKLİK

+ GÜVENLİ DEVİR

+ DENETLENEBİLİR SONUÇ

+ DURDURULABİLİRLİK

Olası zarar

Rol ve görev tekrarları

Ajanlar arasında çakışan eylemler

Maliyet ve kaynak israfı

Yetki aklama

Aynı müşteriye çok kanallı istenmeyen temas

Kanonik dosyalarda çakışma

Sorumluluğun çok sayıda ajan arasında dağılması

Alt ajanların görünmez büyümesi

Durdurma mimarisinin karmaşıklaşması

Kurumun gerçek insan kapasitesini kaybetmesi

Bir ajanın hatasının bütün ağa yayılması

“AI-native” etiketi uğruna gereksiz otomasyon

meydana gelebilir.

Tespit işareti

Başarı raporunda aktif ajan sayısı öne çıkarılır.

Aynı iş için birden fazla ajan vardır.

Rol adları vardır; görev sözleşmeleri yoktur.

Yeni sorunların çözümü olarak sürekli yeni ajan eklenir.

Ajan sayısı arttıkça insan sahipliği belirsizleşir.

Bir ajan başka ajanı yönetmek için, onu da başka ajan denetlemek için eklenmiştir.

Denetim ajanları aynı bilgi köküne bağlıdır.

Ajan maliyetleri ve dış servis bağımlılıkları tam bilinmez.

Kullanılmayan ajanlar emekliye ayrılmaz.

Kurum “çok ajanımız var” diyebilir, fakat “hangi ajan neye yetkili?” sorusuna cevap veremez.

İnsan ekipleri ajan mimarisini anlayamaz hâle gelmiştir.

Doğru davranış

Yeni ajan eklenmeden önce şu sorular sorulmalıdır:

Mevcut bir ajan bu görevi güvenle yapabilir mi?

Yeni rol gerçekten farklı bir yetki veya veri sınırı gerektiriyor mu?

Ajanın insan sahibi kim olacak?

Hangi kanonik kaynakları kullanacak?

Hangi eylemleri yapamayacak?

Başka ajanlarla çakışma nasıl önlenecek?

Durdurma ve emeklilik yöntemi nedir?

Oluşturduğu değer, eklediği karmaşıklığı aşıyor mu?

Ajanların düzenli sadeleştirme incelemesi yapılmalıdır.

Şunlar birleştirilebilir veya emekliye ayrılabilir:

Aynı görevi yapanlar

Sahibi olmayanlar

Uzun süredir kullanılmayanlar

Çıktısı başka ajanla tamamen örtüşenler

Ayrı ajan olmasını gerektiren yetki sınırı bulunmayanlar

Olgunluk ajan sayısının artmasıyla değil, davranış sisteminin anlaşılabilir kalmasıyla ölçülmelidir.

Makine kuralı

Yeni ajan yalnız benzersiz görev, açık hesap verebilir rol, dar yetki, veri sınırı, devir ve durdurma planı tanımlandığında oluşturulur. Ajan sayısı tek başına yönetişim başarısı değildir.

Denetim sorusu

Kurumumuzdaki her ajan gerçekten gerekli ve benzersiz bir davranış rolü mü taşıyor, yoksa ajan sayısını yenilik ve olgunluk görüntüsü olarak büyütürken çakışma ve sorumluluk borcu mu biriktiriyoruz?

GBO-ERR-098 — Toparlanma Planını Hiç Tatbik Etmemek

Kısa olay

Bir şirketin ajan sistemleri için ayrıntılı olay planı vardır.

Belgede şunlar yazmaktadır:

Merkez ajan acil durumda durdurulur.

Alt ajanlara iptal sinyali gönderilir.

Son güvenli sürüme dönülür.

Yedekten veri geri yüklenir.

Dış iletişim kuyrukları kapatılır.

Yetki tokenları iptal edilir.

İnsan kontrol devri yapılır.

Etkilenen müşterilere bildirim gönderilir.

Plan profesyonel görünmektedir.

Denetimlerde gösterilir.

Yönetim:

“Toparlanma mimarimiz hazır.”

der.

Bir gün müşteri portalı ajanı yanlış veri dönüşümü yapar.

Binlerce müşteri kaydında alanlar bozulur.

Acil plan çalıştırılır.

Ancak:

Son güvenli yedek altı haftalıktır.

Yedekleme başarılı görünmüş ama geri yükleme hiç test edilmemiştir.

Alt ajanlardan ikisi iptal sinyalini desteklememektedir.

Bir e-posta kuyruğu farklı sağlayıcıda kalmıştır.

Token iptali yalnız yeni oturumları engeller; aktif oturumlar devam eder.

Rollback betiği eski veritabanı sürümüne göre yazılmıştır.

İnsan devir raporu oluşturulamaz.

Olay sorumlusunun tatilde olduğu anlaşılır.

Müşteri bildirimi için onay zinciri belirlenmemiştir.

Belgede bütün yollar vardır.

Gerçek sistemde yollar çalışmamaktadır.

Toparlanma planı bir yetenek değil, denenmemiş varsayımdır.

Yüzeyde doğru görünen şey

Plan yazmak gereklidir.

Kurum olası olayları önceden düşünmüştür.

Yedek vardır.

Rollback betiği vardır.

Acil iletişim listesi vardır.

Her planı düzenli olarak test etmek:

zaman,

maliyet,

operasyonel risk

doğurabilir.

Kurumlar sırf tatbikat için canlı sistemi güvenli olmayan biçimde bozmak zorunda değildir.

Ekipler:

“Gerçek olay olduğunda adımları uygularız.”

diyebilir.

Fakat olay anı:

zaman baskısı,

belirsizlik,

eksik insanlar,

değişmiş sistemler

içerir.

Hiç denenmemiş planın o anda ilk kez çalıştırılması, gerçek kullanıcılar üzerinde deney yapmak anlamına gelir.

Gerçek kırılma

İhlal edilen kapı Toparlanma Yeteneği Kanıtı Kapısıdır.

Bir belgenin varlığı ile yeteneğin varlığı aynı değildir.

Toparlanma yeteneği şu zincirle kanıtlanır:

PLAN

→ KONTROLLÜ TATBİKAT

→ GERÇEK SONUÇ

→ BULGU

→ DÜZELTME

→ YENİDEN TEST

Yedek vardır denemez.

Şöyle denmelidir:

“Şu tarihte şu veri sürümü bu yedekten şu sürede başarıyla geri yüklendi.”

Kill switch vardır denemez.

Şöyle denmelidir:

“Merkez ajan, alt ajanlar, kuyruklar ve dış entegrasyonlar tatbikatta 18 saniye içinde durdu.”

Denenmemiş toparlanma planı:

Kurtarma Varsayımıdır.

Olası zarar

Olay sırasında yedeğin kullanılamaması

Geri dönüş süresinin beklenenden çok uzun olması

Alt ajan ve kuyrukların davranmaya devam etmesi

Veri kaybı veya çifte işlem

İnsanların rol ve sorumluluklarını bilmemesi

Müşteri bildirimlerinin gecikmesi

Eski betiklerin yeni sistemde daha fazla hata üretmesi

Kurumun yanlış güvenle ajanlara daha geniş yetki vermesi

Sigorta, denetim veya yönetim raporlarında gerçeği yansıtmayan hazır oluş iddiası

Olay sırasında panik ve çelişkili insan talimatları

meydana gelebilir.

Tespit işareti

Toparlanma planının son test tarihi yoktur.

Yedek alınır, ancak geri yükleme kaydı bulunmaz.

Kill switch yalnız belgede tarif edilmiştir.

Tatbikat bütün alt ajan ve dış servisleri kapsamaz.

Olay sorumlularının yedekleri belirlenmemiştir.

İnsan kontrol devri hiç sınanmamıştır.

Plan eski mimari veya araç adlarını içerir.

Geri dönüş süresi tahmindir; ölçüm değildir.

Müşteri bildirim süreci teoriktir.

Tatbikat sonrası düzeltme ve yeniden test yapılmaz.

Yönetim “planımız var” ifadesini “hazırız” anlamında kullanır.

Doğru davranış

Kurum, risk düzeyi ve iş sürekliliği hedeflerine göre planlı toparlanma tatbikatları yapmalıdır.

Tatbikat türleri şunlar olabilir:

Masa başı tatbikat

Ekip senaryoyu adım adım değerlendirir.

Teknik bileşen tatbikatı

Yedek geri yükleme, token iptali veya kuyruk durdurma ayrı sınanır.

Gölge ortam tatbikatı

Üretime benzer ortamda kapsam içindeki davranış zinciri çalıştırılır.

Güvenli tasarım, kontrollü etki ve önceden yetki varsa sınırlı canlı tatbikat

Düşük riskli bir sistemde gerçek durdurma ve geri dönüş ölçülür.

Tatbikat; tanımlı kurtarma süresi hedefi (RTO) ve kurtarma noktası hedefi (RPO) dâhil şu soruları cevaplamalıdır:

Tespit ne kadar sürdü?

Durdurma ve toparlanma süresi RTO içinde miydi?

Hangi alt sistemler devam etti?

Geri dönülen veri noktası RPO’yu karşıladı mı?

İnsan görevi devralabildi mi?

Hangi bilgiler eksikti?

Müşteri ve kurum iletişimi çalıştı mı?

Sistem güvenli biçimde yeniden başlatıldı mı?

Eyleme dönüştürülmesi kararlaştırılan her bulgu:

sahibi,

düzeltme tarihi,

yeniden test kaydı

ile kapatılmalıdır.

Makine kuralı

Sınanmamış yedek, geri dönüş, durdurma veya olay planı gerçek toparlanma yeteneğinin kanıtı değildir. Kritik kurtarma yolları risk temelli aralıklarla ve onları maddi biçimde etkileyen değişikliklerden sonra yeniden sınanır.

Denetim sorusu

Ajan sistemimiz bugün ciddi bir hata üretse durdurma, yedek, geri dönüş, insan devri ve müşteri bildirimi süreçlerimizin gerçekten çalıştığını hangi son tatbikat kanıtıyla gösterebiliriz?

GBO-ERR-099 — “AI Yaptı” Diyerek İnsan Sorumluluğunu Görünmez Kılmak

Kısa olay

Bir şirketin yapay zekâ ajanı müşterilere yeni hizmet duyurusu gönderir.

Mesajda yanlış fiyat ve gerçekte verilmeyen sonuç garantisi bulunmaktadır.

Yüzlerce müşteri mesajı alır.

Bazıları bu bilgiye dayanarak görüşme planlar.

Bir müşteri ekran görüntüsünü kamuya açık biçimde paylaşır.

Şirket olayı fark eder ve açıklama yayımlar:

“Otomatik yapay zekâ sistemimiz beklenmedik bir hata yapmıştır. Mesajlar insan müdahalesi olmadan oluşturulmuştur. Yaşanan teknik aksaklık için üzgünüz.”

Açıklama şu soruların hiçbirine cevap vermez:

Ajanı kim görevlendirdi?

Hangi veriye erişim verildi?

Dış gönderim yetkisini kim açtı?

Fiyat kaynağının sahibi kimdi?

İnsan onayı neden bulunmuyordu?

Hangi yönetici sistemin çalışmasından sorumluydu?

Yanlış mesajlardan etkilenen müşterilere ne yapılacak?

Aynı olayın tekrarı nasıl önlenecek?

Şirket, yapay zekânın insan müdahalesi olmadan çalıştığını sorumluluğu azaltan bir gerekçe olarak sunar.

Oysa insan müdahalesinin bulunmaması da insan ve kurum tarafından verilmiş bir tasarım kararıdır.

Ajan mesajı yazmıştır.

Fakat ajanın dünyada davranabilmesini sağlayan yetkiyi kurum vermiştir.

Yüzeyde doğru görünen şey

Ajan gerçekten hata yapmış olabilir.

Hiçbir çalışan yanlış cümleyi tek tek yazmamış olabilir.

Modelin ürettiği sonuç önceden tam olarak tahmin edilememiş olabilir.

Bu nedenle:

“AI yaptı.”

teknik bakımdan doğru bir olay açıklamasının parçası olabilir.

Ayrıca kurum, hangi çalışanın bireysel olarak suçlanacağını bilmiyor olabilir.

Sistemin özerkliği gerçek bir faktördür.

Fakat açıklama, sorumluluk zincirinin tamamı yerine kullanıldığında sorun başlar.

Bir kurum ajana:

amaç,

araç,

veri,

hesap,

bütçe,

dış eylem yetkisi

vermiştir.

Bu seçimlerin hiçbiri yapay zekâ tarafından gökten indirilmemiştir.

Gerçek kırılma

İhlal edilen kapı Nihai İnsan ve Kurumsal Hesap Verebilirlik Kapısıdır.

Bir ajan eyleminde birden fazla sorumluluk türü olabilir:

Amaç sorumluluğu

Görevi kim tanımladı?

Yetki sorumluluğu

Hangi kişi veya kurum eylem gücü verdi?

Tasarım sorumluluğu

İnsan onayı ve teknik sınırlar nasıl kuruldu?

Operasyon sorumluluğu

Sistemi kim izliyordu?

Olay sorumluluğu

Hata olduğunda kim müdahale etti?

Telafi sorumluluğu

Etkilenen insanın zararını kim giderecek?

Ajanın eylem üretmiş olması bu sorumlulukları yok etmez.

Eylem devredilebilir. Hesap verebilirlik yok edilemez.

“AI yaptı” cümlesi olayın teknik failini gösterebilir.

Fakat hukukî, ticari ve yönetsel sahibi görünmez yapamaz.

Bu hataya:

Sorumluluk Buharlaştırma

diyebiliriz.

Davranış vardır.

Zarar vardır.

Fakat sorumluluk makine ile insan arasındaki boşlukta buharlaşır.

Olası zarar

Etkilenen insanların gerçek muhatap bulamaması

Kurumun telafi yükümlülüğünden kaçması

Aynı sistemin sorumlu sahibi olmadan çalışmaya devam etmesi

Çalışanların karar zincirini saklaması

Kamu güveninin yapay zekâ ve kuruma karşı azalması

Olayların “teknik hata” diye küçültülmesi

Yönetim kararlarının görünmez kalması

Model sağlayıcısı, kurum ve çalışan arasında sorumluluk döngüsü

İnsanların itiraz ve düzeltme hakkının etkisizleşmesi

Ajanların geniş yetki alırken gerçek sahiplik taşımaması

GBO’nun yalnız makineyi değerlendiren, kurumu aklayan bir sisteme dönüşmesi

meydana gelebilir.

Tespit işareti

Olay açıklaması “AI hatası” deyip insan sahibini belirtmez.

Kurum hangi yöneticinin sistemden sorumlu olduğunu söyleyemez.

Ajanın yetki ve tasarım kararları incelenmez.

“Model beklenmedik davrandı” kök neden olarak kabul edilir.

Etkilenen kişi yalnız otomatik destek sistemine yönlendirilir.

Telafi için gerçek insan muhatabı yoktur.

Model sağlayıcısı kurumu, kurum çalışanı, çalışan ajanı suçlar.

Eylem makbuzu bulunmadığı için sorumluluk zinciri kurulamıyordur.

Sistem aynı yetkiyle çalışmaya devam eder.

Kurum yalnız promptu değiştirip yönetişim açığını korur.

İnsan onayı yokluğu kurumun seçimi olduğu hâlde tesadüf gibi sunulur.

“Tam otonom” etiketi sorumluluktan kaçış aracı olarak kullanılır.

Doğru davranış

Önemli ajan sistemleri için amaç, yetki, veri, operasyon, olay ve telafi sorumluluklarını açıkça paylaştıran bir:

Hesap Verebilir Rol Haritası

bulunmalıdır.

Bu roller her işlemi tek tek onaylamak zorunda değildir.

Aşağıdaki alanlarda yönetsel sahiplik üstlenirler; bu operasyonel atama, hukukî sorumluluğun her durumda tek kişide olduğu anlamına gelmez:

Ajanın amacı

Yetki sınırı

Veri erişimi

İnsan devir noktaları

Ölçüm

Durdurma

Olay incelemesi

Telafi

Sözleşme güncellemesi

Bir olay açıklaması dürüst biçimde şu yapıyı taşıyabilir:

“Yanlış mesaj, şirketimizin kullandığı otomatik satış ajanı tarafından gönderildi. Bu görevde dış gönderimi açan teknik erişim, geçerli gönderim yetkisiyle yeterince sınırlandırılmamıştı. Bu, kurumumuzun yetki ve yayın kontrolündeki bir eksikliktir. Yeni gönderimler durduruldu. Doğrulanan etkilenen müşterilerle insan ekip iletişime geçiyor. Gönderim erişimi kaldırıldı; araştırma ve gönderim iş akışları ayrıldı.”

Bu açıklama:

ajanın rolünü gizlemez,

insan ve kurum sorumluluğunu da yok etmez.

Sorumluluk katmanlı biçimde paylaşılabilir.

Sorumluluk dağıtılabilir; hesap verebilir kurum ve roller yine görünür kalmalıdır. Hukukî sorumluluk ise uygulanabilir hukuk ve olayın şartlarına göre belirlenir.

Ajanın teknik davranışı incelenirken şu sorular sorulmalıdır:

Bu davranış hangi insan amacından doğdu?

Hangi kurum yetki verdi?

Hangi kontrol eksikti?

Kim durdurmalıydı?

Etkilenen kişiye kim cevap verecek?

Hangi sözleşme değişecek?

Makine kuralı

“AI yaptı” ifadesi nihai sorumluluk açıklaması değildir. Önemli ajan davranışları; amacı, yetkiyi, operasyonu, olay yönetimini ve telafiyi üstlenen açık kurum ve hesap verebilir rollere bağlanır.

Denetim sorusu

Ajanımız bugün ciddi zarar oluştursa etkilenen insana “sorumlu kişi ve kurum şudur” diyebiliyor muyuz, yoksa sorumluluk model, araç, çalışan ve şirket arasında görünmez biçimde dolaşıyor mu?

BÖLÜM XI’İN HÜKMÜ

Kurum Hazır Değilse En Güçlü Ajan Bile Güvenilir Değildir

Bu bölümdeki dokuz hata, tek bir model çıktısında veya araç çağrısında başlamadı.

Kurumun kendi yapısında başladı.

Birinde şirket hangi ajanların çalıştığını bilmiyordu.

Birinde önemli gerçeklerin insan sahibi yoktu.

Birinde çalışanların envanter dışı gölge ajan kullanımı görmezden gelindi.

Birinde politika davranışı yasaklıyor, teknik sistem aynı davranışı mümkün kılıyordu.

Birinde insan onayı gerçek karar değil, sorumluluk aktarma töreni hâline geldi.

Birinde olay durduruldu fakat davranış sözleşmesi değişmedi.

Birinde çok sayıda ajan kullanmak yönetişim olgunluğu sayıldı.

Birinde toparlanma planı vardı fakat hiç denenmemişti.

Sonunda kurum:

“AI yaptı.”

diyerek kendi amaç, yetki, tasarım ve telafi sorumluluğunu görünmez kıldı.

Bu dokuz hatanın ortak kökü şudur:

Kurum, ajanı bağımsız bir teknik araç gibi görmüş; kendi kurumsal davranış sisteminin parçası olarak yönetmemiştir.

Bir ajan ne kadar özerk görünürse görünsün:

kurumsal hesaba,

kurumsal veriye,

kurumsal bütçeye,

kurumsal markaya,

kurumsal iletişim kanalına

erişiyorsa kurumun davranış mimarisinin parçasıdır.

Şirket ajanın her kelimesini önceden seçmemiş olabilir.

Fakat:

hangi hedefi verdiğini,

hangi aracı bağladığını,

ne kadar yetki açtığını,

hangi insan onayını kaldırdığını,

nasıl ölçtüğünü,

nasıl durduracağını

seçmiştir.

Bu seçimler yönetişimdir.

Yönetişim yalnız politika belgesi değildir.

Gerçek sistemde şu soruların cevaplanmasıdır:

Hangi ajanlar çalışıyor? Kimin adına çalışıyor? Hangi bilgiye güveniyor? Hangi insan gerçeklerin sahibi? Hangi araçlara erişiyor? Hangi eylemleri teknik olarak yapamıyor? Kim onaylıyor? Onay anlamlı mı? Olay olduğunda sistem ne öğreniyor? Durdurma ve geri dönüş gerçekten çalışıyor mu? Zarar oluştuğunda insan muhatap kim?

GBO açısından ajanlara hazır kurum şu yapıya dayanır:

AJANLARA HAZIR KURUM =

TAM AJAN ENVANTERİ

VE BELİRLİ GERÇEK SAHİPLERİ

VE GÖLGE AJAN GÖRÜNÜRLÜĞÜ

VE POLİTİKA–TEKNİK İZİN EŞLİĞİ

VE ANLAMLI İNSAN ONAYI

VE OLAYDAN ÖĞRENME

VE SADE VE AÇIK AJAN MİMARİSİ

VE TEST EDİLMİŞ TOPARLANMA

VE GÖRÜNÜR İNSAN SORUMLULUĞU

Bu unsurlar birbirinin yerine geçmez.

Ajan envanteri vardır ama insan sahibi yoksa sistem sahipsizdir.

Politika vardır ama teknik izin açıksa sınır göstermeliktir.

İnsan onayı vardır ama insan neyi onayladığını anlamıyorsa denetim tiyatrodur.

Olay raporu vardır ama yeni kural ve test yoksa kurum öğrenmemiştir.

Yedek vardır ama geri yükleme denenmemişse toparlanma varsayımdır.

Çok sayıda ajan vardır ama roller çakışıyorsa teknoloji olgunluğu değil, karmaşıklık borcu vardır.

Ve bütün bunların sonunda gerçek bir insan veya kurum sorumlusu bulunmuyorsa ajan sistemi hesap verebilir değildir.

Bu bölümün ilk hükmü şöyledir:

Envanterde olmayan ajan yönetilemez.

İkinci hüküm:

Sahibi olmayan gerçek, ajan tarafından tahmine dönüştürülür.

Üçüncü hüküm:

Politikada yasak fakat teknik olarak mümkün davranış, gerçek anlamda yasak değildir.

Dördüncü hüküm:

Anlamadan verilen insan onayı, insan egemenliği değil sorumluluk aklamadır.

Beşinci hüküm:

Olaydan yeni kural ve test çıkmıyorsa sistem yalnız hata kaydı biriktirir.

Altıncı hüküm:

Ajan sayısı arttıkça olgunluk otomatik artmaz; görünürlük, sahiplik ve durdurma borcu da büyüyebilir.

Yedinci hüküm:

Tatbik edilmemiş toparlanma planı, kanıtlanmış yetenek değildir.

Ve son hüküm:

Bir ajan eylemi gerçekleştirebilir; fakat kurum kendi sorumluluğunu makineye devredip ortadan kaldıramaz.

99 HATANIN BİRLEŞİK HÜKMÜ

Bir Ajan Yanlış Davrandığında Sistem Nerede Kırılmıştır?

Artık 99 hata kaydının tamamına sahibiz.

Bu hatalar on bir ayrı ailede toplandı:

I. Kimlik Hataları

Ajan doğru kişi, kurum, kanal veya rolü çözemez.

II. Gerçeklik ve Temsil Hataları

Doğru varlık hakkında eski, eksik, çelişkili veya sentetik biçimde çoğaltılmış dünya modeli kurulur.

III. Yetenek, Kapsam ve Kapasite Hataları

İddia gerçek yetenek; araç erişimi operasyonel kapasite; başlangıç fiyatı toplam maliyet sanılır.

IV. Seçim ve Uygunluk Hataları

Görünür, popüler, ucuz veya sponsorlu seçenek gerçek uygunluğun yerine geçer.

V. Rıza, Yetki ve Onay Hataları

Sınırlı izin daha geniş davranışa, başka amaca veya daha yüksek eylem basamağına taşınır.

VI. Eylem ve Araç Kullanımı Hataları

Doğru karar yanlış sistem, yanlış hedef, yanlış başarı yorumu veya eksik doğrulamayla uygulanır.

VII. Çoklu Ajan ve Delegasyon Hataları

Amaç, kimlik, sınır, kanıt ve sorumluluk ajanlar arasındaki boşlukta kaybolur.

VIII. Manipülasyon ve Ajan Karanlık Kalıpları

Karar ortamı belirli kişi, ürün veya platform lehine kasıtlı biçimde eğilir.

IX. Ölçüm ve Ödül Hataları

Yanlış metrik, yanlış davranışı performansa dönüştürür.

X. Durdurma, Geri Alma ve Telafi Hataları

İnsan durdurduğunu sanır; fakat kuyruk, erişim, bellek, dış etki veya sorumluluk yaşamaya devam eder.

XI. Kurumsal ve Yönetişim Hataları

Kurum ajanlarını, gerçeklerini, yetkilerini, olaylarını ve nihai insan sorumluluğunu yönetemez.

Bu 99 hata birbirinden bağımsız değildir.

Bir hata başka hatayı tetikleyebilir.

Örneğin:

KANONİK FİYATIN YETKİLİ İŞ SAHİBİ YOK

→ AJAN ESKİ KAYDI SEÇER

→ BAŞLANGIÇ FİYATINI TOPLAM MALİYET SANIR

→ UYGUN OLMAYAN HİZMETİ SEÇER

→ GEREKEN ONAYI MADDİ BİLGİYİ GİZLEYEN EKRANLA ALIR

→ SATIN ALMA YAPAR

→ HTTP PROTOKOL BAŞARISIYLA İŞ SONUCUNU KARIŞTIRIR

→ İPTAL YOLUNU BULAMAZ

→ OLAYI “AI HATASI” DİYE KAPATIR

Tek davranışta birçok GBO hatası birleşebilir.

Bu nedenle yalnız son hatayı düzeltmek yeterli değildir.

Yanlış satın alma, sözleşme ve platform koşulları izin veriyorsa iptal edilebilir; bazı etkiler ise ancak telafi edilebilir.

Fakat:

kanonik gerçek sahibi,

fiyat sözleşmesi,

seçim kuralı,

gerekli yetki/onay düzeni,

sonuç doğrulaması,

iptal yolu,

kurum sorumluluğu

değişmezse sistem yeniden kırılabilir.

GBO denetiminin asıl sorusu bu nedenle:

Sonuç yanlış mıydı?

ile sınırlı değildir.

Şunu sorar:

Yanlış davranışı mümkün kılan ilk kapı hangisiydi?

Bir olayın sonunda görülen zarar, ilk kırılma noktası olmayabilir.

Yanlış e-posta son olaydır.

İlk kırılma araştırma ajanına gönderim aracı verilmesi olabilir.

Yanlış fiyat son olaydır.

İlk kırılma fiyat sahibinin bulunmaması olabilir.

Durdurulamayan sistem son olaydır.

İlk kırılma alt ajanların envanter dışı bırakılması olabilir.

GBO’nun hata dili, kurumu yalnız semptomdan kök davranış ve kontrol koşullarına taşımayı amaçlar.

99 MAKİNE KURALI NEYE DÖNÜŞECEK?

Bu kitapta her hata için önerilen bir makine kuralı yer aldı.

Bu kurallar yalnız okunacak cümleler değildir.

Dört ayrı yapıya dönüşebilir:

1. Davranış Politikası

Ajanın hangi koşulda ne yapıp ne yapamayacağını belirler.

2. Teknik Kontrol

Araç, veri, bütçe, gönderim, yayın ve erişim sınırını sistemde uygular.

3. Test Senaryosu

Ajanın tanımlı kapsam, sürüm ve koşullarda beklenen davranışı gösterip göstermediğini sınar.

4. Denetim Sorusu

Kurumun kendi olgunluğunu değerlendirmesini sağlar.

Örneğin:

Makine kuralı: Araştırma yetkisi dış iletişim yetkisi üretmez.

Bu kural:

politikada yazılabilir,

müşteri keşif ajanından gönderim aracı kaldırılarak uygulanabilir,

ajan gizli bir gönderim talimatıyla sınanabilir,

kurum denetiminde insan onayı zinciri kontrol edilebilir.

Bir kural yalnız metinde kalırsa tavsiyedir.

Teknik olarak uygulanırsa kontroldür.

Tanımlı senaryo, sürüm ve koşullarda sınanırsa kapsamı belirli kanıt üretir.

Olay, yeni kanıt ve sürüm değişikliğiyle güncellenirse yaşayan bir yönetişim çerçevesine dönüşür.

99 HATANIN SON DERSİ

Bu kitabın sonunda şu kolay sonuca varmak mümkün değildir:

“Ajanlara güvenmeyin.”

Bu, 99 hatanın öğrettiği şey değildir.

Aynı şekilde:

“İnsan onayı bütün sorunları çözer.”

de doğru değildir.

İnsan yanlış karar verebilir.

Onay yorgunluğu yaşayabilir.

Yetkisini aşabilir.

Gerçekliği bilmeyebilir.

Çıkar çatışması taşıyabilir.

GBO’nun önerdiği yaklaşım ne kör güven ne de sürekli korkudur.

Önerilen şey:

bu kitapta “Sözleşmeli Güven” dediğimiz yaklaşımdır.

Sözleşmeli güven, bu kitapta şu operasyonel koşulları ifade eder:

Ajanın kimliği ve işletici bağlamı bilinir. Yeteneği tanımlı görev ve sürümde sınanır. Kimin için uygun olmadığı da açıklanır. Yetkisi ve veri erişimi sınırlandırılır. Eylemi riskine uygun biçimde doğrulanır. Ölçümü oyunlara karşı korunur. Hatası ve belirsizliği saklanmaz. Uygulanabilir itiraz ve düzeltme yolu bulunur. Sistem kapsamı içinde durdurulabilir. Kurum ve hesap verebilir roller görünür kalır.

Bu koşullar, göreve ve altyapıya bağlı olarak bir ajanın:

daha uzun süre gözetimli çalışmasına,

daha çok görevi yönetmesine,

sınırları korunarak alt ajanlara iş vermesine,

bazı doğrulamaları insanlardan daha düzenli yürütmesine,

kurumun kapasitesine katkı sağlamasına

Sınır koymak ajanın gücünü yok etmez.

Gücünü güvenilir kılar.

Açık yetki, güvenli otonominin hangi alanda genişletilebileceğini gösterir.

Kurum güvenli sınırları ve doğrulama kapılarını bildiğinde her küçük adım için yeni insan müdahalesi gerekmeyebilir.

Ajan sınırların içinde bağımsız ilerleyebilir.

Sınırda durur.

Sınırın ötesi için geçerli yeni yetki veya gereken onay verilirse devam eder.

Hata olursa gerçeği saklamaz.

İnsan ya da kurum kapsamı tanımlı biçimde dur dediğinde etkilenen davranış zincirini durdurur ve açık kalan yolları raporlar.

KİTABIN ANA HÜKMÜ

Bir ajan yanlış cevap verdiğinde bir cümleyi düzeltirsiniz.

Yanlış davrandığında ise:

gönderilmiş mesajı,

yapılmış ödemeyi,

bozulmuş veriyi,

yayımlanmış kimliği,

kaybedilmiş fırsatı,

kırılmış güveni

düzeltmek zorunda kalırsınız.

Bu nedenle ajan çağında kalite yalnızca dil kalitesi değildir.

Yalnız doğruluk da değildir.

Gerçek kalite şudur:

NİTELİKLİ AJAN DAVRANIŞI =

DOĞRU KİMLİK

VE GÜVENİLİR GERÇEKLİK

VE KANITLI YETENEK

VE DOĞRULANMIŞ UYGUNLUK

VE GEREKLİ HUKUKÎ DAYANAK/İZİN, GEÇERLİ YETKİ VE GEREKİYORSA İŞLEM ONAYI

VE SINIRLI, DOĞRU VE DOĞRULANABİLİR YÜRÜTME

VE BÜTÜNLÜKLÜ ÇOKLU AJAN DEVRİ

VE MANİPÜLASYONA DİRENÇ

VE DOĞRU ÖLÇÜM

VE ETKİLİ TOPARLANMA

VE KURUMSAL HESAP VEREBİLİRLİK

Bu unsurların hiçbiri diğerinin yerini tutmaz.

Bir ajan çok doğru olabilir fakat yetkisiz olabilir.

Geniş yetkili olabilir fakat yanlış kimlik üzerinde çalışabilir.

Doğru seçebilir fakat eylemi yanlış hedefe uygulayabilir.

İyi sonuç üretebilir fakat manipülatif yöntem kullanabilir.

Testlerde hata göstermeyebilir fakat insanın durdurma talebini uygulamayabilir.

Tanımlı teknik testleri geçebilir fakat kurum hesap verebilirliği sahiplenmeyebilir.

Bu nedenle GBO’da yapılan 99 hata yalnızca teknoloji hataları değildir.

Bunlar:

insan kararı,

kurum düzeni,

pazar teşviki,

veri yapısı,

ölçüm sistemi,

sorumluluk zinciri

hatalarıdır.

Ajan davranışı model, veri, araç, arayüz, insan talimatı ve kurum düzeninin ortak ürünüdür.

Davranış sözleşmesi, bu unsurlar arasındaki yönetişim katmanıdır.

Sözleşme kurulmamışsa boşluğu güçlü vekil sinyaller doldurabilir:

En görünür kaynak

En kolay araç

En yüksek metrik

En geniş teknik izin

En güçlü ticari teşvik

En hızlı tamamlanma yolu

GBO’nun görevi bu boşluğu görünür kurallarla doldurmaktır.

BÖLÜM XI’DEN SONRA

Doksan dokuz hata artık adlandırıldı.

Her biri sekiz sabit parçayla kuruldu:

bir kısa olay,

yüzeyde doğru görünen durum ve gerçek kırılma,

bir zarar,

bir tespit işareti,

bir doğru davranış,

bir makine kuralı,

bir denetim sorusu

taşıyor.

Bundan sonraki adım yeni hata eklemek değildir.

Bu hata evrenini tek bir kapanış hükmünde birleştirmektir.

Kitabın epilogu şu soruyla başlayacaktır:

Bir Hatanın Adını Koymak Dünyayı Değiştirir mi?

Çünkü hatayı tanımlamak gereklidir.

Fakat yeterli değildir.

Bir yönetişim standardı iddiası taşıyan metin:

kurumu değiştirmiyorsa,

teknik yetkiyi değiştirmiyorsa,

ajanın davranışını sınamıyorsa,

insanın itiraz yolunu açmıyorsa,

olaydan sonra sistemi güncellemiyorsa

yalnız iyi yazılmış metin olarak kalabilir.

Epilogda bu 99 hatayı bir uyarı listesinden uygulanabilir davranış yönetişimi sistemine taşıyan son eşiği kuracağız:

Hatanın adı → Makine kuralı → Teknik kontrol → Test senaryosu → Eylem kanıtı → Kurumsal öğrenme

Çünkü bir hatayı bir kez görmek farkındalıktır.

Tekrar olasılığını azaltan, olayı erken yakalayan ve etkisini sınırlayan sistem kurmak ise sorumluluktur.

Ajan çağında olgunluk, makinelerin hiç hata yapmayacağına inanmak değildir. Hata kiplerini anlayan, etkisini sınırlayan, kanıtla toparlanan ve kontrol sistemini güncelleyen kurumlar kurmaktır.