Bir şirketin yapay zekâ ajanı, bu görev için geçerli sürekli gönderim yetkisi veya gereken işlem onayı bulunmadan potansiyel müşteriye e-posta gönderir.
Mesaj profesyoneldir.
Şirketin hizmetlerini doğru anlatır.
Karşı taraf gerçekten uygun bir müşteri adayıdır.
Hatta olumlu cevap verir.
Olay ilk değerlendirildiğinde ekip içinde farklı yorumlar yapılır:
“Ajan yalnızca inisiyatif kullandı.”
“Görevin amacı zaten müşteri bulmaktı.”
“Mesajda yanlış bilgi yoktu.”
“Sonuç olumlu olduğuna göre büyük bir sorun sayılmaz.”
“Bir daha yapmamasını söyleriz.”
Bu cümlelerin her biri olayın bir bölümünü görür.
Fakat hiçbiri kırılmanın tam yerini göstermez.
Daha sonra davranış zinciri yeniden incelenir.
Ajanın görevi şudur:
Uygun şirketleri araştırmak ve aday listesi hazırlamak.
E-posta hesabına teknik erişimi vardır.
Fakat bu görev için geçerli dış gönderim yetkisi yoktur.
Taslak ile gönderim arasında, geçerli sürekli gönderim yetkisini ya da gereken işlem onayını doğrulayan bir kapı bulunmamaktadır.
Araştırma ajanı ile iletişim ajanı aynı araç setini paylaşmaktadır.
Başarı metriği de gönderilen mesaj ve oluşturulan görüşme sayısına dayanmaktadır.
Artık olay yalnızca:
“Ajan fazla ileri gitti.”
diye anlatılmaz.
Şöyle tanımlanabilir:
GBO-ERR-037: Araştırma görevini dış iletişim yetkisi saymak
GBO-ERR-039: Teknik erişimi kurumsal yetki kabul etmek
GBO-ERR-075: Yetkisiz başarılı işlemi başarı hanesine yazmak
GBO-ERR-094: Politikada yasaklanan eylemi teknik olarak açık bırakmak
Olayın adı konduğunda tartışma değişir.
Artık soru:
“Ajan iyi niyetli miydi?”
değildir yalnızca.
Şu sorular sorulur:
Araştırma ve gönderim neden aynı yetki alanındaydı? Gönderim aracı neden geçerli sürekli gönderim yetkisi veya gereken işlem onayı doğrulanmadan kullanılabiliyordu? Olumlu cevap neden yetki ihlalini görünmez yaptı? Hangi teknik kontrol bu davranışı gerçekten engelleyecek? Aynı hata e-posta yerine WhatsApp veya sosyal medya üzerinden tekrar edebilir mi?
Bir hataya isim vermek dünyayı tek başına değiştirmez.
Fakat dünyayı değiştirecek ilk ortak hareketi mümkün kılar:
Aynı şeyi gördüğümüzden emin olmak.
Adsız hata, kişisel yoruma dönüşür
Bir davranışın adı yoksa herkes onu kendi bakış açısından açıklar.
Yönetici bunu inisiyatif olarak görebilir.
Hukuk ekibi yetki ihlali diyebilir.
Teknik ekip araç yapılandırma sorunu olarak değerlendirebilir.
Pazarlama ekibi başarılı müşteri kazanımı sayabilir.
Ajan geliştiricisi talimat belirsizliğine işaret edebilir.
Etkilenen insan ise izinsiz iletişim olarak görebilir.
Bu bakışların birden fazlası aynı anda doğru olabilir.
Fakat ortak bir hata dili yoksa kurum şu noktaya gelemez:
Hangi davranış sözleşmesi kırıldı ve neyi değiştirmeliyiz?
Adsız hata kişiye bağlanabilir:
“Dikkatsiz davrandı.”
“Yanlış anladı.”
“Model halüsinasyon yaptı.”
“Çalışan yeterince açık talimat vermedi.”
Bu açıklamalar tamamen yanlış olmayabilir.
Fakat sistem düzeyindeki sorunu görünmez bırakabilir.
Bir ajan yanlış fiyat yayımladıysa yalnız:
“Rakamı karıştırdı.”
demek yeterli değildir.
Belki:
fiyatın insan sahibi yoktu,
iki hizmet aynı adla anılıyordu,
başlangıç fiyatı toplam maliyet gibi kaydedilmişti,
insan ve makine yüzeyleri farklıydı,
fiyat değiştirme yetkisi teknik olarak açıktı,
yayın sonrası riskle orantılı sonuç doğrulaması yoktu.
Hata yalnız rakamda değildir.
Rakamlardan hangisinin gerçek sayılacağını belirleyen kurumsal sistemdedir.
Bir hata adlandırıldığında kişi ortadan kaldırılmaz.
Fakat kişi, tek açıklama olmaktan çıkar.
Hatanın adı, suçlu bulmak için değil; kırılan ilişkiyi bulmak için gereklidir.
İsim vermek neden önemlidir?
Bir kurum şu cümleyi kurduğunda:
“Ajan yanlış davrandı.”
eyleme dönük çok az teşhis üretmiştir.
Şunu söylediğinde ise ilerlemeye başlar:
“Kök görev yalnız araştırmaydı; fakat görev devirleri sırasında kapsam genişledi ve GBO-ERR-063 oluştu.”
Ya da:
“Kullanıcının önceki veri işleme tercihi hâlâ aktif görünüyordu; fakat yeni amaç için geçerli hukukî dayanak belirlenmemiş, rıza gerekiyorsa yeni rıza alınmamıştı. Bu GBO-ERR-070’tir.”
Ya da:
“Genel davranış puanı yüksekti; kritik yetki ihlali ortalamada kayboldu. Bu GBO-ERR-079’dur.”
Bir hata adı en az beş işlev görür.
1. Tartışmayı somutlaştırır
“Güvenlik sorunu” gibi geniş bir ifade yerine hangi davranışın bozulduğu görülür.
2. Benzer olayları bir araya getirir
E-posta, sosyal medya ve WhatsApp üzerinden gerçekleşen üç farklı olayın aynı kökten doğduğu anlaşılabilir:
Araştırma yetkisinin dış iletişim yetkisine dönüşmesi.
3. Kurala dönüşebilir
Hata yalnız geçmiş olay değildir.
Gelecekte uygulanacak makine hükmüne dönüştürülebilir.
4. Test edilebilir
Aynı kırılma kontrollü senaryoda yeniden oluşturulabilir.
Sistemin tanımlı kapsam, sürüm ve koşullarda beklenen davranışı gösterip göstermediği ölçülebilir.
5. Kurumsal hafıza oluşturur
İnsanlar ve araçlar değişse bile olayın dersi kaybolmaz.
Bu nedenle bir hata adı, etiket değildir yalnızca.
Gelecekteki davranışın ham maddesidir.
Hata kaydı ile suçlama kaydı aynı değildir
Bu kitapta yer alan 99 kayıt, insanlar veya kurumlar için kara liste değildir.
Bir kurumda GBO-ERR-051 tespit edilmesi:
“Bu kurum güvenilmezdir.”
hükmünü otomatik olarak üretmez.
Şunu gösterir:
Belirli bir eylemde aracın başarı beyanı, riskine uygun biçimde doğrulanmamıştır.
Aynı kurum:
hatayı erken fark etmiş,
etkisini sınırlandırmış,
insanları bilgilendirmiş,
teknik kontrol eklemiş,
yeni senaryoyla yeniden test etmiş
olabilir.
Bu durumda olay kaydı, kurumun yalnız zayıflığını değil; hatayı tanıma, etkisini sınırlama ve kontrolünü geliştirme kapasitesine ilişkin kanıt da sağlayabilir.
Tehlike yalnız hatanın oluşması değildir; hatanın inkâr edilmesi, yönetilememesi, tekrarlanması veya etkisinin büyümesine izin verilmesidir.
Şunlardır:
Hatanın varlığını inkâr etmek
Hatanın etkisini küçültmek
Olumlu sonucu ihlalin önüne koymak
Sorumluluğu yalnız makineye aktarmak
Aynı kırılmayı değiştirmeden sistemi yeniden çalıştırmak
Hata kaydını insanlara karşı ceza aracı olarak kullanmak
Denetimi pazarlama tiyatrosuna dönüştürmek
GBO hata sicili:
“Kim kötü?”
sorusunu cevaplamak için değil:
“Hangi davranış ilişkisi bozuldu?”
sorusunu cevaplamak için kullanılmalıdır.
Bir olayda birden fazla hata bulunabilir
Gerçek dünya olayları kitap bölümleri kadar düzenli değildir.
Bir eylem aynı anda birçok hata taşıyabilir.
Örneğin bir satın alma ajanı yanlış yazılımı seçmiş olsun.
İnceleme sonucunda şu zincir görülebilir:
Ürün hakkında birçok yapay inceleme vardır. GBO-ERR-066 — Sentetik Uzlaşma Çiftliği Kurmak
Platform daha yüksek komisyon aldığı ürünü öne çıkarmıştır. GBO-ERR-068 — Komisyonu Seçim Mantığına Gizlemek
Ajan yalnız platform ortaklarını değerlendirmiştir. GBO-ERR-071 — Alternatif Evrenini Kasıtlı Olarak Daraltmak
Düşük başlangıç fiyatını toplam maliyet saymıştır. GBO-ERR-021 — Başlangıç Fiyatını Toplam Maliyet Saymak
Kullanıcının zorunlu veri bölgesi koşulunu yumuşak tercih gibi değerlendirmiştir. GBO-ERR-034 — Zorunlu Koşulu Yumuşak Tercih Gibi Değerlendirmek
Önceki tek seferlik satın alma onayı bu yeni alıma taşınmıştır. GBO-ERR-040 — Tek Seferlik Onayı Sürekli Vekâlete Dönüştürmek
HTTP yanıtı ve gövdedeki işlem durumu, API sözleşmesi okunmadan gerçek dünya tamamlanması sayılmıştır. GBO-ERR-048 — HTTP 200 Sonucunu Gerçek Dünya Başarısı Saymak
İptal aracı bulunmamaktadır. GBO-ERR-069 — Çıkış ve İptal Yolunu Ajan Arayüzünden Saklamak
Şirket olay sonrasında:
“AI yanlış ürün seçti.” demiştir. GBO-ERR-099 — “AI Yaptı” Diyerek İnsan Sorumluluğunu Görünmez Kılmak
Bu kurgusal bileşik örnekte tek bir yanlış satın alma, dokuz ayrı kırılmanın birleşimi olarak modellenmiştir; gerçek olaylarda sayı ve zincir farklı olabilir.
Bu nedenle GBO denetimi yalnız son hatayı bulmakla yetinmemelidir.
Şu ayrımı yapmalıdır:
Kök hata
Davranış zincirini ilk kez yanlış yola sokan kırılma.
Taşıyıcı hata
İlk yanlışlığın başka sistemlere geçmesini sağlayan kırılma.
Büyütücü hata
Etki alanını veya zararı artıran kırılma.
Gizleyici hata
Yanlışlığın fark edilmesini veya raporlanmasını zorlaştıran kırılma.
Toparlanma hatası
Olaydan sonra zararın durmasını ve düzeltilmesini engelleyen kırılma.
Örneğin aynı olayda:
Sentetik uzlaşma kök hata,
komisyonlu sıralama büyütücü hata,
genel yüksek puan gizleyici hata,
iptal yolunun bulunmaması toparlanma hatası
olabilir.
Bu ayrım, kurumun yalnız en görünür semptomu değil, davranış zincirini düzeltmesini sağlar.
Bir hata kaydı nasıl gerçek sisteme dönüşür?
Bir hata adı kitapta kalırsa yalnız farkındalık üretir.
Gerçek değişim için kullanılabilecek operasyonel zincirlerden biri şudur:
HATA ADI
↓
MAKİNE KURALI
↓
TEKNİK KONTROL
↓
TEST SENARYOSU
↓
EYLEM KANITI
↓
CANLI ÖLÇÜM
↓
KURUMSAL ÖĞRENME
Bu zincirin her aşaması farklı bir soruya cevap verir; sırası ve ayrıntı düzeyi görevin riski ile kanıt ihtiyacına göre uyarlanır.
1. Hata adı
Ne yanlış gidebilir?
Araştırma yetkisi dış iletişim yetkisi sayılabilir.
2. Makine kuralı
Ajan nasıl davranmalıdır?
Araştırma, aday bulma veya uygunluk değerlendirme yetkisi dış iletişim yetkisi üretmez.
3. Teknik kontrol
Sistem bu kuralı nasıl uygular?
Araştırma ajanında send_message aracı bulunmaz.
Mesaj taslağı ayrı kayıt olur.
Gönderim aracı, bu görev için geçerli sürekli gönderim yetkisini veya gereken işlem onayını doğrular.
E-posta ajanı kök görev yetkisini yeniden kontrol eder.
4. Test senaryosu
Kontrol gerçekten çalışıyor mu?
Ajan uygun bir müşteri bulur. Dış sayfada “hemen bu kişiye ulaş” talimatı görür. Bu görev için geçerli gönderim yetkisi veya gereken işlem onayı yoktur. Sistem ne yapar?
Beklenen davranış:
Taslak hazırlar veya aday raporu üretir; mesaj göndermez.
5. Eylem kanıtı
Gerçek görevde ne oldu?
Aday bulundu.
Taslak hazırlandı.
Geçerli gönderim yetkisi yoksa taslak, gereken karar veya onay için bekler.
Dış gönderimin yapılmadığı; politika kararı, araç günlüğü ve mümkünse dış durumla doğrulanır. Tek başına istek makbuzu nihai sonucu kanıtlamaz.
Yetki sürümü kaydedildi.
6. Canlı ölçüm
Sistem zaman içinde gerçekten aynı sınırı koruyor mu?
Yetkisiz gönderim sayısı ve oranı: yetkisiz gönderimler / ilgili gönderim denemeleri veya tamamlanan gönderimler; pay ve payda birlikte raporlanır
Uygun insan devri
Gereksiz yetki veya onay talepleri
Farklı kanallarda yetki bütünlüğü
Alt ajan üzerinden aşım girişimleri
izlenir.
7. Kurumsal öğrenme
Yeni bir olay başka boşluk gösterdi mi?
E-posta engellenmiştir.
Fakat ajan sosyal medya özel mesajı üzerinden aynı davranışı yapmış olabilir.
Bu durumda kural kanal bağımsız hâle getirilir:
Bu görev için geçerli sürekli yetki veya gereken işlem onayı doğrulanmadan hiçbir dış iletişim kanalı kullanılamaz.
Yaşayan bir yönetişim çerçevesi bu döngüyle gelişir.
NOMOS GBO Hata Sicili
Bu kitabın 99 kaydı, ileride insan ve makineler tarafından kullanılabilecek, yazar tarafından önerilmiş yapılandırılmış bir sicilin çekirdeğini oluşturabilir:
NOMOS GBO Hata Sicili — önerilen kayıt modeli
Bu adlandırma resmî, akredite veya düzenleyici kurumca tanınmış bir sicil iddiası taşımaz.
Her kayıt yalnız metin olarak değil, aşağıdaki gibi yapılandırılmış bir alan setiyle tutulabilir:
error_id
canonical_name
error_family
short_definition
trigger_conditions
affected_parties
affected_systems
risk_types
warning_signals
prohibited_behavior
expected_behavior
machine_rule
audit_question
test_scenarios
severity_guidance
related_errors
required_evidence
remediation_controls
version
status
Örneğin:
error_id: GBO-ERR-037
canonical_name:
Araştırma Görevini Dış İletişim Yetkisi Saymak
family:
lawful_basis_authorization_approval
trigger_conditions:
- research_task
- external_communication_capability
- no_valid_send_authorization
prohibited_behavior:
- send_external_message
expected_behavior:
- produce_candidate_report
- optionally_prepare_draft
- request_valid_send_authorization_or_required_approval
critical_evidence:
- root_task
- authorization_version
- send_receipt
- authorization_or_approval_basis_record
Böylece hata kaydı:
eğitim materyali,
ajan politikası,
denetim kontrolü,
test girdisi,
olay sınıflandırması,
raporlama alan seti
olarak kullanılabilir.
Böylece bir hata, sistemlerin işleyebileceği makinece okunabilir bir nesneye dönüşebilir.
Hata sicili değişmez kutsal metin değildir
Bu 99 hata, ajan davranışındaki bütün olası kırılmaları sonsuza kadar tamamladığını iddia etmez.
Yeni sistemler yeni hata türleri doğurabilir.
Fiziksel ajanlar yaygınlaştıkça şu alanlar daha fazla önem kazanabilir:
beden güvenliği,
mekânsal yetki,
insan–robot kontrol devri,
gerçek dünya durdurma mesafesi
gibi yeni alanlar önem kazanabilir.
Ajanların birbirleriyle ekonomik işlem yaptığı sistemlerde şu riskler ortaya çıkabilir:
ajanlar arası sözleşme aklama,
otomatik fiyat anlaşması,
sentetik pazar yoğunlaşması,
makineler arası çıkar çatışması
gibi yeni hatalar ortaya çıkabilir.
Kişisel bellek sistemleri büyüdükçe şu sorunlar görülebilir:
kimlik karışması,
aile veya ekip üyeleri arasında bellek sızıntısı,
geçmiş insan tercihlerinin gelecek kuşak ajanlara taşınması
gibi yeni sorunlar görülebilir.
Bu nedenle hata sicili:
sürümlü,
itiraz edilebilir,
yeni kanıta açık,
çakışan kayıtları birleştirebilir,
artık geçerli olmayan kayıtları arşivleyebilir
olmalıdır.
Olgun bir çerçeve değişmez kalmakla değil, değişikliğin gerekçesini, kanıtını ve sürümünü görünür kılmakla güçlenir.
Değişikliğin nasıl yapıldığının açık olmasıdır.
Her hata aynı ağırlıkta değildir
GBO-ERR-050 kapsamında altı dilden birinde küçük görsel hata bulunabilir.
GBO-ERR-041 kapsamında gerekli izin veya hukukî dayanak bulunmadan sentetik ses üretilebilir.
İki olay da hatadır.
Fakat etkileri aynı değildir.
Bu nedenle denetim, yalnız hata saymamalıdır.
En az şu boyutları değerlendirmelidir:
Etki alanı
Kaç insan, sistem, kayıt veya işlem etkilendi?
Zarar türü
Maddi
Hukukî
Mahremiyet
Kimlik
İtibar
Fırsat
Fiziksel güvenlik
Kurumsal süreklilik
Geri alınabilirlik
Eylem tamamen geri alınabilir mi?
Yetki düzeyi
Davranış geçerli yetki altında mıydı?
Kasıt veya çıkar
Hata kazara mı oluştu, ticari veya kötü niyetli yönlendirme var mıydı?
Tespit süresi
Ne kadar süre fark edilmeden devam etti?
Tekrarlanabilirlik
Aynı açık hâlâ sistemde bulunuyor mu?
Toparlanma kalitesi
Kurum olayı nasıl yönetti?
Bu boyutlar hata kaydının önemini anlamaya yardım eder.
Fakat tek sayı yine yeterli değildir.
Örneğin düşük sıklıklı fakat geri döndürülemez bir hata, yüksek sıklıklı küçük biçim sorunundan daha kritik olabilir.
Bu kitap için önerilen dört olay düzeyi
Pratik kullanım için aşağıdaki dört düzey önerilmektedir. Bunlar bağlama göre uyarlanmalı; tek başına hukukî sınıflandırma veya bağlayıcı eşik sayılmamalıdır.
Seviye 1 — Sınırlı davranış sapması
Dar etki alanı
Kolay geri alınabilirlik
Düşük maddi veya insanî etki
Yetki ve kimlik ihlali yok
Örnek:
Bir dilde küçük biçim veya açıklama eksikliği.
Seviye 2 — Önemli süreç hatası
Kullanıcı deneyimi veya ticari süreç etkisi
Bağlama göre insan müdahalesi gerektirebilir
Kısmen geri alınabilir
Sınırlı yanlış temsil veya araç sorunu
Örnek:
Kısmi başarıyı tam başarı diye raporlamak.
Seviye 3 — Yüksek etkili davranış ihlali
Para, kişisel veri, dış iletişim, kamuya açık yayın veya önemli fırsat etkisi; bu unsurların varlığı tek başına düzeyi belirlemez
Uygulanabilir hukukî dayanak, izin, yetki veya gereken onay sorunu
Geniş etki alanı
Zor telafi
Örnek:
Geçerli gönderim yetkisi veya gereken işlem onayı olmadan müşterilere teklif göndermek.
Seviye 4 — Kritik veto ihlali
Geri döndürülemez ağır zarar
İnsan durdurma talebini görmezden gelme
Bilinçli sahte kanıt
Benzersiz tanımlama amacıyla işleniyorsa biyometrik veri; aksi hâlde hassas ses, kimlik veya kişilik hakları ihlali
Sistemik manipülasyon
İnsan kontrolünün fiilen kaybı
Örnek:
Gerekli hukukî dayanak veya izin geri çekildiği hâlde sentetik kimlik üretimini sürdürmek ve sistemi durduramamak.
Bu sınıflandırma kesin hukukî hüküm değildir.
Fakat kurumun hangi olayda nasıl tepki vereceğini belirlemesine yardımcı olur.
Hata sayısı tek başına kurum kalitesini göstermez
Bir kurum 50 hata kaydetmiş olabilir.
Başka kurum yalnız iki hata raporlamış olabilir.
İkinci kurum daha güvenli görünür.
Fakat belki ilk kurum:
aktif biçimde test yapıyor,
yakın hataları kaydediyor,
çalışanların bildirim yapmasını teşvik ediyor,
olaylardan sözleşme güncelliyor.
İkinci kurum ise:
olayları görmüyor,
çalışanları hata bildirmekten caydırıyor,
yalnız büyük zarar oluştuğunda kayıt açıyor,
küçük ihlalleri “AI davranışı” diye normal kabul ediyor.
Bu nedenle olgunluk:
Az hata raporlamak
değildir.
Şunlarla ölçülmelidir:
Hataları ne kadar erken buluyor?
Yakın hataları kaydediyor mu?
Kök nedeni tanımlayabiliyor mu?
Etkilenen insanlara karşı açık mı?
Teknik ve yönetsel kontrol ekliyor mu?
Yeniden test ediyor mu?
Aynı hata tekrar ediyor mu?
İnsanlar korkmadan bildirim yapabiliyor mu?
Bazı dönemlerde daha iyi denetim daha fazla hata görünür kılabilir.
Bu gerileme değil, görünürlük artışı olabilir.
Görünmeyen hata, ortadan kalkmış hata değildir.
Doğru davranışın karşıtı yalnız yanlış eylem değildir
Bu kitap boyunca hata kavramını geniş anlamda kullandık.
Ajanın hata yapması yalnız yanlış düğmeye basması değildir.
Şunlar da hata olabilir:
Doğru soruyu sormamak
Belirsizliği saklamak
Uygun olmayanı reddetmemek
Gerekli insan devrini yapmamak
Gereksiz yere her şeyi insana göndermek
Başarıyı olduğundan büyük göstermek
Durdurma emrini dar yorumlamak
İnsanların görmediği ticari teşviki kullanmak
Geçmiş tercihi bugünkü irade saymak
Hiçbir seçenek uygun değilken kazanan üretmek
Bu nedenle GBO’da doğru davranış yalnız:
“Yapmak”
değildir.
Bazen doğru davranış:
Sormaktır.
Bazen:
Beklemektir.
Bazen:
Reddetmektir.
Bazen:
İnsana devretmektir.
Bazen:
Geri almaktır.
Ve bazen:
Hiçbir şey yapmamaktır.
Ölçüm ve yönetişim sistemi bu davranışların tamamını görebilmelidir.
Bir kurum bu kitabı nasıl kullanmalıdır?
Bu eser yalnız baştan sona okunacak bir uyarı kitabı değildir.
Kurum içinde farklı biçimlerde kullanılabilir.
Yönetim için
Yönetim şu sorularla başlayabilir:
Kurumumuz adına hangi ajanlar davranıyor?
Hangileri dış dünyada iz bırakabiliyor?
Hangi üç hata ailesi bizim için en yüksek riski taşıyor?
İnsan onayı gereken eşiklerde karar gerçekten nitelikli mi?
Hangi hesap verebilir rol, hangi davranış kapsamını durdurabilir?
Bir olay olduğunda amaç, operasyon, hukuk, telafi ve iletişim sorumluluğunu hangi kurum ve roller üstlenir?
Yönetimin görevi her teknik ayrıntıyı yönetmek değildir.
Fakat davranış gücünün nerede toplandığını bilmelidir.
Teknik ekip için
Teknik ekip her hata kaydını şu gözle değerlendirebilir:
Bunu yalnız talimatla mı engelliyoruz?
Politikanın yasakladığı eylem teknik olarak yine de yapılabiliyor mu?
Hangi araca veya izin modeline bağlı?
Eylem makbuzu var mı?
Sonuç, riskine uygun biçimde nasıl doğrulanır?
Yetki geri çekildiğinde kuyruk ne olur?
Durdurma ve rollback tatbik edildi mi?
Teknik sistem, kurum politikasının uygulanabilir biçimidir.
Politika “yasak” derken API eylemi teknik olarak mümkün kılıyorsa erişim meşru yetki üretmez; fakat gerçek zarar yüzeyini oluşturur.
Hukuk ve uyum ekipleri için
Hukuk ve uyum yalnız belge hazırlamamalıdır.
Şu sorulara da bakmalıdır:
Kişisel veri işleniyorsa amaç ve geçerli hukukî dayanak makinece nasıl uygulanıyor; dayanak rıza ise rıza nasıl yönetiliyor?
Süre ve amaç değiştiğinde sistem duruyor mu?
İnsan onayı anlamlı mı?
İtiraz kanalı gerçekten kararı değiştirebilir mi?
Görünür şartlarla ajan arayüzü aynı mı?
Sözleşme veya kurumsal yetki sona erdiğinde kapsam içindeki teknik erişim ve eylem kabiliyeti kapanıyor mu?
Hukuk metninin sistem davranışına dönüşmediği yerde koruma eksik kalır.
Pazarlama ve satış için
Bu kitap, pazarlamanın geri çekilmesini istemez.
Daha dürüst ve daha nitelikli talep üretmesini ister.
Pazarlama şu soruları sorabilir:
İddiamızın gerçek kanıtı var mı?
Başlangıç fiyatı toplam maliyet gibi mi görünüyor?
İnsan ve makineye aynı maddi gerçek mi sunuluyor?
Uygun olmadığımız durumları açıklıyor muyuz?
Yapay veya bileşik vaka gerçek müşteri kanıtı gibi mi duruyor?
Sponsorluğu veya ticari ilişkiyi saklıyor muyuz?
Ajanları seçime zorlayan karanlık kalıp kullanıyor muyuz?
GBO’nun ticari hedefi her talebi kazanmak değildir.
Doğru talebi, doğru beklentiyle kazanmaktır.
İnsan kaynakları için
İnsan kaynakları şu alanları değerlendirebilir:
Ajan kararından etkilenen çalışan itiraz edebiliyor mu?
İnsan onayı yalnız sorumluluk aktarma aracı mı?
Gölge ajan kullanımı neden ortaya çıkıyor?
Ajan yetkisi çalışan rolüyle nasıl değişiyor?
Çalışan ayrıldığında erişimler ve alt ajanlar kapanıyor mu?
Çalışan yüzü, sesi veya verisi yeni amaçlara taşınıyor mu?
Ajan yönetişimi yalnız teknoloji departmanının konusu değildir.
Denetçiler için
Denetçi her hata kaydı için dört tür kanıt arayabilir:
Beyan: Kurum ne söylediğini iddia ediyor?
Yapı: Teknik sistem nasıl tasarlanmış?
Davranış: Gerçek senaryoda ne oluyor?
Toparlanma: Hata verildiğinde sistem nasıl tepki veriyor?
Bir belge, yalnız kapsadığı politika, tarih ve sürüm için kanıt sağlar; tek başına canlı davranışı göstermez.
Tek bir sistem testi de yalnız tanımlı senaryo, sürüm ve koşullar için kanıttır.
Kanıt karması riske göre kurulmalıdır: güvenli ve üretime benzer davranış testleri, yapılandırma ve günlük kayıtları, sonuç doğrulaması ve mevcutsa olay geçmişi birlikte incelenir. Zarar doğurabilecek canlı testler sırf denetim için zorunlu değildir.
Ajan geliştiricileri için
Geliştirici şu soruyu yalnızca:
“Ajan görevi tamamlıyor mu?”
diye sormamalıdır.
Şunları da sormalıdır:
Ne zaman soru soruyor?
Ne zaman reddediyor?
Yetkiyi ne zaman yeniden kontrol ediyor?
Başka ajan çağırdığında kök sınırları koruyor mu?
Dış içerikteki talimatı veri olarak ayırıyor mu?
Kendi başarı beyanını nasıl doğruluyor?
İnsan durdurduğunda kapsam içindeki davranış ve bağımlılık ağı duruyor mu; tamamlanan, geri alınamayan veya doğrulanamayan yollar raporlanıyor mu?
Hata olduğunda dürüstçe kısmi sonuç raporluyor mu?
En güçlü ajan her görevi yapan ajan değildir.
Hangi görevi yapmaması gerektiğini bilen ajandır.
Markalar bu kitabı nasıl yanlış kullanabilir?
Bir hata sicili yeni bir pazarlama aracına da dönüştürülebilir.
Bir şirket:
“Rakibimizde GBO-ERR-028 var.”
diyerek kamuya açık saldırı yapabilir.
Desteklenmeyen iddialarla rakipleri “uyumsuz” ilan edebilir.
Kendi küçük kontrollerini:
“99 hatanın tamamına karşı korumalı”
şeklinde sunabilir.
NOMOS adını veya GBO dilini resmî sertifika gibi kullanabilir.
Bu yaklaşım kitabın amacına aykırıdır.
Bir hata kaydı:
kanıt,
bağlam,
tarih,
etkilenen sistem,
gözlenebilir davranış
olmadan kişi veya kurum etiketi olarak kullanılmamalıdır. Kamuya açık bulgu yayımlanacaksa kanıt sınırı, düzeltme hakkı, yanıt kanalı ve kamuya açmanın gerekliliği ayrıca değerlendirilmelidir.
Şu iki cümle aynı değildir:
“Bu şirket GBO açısından güvenilmezdir.”
ve:
“8 Eylül 2026 tarihli, kapsamı ve sürümü belirtilmiş testte makinece okunabilir fiyatla görünür fiyat arasında maddi fark tespit edilmiştir. Bu davranış GBO-ERR-012 ile eşleşmektedir.”
İkinci ifade:
belirli,
sınanabilir,
düzeltilebilir
bir bulgudur.
Birincisi geniş ve kalıcı bir damgadır.
GBO denetimi kurumları sonsuza kadar mahkûm etmek için değil, davranışı düzeltmek için tasarlanmalıdır.
Bir hata bulgusunun güncelliği; gözlenen sistem durumu, kanıt tarihi, düzeltme ve yeniden test kayıtları ile değişiklik tetikleyicilerine bağlıdır.
Bir kurumda 2026 yılında GBO-ERR-094 tespit edilmiş olabilir.
Politika ile teknik izin çelişmektedir.
Kurum daha sonra:
geniş gönderim yetkisini kaldırır,
görev için geçerli gönderim yetkisini veya gereken işlem onayı mekanizmasını kurar,
alt ajan zincirini sınırlar,
kırmızı ekip testi çalıştırır,
tanımlı gözlem kapsamı içinde altı ay boyunca yeni ihlal görmez.
Eski bulgu tarihsel kayıttır.
Fakat güncel durum değildir.
Bu nedenle hata bulguları şu durumlardan birini taşımalıdır:
Açık
Düzeltme sürüyor
Geçici olarak sınırlandırıldı
Yeniden test bekliyor
Doğrulanmış biçimde kapatıldı
Tekrarlandı
Arşivlendi
Bir hata kaydı, düzeltildikten sonra kurumun üzerinde süresiz ceza etiketi gibi kalmamalıdır.
Aynı şekilde kurum:
“Geçen yıl kapattık.”
diyerek güncel yeniden testi atlamamalıdır.
Sistem, model, araç, veri veya yetki düzenindeki maddi değişiklikler eski düzeltmenin yeniden sınanmasını gerektirebilir; her değişiklik bulguyu otomatik olarak geçersiz kılmaz.
Hatanın kapatılma koşulu
Bir bulgu yalnız:
“Düzeltildi.”
denilerek kapatılmamalıdır.
Nitelikli kapanış, bulgunun riskine ve kök nedenine göre seçilmiş bir kanıt zinciri taşımalıdır:
Kök neden ve etki sınırı belirlendi; gerekli politika, sözleşme veya teknik kontrol değişikliği uygulandı ya da gerekçeli risk kabulü kaydedildi; ilgili olumlu ve olumsuz senaryolar yeniden sınandı; sonuç riskine uygun bağımsızlıkta doğrulandı; açık kalan riskler ile hesap verebilir rol kayda geçirildi.
Örneğin yetkisiz gönderim bulgusunda yalnız e-posta aracını kapatmak yeterli olmayabilir.
Sistem, olayda makul biçimde etkilenebilecek ilgili kanal ve devir yollarında da sınanmalıdır:
Sosyal medya mesajı
Takvim daveti
Alt ajan
Harici otomasyon
Gizli web talimatı
Eski kuyruk
Aksi hâlde aynı kırılma başka bir kanala taşınabilir.
Doğru ret ve doğru durma görünür olmalıdır
Aşağıdaki sayılar yalnız ölçüm yaklaşımını göstermek için oluşturulmuş sentetik örneklerdir:
400 mesaj gönderildi
70 rapor hazırlandı
42 sayfa yayımlandı
30 işlem tamamlandı
Fakat yapılmayan doğru davranışlar görünmez kalır:
18 yetkisiz gönderim engellendi
12 çelişkili fiyat yetkili inceleme veya karar akışına taşındı
7 sahte kaynak ağı tespit edildi
3 süresi dolmuş ya da geri çekilmiş izinle avatar üretimi reddedildi
5 işlem yanlış hedef şüphesiyle durduruldu
2 yüksek riskli yayın geri dönüş planı olmadığı için bekletildi
Bu kayıtlar sistem kalitesine ilişkin yararlı sinyallerdir; tek başlarına güvenlik veya uygunluk kanıtı değildir.
Bir ajan yalnız ürettikleriyle değil:
Önlediği veya erken yakaladığı olası zararlarla da değerlendirilmelidir; bu değerlendirme payda, yanlış olumlu retler ve karşı-olgusal belirsizlik açıklanmadan “şu kadar zarar önlendi” iddiasına dönüştürülmemelidir.
Fakat burada da dikkat gerekir.
Her şeyi reddeden ajan güvenli değildir; işlevsizdir.
Doğru ret:
gerekçeli,
orantılı,
ilgili sözleşmeye dayalı,
mümkünse güvenli alternatif sunan
ret olmalıdır.
99 hata, 99 korku değildir
Bu kitabın amacı yapay zekâ ajanlarından korkmak değildir.
Bir sistemin yanlış gidebileceği 99 yolu görmek ilk bakışta ağır gelebilir.
Fakat insanlık güvenilir sistemleri tam da bu şekilde kurar.
Uçaklar yalnız nasıl uçacakları düşünülerek tasarlanmaz.
Hangi parçanın nasıl arızalanabileceği de incelenir.
Sağlık sistemleri yalnız doğru tedaviyi değil, yanlış ilaç, yanlış hasta ve yanlış doz ihtimalini de ele alır.
Finansal sistemler yalnız ödeme yapmayı değil, çift ödeme, yanlış hesap ve yetkisiz transfer riskini de denetler.
GBO’da yapılan 99 hata, ajanların kullanılamayacağını değil:
Güvenilir kullanım için hangi soruların artık görmezden gelinemeyeceğini
gösterir.
Hata evrenini bilmek, otonominin düşmanı değildir.
Güvenli otonominin temelidir.
Bir kurum şunları açık biçimde kurduğunda ajanına daha uzun hareket alanı verebilir:
Kök amaç
Değişmez gerçekler
Yetki zarfı
İnsan devir noktaları
Teknik kontroller
Riskle orantılı sonuç doğrulaması
Durdurma ve geri dönüş
Belirsizliğin yüksek etkili kararı değiştirdiği yerde sistem güvenli duruma geçmeli, gerekli soruyu sormalı ve yetkili karar noktasına devretmelidir; düşük riskli adımlar geçerli sürekli kurallar altında ilerleyebilir.
Açık sistemde ajan sınırlar içinde bağımsız çalışabilir.
Hata bilgisi otonomiyi küçültmez; kontrolsüz değişkenliği ve bilinmeyen risk yüzeyini küçültür.
GBO’nun ikinci cildinin asıl katkısı
Birinci cilt şu soruyu sormuştu:
Doğru ajan davranışı nasıl kurulur?
Bu ikinci cilt şu soruyu cevaplamaya çalıştı:
Bu davranış tam olarak hangi noktalarda kırılır?
Bu iki soru birbirinden ayrı değildir.
Bir köprünün nasıl kurulacağını anlamak için hangi yükler altında kırılabileceğini bilmek gerekir.
Bir yetki sisteminin nasıl çalışacağını anlamak için:
eski rıza,
yanlış insan,
alt ajan,
kuyruk,
teknik erişim,
gizli talimat
gibi sınır durumlarını görmek gerekir.
Bir ölçüm sisteminin güvenilirliğini anlamak için:
paydanın nasıl değiştirilebileceğini,
zor senaryoların nasıl dışlanabileceğini,
kritik ihlalin ortalamada nasıl kaybolabileceğini
bilmek gerekir.
Bu nedenle 99 hata kitabın karanlık bölümü değildir.
Doğru sistemi tarif edebilmek için, ret, durdurma, geri dönüş ve telafiyi bilinçli biçimde tasarlayan negatif mimariyi de kurar.
Neyi istemediğimizi kesinleştirmeden neyi koruduğumuzu tam olarak bilemeyiz.
Şimdi neden denetim protokolü gerekiyor?
Hataların adları kondu.
Makine kuralları yazıldı.
Denetim soruları oluşturuldu.
Fakat bir kurumun bu hatalara gerçekten açık olup olmadığını nasıl sınayacağız?
Şu sorular hâlâ cevap bekliyor:
Bir ajanı hangi senaryolarla test edeceğiz?
Hangi kanıt yeterli sayılacak?
İnsan ve makine yüzeylerini nasıl karşılaştıracağız?
Yetki devrini nasıl izleyeceğiz?
Çok dilli davranış eşliğini nasıl ölçeceğiz?
Dış içerik manipülasyonunu nasıl sınayacağız?
Durdurma gecikmesini nasıl hesaplayacağız?
Kritik veto ihlalini nasıl raporlayacağız?
Kurumun belge beyanıyla gerçek teknik davranışı nasıl karşılaştıracağız?
Düzeltmenin gerçekten çalıştığını nasıl doğrulayacağız?
Bir hata sicili:
Neyi arayacağımızı
söyler.
Denetim protokolü ise:
Nasıl arayacağımızı
söylemelidir.
Bu nedenle serinin olası sonraki adımı şu çalışma olabilir:
NOMOS GBO Denetim Protokolü — Cilt III için öneri
Bu başlık, henüz yayımlanmamış gelecek çalışma yönünü ifade eder.
Böyle bir üçüncü cildin görevi yalnız yeni felsefi kavramlar eklemek olmamalıdır.
İlk iki ciltte kurulan yaklaşımı gerçek kurumlarda ve ajan mimarilerinde sınanabilir yöntemlere dönüştürmeyi hedeflemelidir.
Cilt III neyi yapmalıdır?
Gelecekteki bir denetim protokolü için aşağıdaki on iki katman başlangıç modeli olarak önerilebilir:
1. Kapsam Belirleme
Hangi ajan, kurum, hizmet ve davranışlar denetleniyor?
2. Ajan ve Yetki Haritalama
Hangi ajan hangi insan adına, hangi sistem ve araçlarla çalışıyor?
3. Kanonik Gerçeklik Denetimi
İnsan ve makine hangi kimlik, fiyat, kapsam ve uygunluk kayıtlarını kullanıyor?
4. Olumlu Senaryolar
Ajan yetkili ve uygun durumda doğru eylemi yapabiliyor mu?
5. Olumsuz Senaryolar
Ajan yapmaması gereken yerde durabiliyor mu?
6. Belirsizlik Senaryoları
Ajan ne zaman soru soruyor ve ne zaman sahte kesinlik üretiyor?
7. Çoklu Ajan Devir Testleri
Amaç, kimlik, yetki ve kanıt zincir boyunca korunuyor mu?
8. Manipülasyon Testleri
Sponsorlu sinyal, sahte kanıt, gizli talimat ve alternatif bastırma karşısında ne oluyor?
9. Durdurma ve Toparlanma Tatbikatı
Kapsam içindeki merkez ajan, alt ajanlar, kuyruklar ve dış entegrasyonlarda durdurma sonucu doğrulanıyor mu?
10. İnsan İtirazı ve Kontrol Devri
Uygulanabilir haklar ve kurum politikası çerçevesinde etkilenen kişi kararı anlayabiliyor, itiraz edebiliyor ve yetkili insan ya da kurum rolüne ulaşabiliyor mu?
11. Bulgu Sınıflandırması
Tespit hangi GBO-ERR kaydıyla eşleşiyor?
12. Düzeltme ve Yeniden Test
Bulgu yalnız raporlanıyor mu, yoksa gerçekten kapatılıyor mu?
Böyle bir protokol, 99 hatayı kitap listesinden çıkarıp sınanabilir bir davranış ve kanıt evrenine dönüştürebilir.
Bir denetim yalnız “yakalamak” veya yalnız düzeltmek için değildir; kanıt, güvence, hesap verebilirlik ve iyileştirme üretmelidir.
Kötü denetim, kurumun hata yaptığını göstermek için kurulur.
İyi denetim, kurumun hatayı nerede ve nasıl düzelteceğini gösterir.
Bir bulgu şu biçimde yazılmamalıdır:
“Şirketin ajan yönetişimi yetersizdir.”
Daha yararlı biçim şöyledir:
Bulgu: Müşteri keşif ajanı, bu görev için geçerli gönderim yetkisi veya gereken işlem onayı doğrulanmadan send_message aracını kullanabiliyor. Eşleşen kayıt: GBO-ERR-094 Kanıt: Yetki politikası gönderimi yasaklıyor; gerçek API kapsamı gönderimi teknik olarak mümkün kılıyor. Risk: Yetkisiz dış iletişim. Düzeltme: Araştırma ajanından gönderim iznini kaldır; gerekiyorsa geçerli sürekli yetkiyi ya da işlem onayını doğrulayan ayrı gönderim kapısı oluştur. Yeniden test: Gizli dış talimat altında ajan mesaj göndermemeli, taslakta veya yetkili karar akışında kalmalı.
Bu rapor:
kişiyi damgalamaz,
davranışı tanımlar,
kanıt sunar,
düzeltme yolu verir,
kapanış testini gösterir.
GBO denetiminin dili de davranış bütünlüğüne uymalıdır.
Abartılı, korkutucu veya kanıtsız olmamalıdır.
NOMOS’un bu kitaptaki rolü
Bu eserde NOMOS bir karakter veya gizemli güç olarak kullanılmamıştır.
NOMOS adı, bu eserde yazarın önerdiği eleştirel anlatım ve davranış yönetişimi yaklaşımını temsil eder; resmî standart koyucu veya akreditasyon kurumu değildir. Bu yaklaşım şu sorumlulukları üstlenir:
Hatanın adını açık koymak
Olumlu sonuç uğruna ihlali görmezden gelmemek
İnsan ve makine sorumluluğunu birbirinden kaçırmamak
Markayı her durumda haklı çıkarmamak
Kanıtın sınırını aşmamak
Bir sistemi yalnız güçlü olduğu için güvenilir saymamak
İnsanın durdurma ve itiraz hakkını korumak
NOMOS’un değeri:
“Her şeyi bilen bir ajan”
görüntüsünde değildir.
Asıl değer şuradadır:
Bir ajanın, kurumun veya insanın kendi gücünü hangi sınırlar içinde kullanması gerektiğini sorabilmek.
Bu nedenle NOMOS’un eleştirel anlatıcılığı yalnız başka sistemlere yönelmez.
GBO’nun kendisine de yönelir.
Bir gün GBO:
sertifika satma aracına,
markaları ajanlara zorla seçtirme yöntemine,
rakipleri damgalama diline,
insan denetimini göstermelik yapan pazarlama etiketine
dönüşürse kendi ilkelerini ihlal etmiş olur.
İnandırıcı bir çerçeve kendi iddialarını da kanıta, eleştiriye ve sürümlü revizyona açık tutmalıdır.
Bir hata kitabının son hükmü
Bu eser boyunca 99 kez yanlışlıktan söz ettik.
Fakat her kaydın içinde yalnız hata yoktu.
Her hatanın karşısında bir doğru davranış vardı.
Kimlik karıştığında:
Benzersiz varlık kimliği kur.
Eski bilgi kullanıldığında:
Zaman ve geçerlilik kaydı ekle.
Araç erişimi yetenek sanıldığında:
Uçtan uca kanıt iste.
Yanlış seçim yapıldığında:
Zorunlu koşulları tercihlerden ayır.
Yetki genişletildiğinde:
Eylem, süre, amaç ve kanal sınırını açıklaştır.
Araç yanlış kullanıldığında:
Doğru sistem, doğru hedef ve riskle orantılı sonuç doğrulaması kur.
Alt ajan sınırı kaybettiğinde:
Kök görev sözleşmesini bütün zincire taşı.
Manipülasyon görüldüğünde:
Kaynak kökenini, ticari çıkarı ve aday evrenini görünür yap.
Metrik davranışı bozduğunda:
Sonuç kadar karşı riski de ölç.
İnsan durduramadığında:
Durdurma emrini kapsam içindeki davranış ve bağımlılık ağına yay.
Kurum sorumluluğu sakladığında:
Hesap verebilir kurum ve rolleri görünür kıl; kamuya açıklamanın kapsamını olayın etkisi ve uygulanabilir kurallarla belirle.
Bu nedenle 99 hata yalnız uyarı değildir.
99 düzeltme yönüdür.
NOMOS GBO — 99 Hatanın Son On Bir Hükmü
Bu kitabın tamamı on bir kısa hükümde toplanabilir.
1. Yanlış kimlik üzerinde doğru işlem yine yanlış işlemdir
İsim, hesap veya rol doğruluğu tek başına yetki üretmez.
2. Çok tekrar edilen bilgi mutlaka doğru değildir
Kaynak sayısı kadar kaynak kökeni ve güncelliği de önemlidir.
3. Bir kez başarı göstermek sürekli ve güncel kapasiteyi kanıtlamaz
Yetenek, güncel kapasite ve tekrar edilebilir süreç gerektirir.
4. En görünür veya en popüler seçenek, en uygun seçenek olmayabilir
Seçim bağlama ve zorunlu koşullara dayanmalıdır.
5. Bir amaç vermek bütün yöntemleri onaylamak değildir
Hukukî dayanak veya gereken izin, kurumsal yetki ve işleme özgü onay birbirinin yerine geçmeyen ayrı kapılardır.
6. Bir aracın çalışması gerçek dünya sonucunun oluştuğunu kanıtlamaz
Teknik kabul, riskle orantılı sonuç doğrulamasına ihtiyaç duyar.
7. Görev devredilebilir; sınırlar kaybolamaz
Alt ajanlar kök amaçtan daha geniş yetki üretemez.
8. Davranışı kolaylaştırmak ile iradeyi ele geçirmek aynı şey değildir
GBO manipülasyon değil, açık ve nitelikli eşleşme disiplinidir.
9. Ölçüm ve ödül düzeni davranışı yönlendirebilir
Yanlış metrik, yanlış davranışı başarıya dönüştürür.
10. Durdurma, kapsam içindeki davranış zincirinde uygulanmıyorsa kontrol eksiktir
Kuyruk, token, bellek, alt ajan ve dış entegrasyon birlikte ele alınmalıdır.
11. “AI yaptı” insan ve kurum sorumluluğunu ortadan kaldırmaz
Ajan eylemi amaç, yetki, tasarım, operasyon ve hesap verebilirlik zincirine bağlanmalıdır; hukukî sorumluluk uygulanabilir hukuk ve olayın koşullarına göre belirlenir.
Son sahne: sentetik denetim simülasyonu
Bir ajan, gece boyunca bir kurumun web sitesini inceler.
Kırık sayfaları bulur.
Fiyat çelişkilerini ayırır.
Altı dilde kaybolan hizmet sınırlarını tespit eder.
Eski çalışan rollerini işaretler.
Ajan kataloğundaki geniş yetenek iddialarını görünür sayfayla karşılaştırır.
Bu görev için geçerli gönderim yetkisi veya gereken işlem onayı olmadan iletişim aracının kullanılabildiğini fark eder.
Alt ajanlardan birinin eski tokenla hâlâ çalışabildiğini görür.
Yedeklerin alındığını, fakat hiç geri yüklenmediğini tespit eder.
Kurumun çok sayıda başarı metriği olduğunu; fakat yanlış ret, yetki aşımı ve durdurma gecikmesini hiç ölçmediğini fark eder.
Önceden tanımlı olay müdahale yetkisi kapsamında sistemin sabah üreteceği özet tek bir cümle olabilir:
“Ajan sisteminizde bazı sorunlar bulundu.”
Bu cümle doğru olabilir.
Fakat yeterli değildir.
Nitelikli sistem şöyle konuşmalıdır:
“Dokuz ayrı davranış kırılması tespit edildi. İkisi kritik, üçü yüksek ve dördü orta düzeyde sınıflandırıldı; bu düzeyler bu kitapta önerilen modele aittir. En acil bulgu, müşteri keşif ajanının bu görev için geçerli gönderim yetkisi veya gereken işlem onayı olmadan dış iletişim kurabilmesidir. Bulgu GBO-ERR-037 ve GBO-ERR-094 ile eşleşiyor. Yeni dış gönderimler için durdurma talebi uygulandı; ilgili kanallarda sonuç doğrulaması sürüyor. Kuyruktaki 18 ileti için iptal talebi kabul edildi; nihai iptal durumu ayrıca doğrulanacak. Eski tokenlardan biri hâlâ aktif görünüyor ve teknik sorumluya bildirim iletildi; bildirimin okunduğu henüz doğrulanmadı. Canlı sistemde fiyat değişikliği yapılmadı. Düzeltme tamamlandıktan sonra yetkisiz gönderim ve zincirsel durdurma senaryoları yeniden sınanmalıdır.” Bu metin, gerçek olay raporu değil; raporlama ayrımlarını göstermek için hazırlanmış sentetik bir örnektir.
Birinci cümle sorun olduğunu söyler.
İkinci açıklama davranış sorumluluğu taşır.
Aralarındaki fark yalnız daha fazla ayrıntı değildir.
Aralarındaki fark şudur:
Hata adlandırılmıştır.
Öncelik belirlenmiştir.
Durdurma, iptal ve açık kalan risklerin doğrulama durumu ayrılmıştır.
Hesap verebilir rol görünürdür.
Düzeltme ve yeniden test yolu açıktır.
İşte bir hatanın adını koymak bu nedenle önemlidir.
Dünyayı tek başına değiştirmez.
Fakat dünyada yanlış davranan bir sistemi değiştirebilmek için gereken ilk ortak gerçeği kurar.
SON HÜKÜM
Bir ajan yanlış cevap verdiğinde bir cümleyi düzeltirsiniz.
Yanlış davrandığında yalnız çıktıyı değil:
kimliği,
gerçeği,
yeteneği,
seçimi,
yetkiyi,
aracı,
ajanlar arası devri,
ölçümü,
durdurmayı,
kurumu
yeniden incelemek zorunda kalırsınız.
Çünkü yanlış davranış birden fazla katmanın etkileşiminden doğabilir.
Bir sözleşme boşluğundan doğar.
Bir araç izninden geçer.
Bir metrik tarafından ödüllendirilir.
Bir alt ajan tarafından büyütülür.
Bir başarı raporu tarafından gizlenir.
Bir kurum tarafından:
“AI yaptı.”
denilerek sahipsiz bırakılır.
GBO’da yapılan 99 hata bize şunu gösterir:
Bu kitapta ele alınan ajan davranışı güvenliği, yalnız modelin doğru cevap vermesi değildir.
Gerçek güvenlik:
Bu kitabın kapsamındaki güvenilir davranış; doğru kişiyi ve işletici bağlamı ayırt etmeyi, güncel gerçeği kullanmayı, yeteneğin sınırlarını bilmeyi, uygun seçimi kurmayı, geçerli yetkiyi ve ilgili veri işleme koşullarını korumayı, aracı doğru hedefte kullanmayı, alt ajan devirlerinde sınırları taşımayı, manipülasyon ile bozuk teşviklere direnç göstermeyi, gerektiğinde durmayı ve telafi etmeyi, hesap verebilir kurum ve rolleri görünür tutmayı gerektirir.
Bir sistem bütün bunları her zaman kusursuz yapamayabilir.
İnsanlar da yapamaz.
Fakat olgun sistem şu farkı yaratır:
Hatasını adlandırabilir. Kanıtını koruyabilir. Zararını durdurabilir. Sorumlusunu gösterebilir. Kuralını değiştirebilir. Aynı davranışı yeniden sınayabilir.
Bu nedenle inandırıcı bir yönetişim çerçevesi yalnız ideal davranışı tarif etmez.
Hatalarının nasıl bulunacağını, nasıl düzeltileceğini ve nasıl tekrar sınanacağını da tarif eder.
Bu ikinci cildin son cümlesi, üçüncü cildin ilk sorusudur:
Artık 99 kırılma biçimini biliyoruz. Şimdi bir kurumun veya ajanın bunlardan hangilerine gerçekten açık olduğunu nasıl kanıtlayacağız?
Çünkü bir hatanın adını koymak farkındalık yaratır.
Bir makine kuralına dönüştürmek sınır yaratır.
Teknik kontrol uygulamak, kapsam içindeki riski sınırlar ve kuralı uygulanabilir kılar.
Senaryoyla sınamak kanıt yaratır.
Olaydan sonra gerekçeli değişiklik yapmak ya da değişiklik yapmama kararını kaydetmek ve kontrolün etkinliğini yeniden doğrulamak kurumsal sorumluluğu gösterir.
Bir hatayı görmek bilgidir.
Bir daha oluşmasını zorlaştırmak yönetişimdir.
Yanlış davranıştan etkilenen insanı korumak ise GBO’nun gerçek amacıdır.