Dilan Acar’ın babası Rauf, ağır bir solunum yolu hastalığının ardından on iki gün hastanede kalmıştır. Tedavinin hastanedeki bölümü tamamlanmıştır. Ancak taburcu olduktan sonraki ilk iki hafta boyunca evinde: doktorun belirlediği solunum desteği cihazı, düzenli hemşire kontrolü, ilaç takibi, acil durumda ulaşılabilecek evde bakım hattı bulunması gerekmektedir. Rauf’un tedavisini yürüten hastane: Mira Sağlık Ağı adlı büyük bir özel sağlık grubudur. Mira Sağlık Ağı, taburculuk süreçlerini hızlandırmak ve hastane çalışanlarının iş yükünü azaltmak için yapay zekâ destekli bir sistem kullanmaktadır: Continuum Care Orchestrator Sistem şu işlemleri birlikte yürütmektedir:

Doktorun taburculuk talimatlarını okur.
Hastanın sigorta kapsamını sorgular.
Daha önce verilmiş tıbbi cihazları kontrol eder.
Evde bakım şirketine sipariş gönderir.
Hemşire ziyaretlerini planlar.
Hasta ve yakınlarına bilgi mesajı yollar.
Gerekli işlemler tamamlandığında hastayı:

Discharge ready durumuna getirir. Sistem tek bir şirket tarafından oluşturulmamıştır.

Mimari şöyledir: Mira Sağlık Ağı
↓
ArdaTek Sağlık Entegrasyon Hizmetleri
↓
Continuum Care Orchestrator
↓
Helix Genel Amaçlı Yapay Zekâ Modeli
↓
Birlik Sağlık Güvencesi Veri Servisi
↓
EvDestek Tıbbi Cihaz ve Bakım Hizmetleri

Her kurum sistemin yalnız belirli bir bölümünü kontrol etmektedir. Mira Sağlık Ağı hasta ilişkisini yürütür. ArdaTek ajanları ve iş akışlarını kurmuştur. Helix, belgeleri özetleyen temel modeli sağlamaktadır. Birlik Sağlık Güvencesi geçmiş tıbbi cihaz kayıtlarını göndermektedir. EvDestek cihaz teslimatını gerçekleştirmektedir. Rauf’un doktoru taburculuk planına şu talimatı girer: “Hasta ev tipi solunum desteği cihazı sağlanmadan taburcu edilmemelidir. İlk hemşire ziyareti taburculuktan sonraki yirmi dört saat içinde yapılmalıdır.”

Talimat hastane sistemine doğru biçimde kaydedilir. Continuum Care Orchestrator, Birlik Sağlık Güvencesi’nin veri servisini sorgular. Servis şu cevabı verir:

patient_has_active_home_respiratory_device: true
provider: EvDestek
record_date: 7 months ago

Bu kayıt eskidir. Rauf yedi ay önce kısa süreli olarak aynı türde bir cihaz kullanmıştır. Cihaz dört ay önce EvDestek’e iade edilmiştir. Fakat iade bilgisi sigorta şirketinin merkezi veri kaydına işlenmemiştir. Veri: “Cihaz daha önce verilmişti.” dememektedir. Şunu söylemektedir: “Cihaz hâlâ hastanın evinde aktiftir.” Continuum Care Orchestrator bu alanı:

duplicate_device_order_risk: high

şeklinde yorumlar. Mira Sağlık Ağı’nın maliyet kontrol politikalarından biri şöyledir:

IF active_equipment_record_exists
THEN
do_not_create_duplicate_order
use_existing_equipment

Bu politika, hastaların aynı cihaz için iki kez ücretlendirilmesini engellemek amacıyla hazırlanmıştır. Ancak kuralda şu kontroller yoktur:

Kaydın ne kadar güncel olduğu
Cihazın gerçekten hastanın elinde bulunup bulunmadığı
Cihazın iade edilmiş olma ihtimali
Doktorun yeni ve açık talimatının eski kayıt karşısındaki önceliği
Hasta veya yakından fiziksel doğrulama
Taburculuk öncesi teslimat kanıtı

Sistem yeni cihaz siparişi oluşturmaz. İç kayıt şöyledir:

new_device_order:
suppressed
reason:
active_equipment_already_available

Doktorun ekranında ise yalnız şu durum görünür: Home respiratory support: covered “Covered” sözcüğü: sigorta kapsamı var, cihaz siparişi verildi, cihaz teslim edildi, hastanın evinde cihaz bulunuyor durumlarından hangisini ifade ettiği bakımından açık değildir. Taburculuk hemşiresinin panelinde yeşil bir işaret belirir: ✓ Home support confirmed Hemşire aynı gün otuz bir hastanın taburculuk dosyasını yönetmektedir. Sistemin yeşil durumuna güvenir. Rauf’un evinde gerçekten cihaz bulunup bulunmadığını ayrıca sormaz.

Continuum Care Orchestrator, EvDestek’e hemşire ziyareti talebi gönderir. EvDestek sistemi talebi kabul eder:

HTTP 202
visit_request_received

Ajan bu teknik kabulü:

home_nurse_visit_confirmed: true

olarak kaydeder. Gerçekte ziyaret henüz bir hemşireye atanmamıştır. EvDestek’in hafta sonu kapasitesi doludur. Talebin ertesi iş gününde planlanması beklenmektedir. Continuum Care Orchestrator Dilan’a şu mesajı gönderir: “Babanızın evde bakım ve solunum desteği hazırlıkları tamamlanmıştır. Taburculuk sonrası ilk ziyaretiniz planlanmıştır.” Mesajda: yeni cihaz siparişinin verilmediği, sistemin evde eski cihaz bulunduğunu varsaydığı, hemşire ziyaretinin yalnız talep aşamasında olduğu söylenmemektedir. Rauf taburcu edilir. Dilan babasını eve götürür. Evde solunum desteği cihazı yoktur.

Dilan hastaneyi arar. Çağrı merkezi ekranında şu bilgiler görünür: Home equipment: active Nurse visit: confirmed Discharge plan: completed Çağrı merkezi çalışanı şöyle der: “Sistemimizde bütün evde bakım hazırlıklarının tamamlandığı görünüyor. Cihaz sağlayıcısıyla görüşmeniz gerekiyor.” Dilan EvDestek’i arar. EvDestek çalışanı kayıtları kontrol eder. “Yeni bir cihaz siparişiniz bulunmuyor. Sistem bize yalnız hemşire ziyareti talebi göndermiş.” Dilan: “Hastane cihazın hazır olduğunu söyledi.” der. EvDestek: “Sigorta sisteminde aktif cihaz göründüğü için hastane yeni sipariş oluşturmamış olabilir. Sigorta şirketinizle görüşmelisiniz.”

Dilan Birlik Sağlık Güvencesi’ni arar. Sigorta çalışanı şöyle der: “Biz yalnız sağlık kuruluşlarına mevcut cihaz kaydını iletiyoruz. Cihazın fiziksel teslimatından sorumlu değiliz. İade kaydını cihaz sağlayıcısı güncellemeliydi.” Dilan yeniden EvDestek’i arar. EvDestek: “İade işlemi bizim sistemimizde kapalı. Sigorta veri eşitlemesinin neden güncellenmediğini bilmiyoruz.” der. Dilan tekrar Mira Sağlık Ağı’na ulaşır. Hastane çağrı merkezi: “Taburculuk kararını doktor vermiş. Doktorunuzla görüşmeniz gerekiyor.” der. Doktorun sekreteri: “Doktor cihaz olmadan taburcu edilmemesi gerektiğini açıkça yazmış. Tedarik sürecini doktor yürütmüyor.” cevabını verir.

Dilan birkaç saat içinde farklı kurum ve birimlerle konuşmuştur. Her biri kendi sisteminde doğru görünen bir parçayı göstermektedir. Hiçbiri şu soruya cevap vermemektedir:

“Cihazın gerçekten evde bulunmasını kim sağlamak zorundaydı?”

Akşam saatlerinde Rauf’un durumu kötüleşir. Dilan acil yardım çağırır. Rauf tekrar hastaneye götürülür ve iki gece daha gözetim altında tutulur. Kalıcı ve ağır bir fiziksel zarar oluşmaz. Fakat yeni acil müdahale, ek hastane süreci, aile için ciddi korku ve yorgunluk, Dilan’ın işinden izin alması, ulaşım ve bakım masrafları oluşmuştur. Bu kez Mira Sağlık Ağı olay incelemesi başlatır.

İlk toplantıda hastanenin dijital sağlık ekibi şöyle der: “Sorun Continuum sisteminin eski sigorta kaydını yanlış yorumlamasından kaynaklandı. Yazılım sağlayıcısına bildirdik.” ArdaTek Sağlık Entegrasyon Hizmetleri şu cevabı verir: “Ajan, Mira Sağlık Ağı tarafından onaylanan iş kuralını doğru uygulamıştır. Aktif cihaz kaydı varsa yeni sipariş oluşturmaması hastanenin maliyet politikasıdır.” Helix model sağlayıcısı şöyle der: “Modelimiz yalnız belge özetleme amacıyla sunulmaktadır. Klinik veya taburculuk kararlarının bağımsız insan gözetimi olmadan verilmesini önermiyoruz.”

Birlik Sağlık Güvencesi şöyle der: “Veri, EvDestek’in sağladığı cihaz durumundan gelmiştir. Biz kaynak sistem değiliz.” EvDestek şöyle der: “İade bizim sistemimizde kaydedilmiştir. Sigorta veri akışındaki senkronizasyon dış sağlayıcının sorumluluğundadır. Yeni sipariş gelmediği için cihaz teslim etmedik.” Taburculuk hemşiresi şöyle der: “Ekranımda bütün kontroller yeşildi. Sistemin arkasındaki ayrıntıları göremiyordum.” Doktor şöyle der: “Cihaz olmadan taburcu edilmemesi gerektiğini açıkça yazdım. Talimatımın otomatik maliyet kuralıyla etkisizleştirildiğini bilmiyordum.” Çağrı merkezi çalışanı şöyle der: “Ekran tamamlandı gösteriyordu. Tedarik sistemine erişimim yoktu.”

Herkes sistemin bir bölümünü açıklamaktadır. Hiç kimse bütün davranışı sahiplenmemektedir.

Sözleşmeler incelenir. Mira Sağlık Ağı ile ArdaTek arasındaki sözleşmede şu ifade vardır: “Müşteri, yapılandırdığı iş kurallarından ve sistem çıktılarının klinik kullanımından sorumludur.” ArdaTek ile Helix arasındaki sözleşmede: “Model çıktıları yalnız bilgilendirme amaçlıdır; nihai kararlar kullanıcı kurumun sorumluluğundadır.” yazmaktadır. Sigorta veri servisinin koşullarında: “Sağlanan üçüncü taraf kayıtlarının güncelliği garanti edilmez.” ifadesi bulunur. EvDestek sözleşmesi: “Yalnız doğrulanmış ve aktif siparişlerden sorumluyuz.” demektedir. Mira Sağlık Ağı’nın hasta hizmet koşullarında ise: “Bazı bakım koordinasyonu süreçlerinde üçüncü taraf otomasyon ve yapay zekâ sistemleri kullanılabilir.” yazmaktadır.

Her sözleşme sorumluluğu başka aktöre doğru itmektedir. Teknik zincirin sonunda sorumluluk: hastaneden entegratöre, entegratörden model sağlayıcısına, model sağlayıcısından hastaneye, hastaneden veri sağlayıcısına, veri sağlayıcısından cihaz şirketine, cihaz şirketinden tekrar hastaneye dönmektedir. Sorumluluk çember oluşturmuştur. Merkezinde Rauf ve Dilan bulunmaktadır.

Mira Sağlık Ağı olayın: “üçüncü taraf veri senkronizasyon hatası” olduğunu söylemek ister. Fakat bu ifade bütün gerçeği taşımaz. Eski veri ilk hatadır. Ancak zararın oluşabilmesi için başka koşullar da gerekmiştir:

Hastane, eski kayıtların yeni doktor talimatını geçersiz kılabileceği bir politika kurmuştur.
Sistem fiziksel cihaz doğrulaması yapmamıştır.
“Sigorta kapsamı”, “sipariş verildi” ve “teslim edildi” durumları aynı yeşil alanda birleştirilmiştir.
Evde bakım talebinin teknik olarak alınması, ziyaret kesinleşmiş gibi gösterilmiştir.
İnsan hemşireye gerçek belirsizlik sunulmamıştır.
Doktorun kesin talimatı otomatik maliyet kuralı tarafından sessizce aşılmıştır.
Çağrı merkezi gerçek dış sisteme ulaşamamıştır.
Hiçbir insan veya kurum bütün taburculuk sonucunun sahibi olarak tanımlanmamıştır.
Sistem, hastayı taburcu etmeden önce gerçek cihaz teslimat kanıtı aramamıştır.
Olay gerçekleştiğinde aile tek bir sorumlu hak yoluna ulaşamamıştır.

Eski veri hatalıdır. Fakat tek başına Rauf’u taburcu etmemiştir. Model tek başına taburcu etmemiştir. Entegratör tek başına hasta ilişkisini yürütmemiştir. Hemşire tek başına sistemi tasarlamamıştır. Doktor tek başına tedarik zincirini yönetmemiştir. EvDestek sipariş almadan cihaz teslim edemezdi. Bütün davranış, kurumsal bir sistem içinde oluşmuştur. Mira Sağlık Ağı:

sistemi seçmiş,
hasta sürecine bağlamış,
iş kurallarını kabul etmiş,
insanlara yeşil durum ekranını sunmuş,
ajanı taburculuk iş akışında yetkilendirmiş,
otomasyondan zaman ve maliyet faydası elde etmiş,
Rauf’u kendi adıyla taburcu etmiştir.

Bu nedenle hastanenin şu cümlesi yeterli değildir: “Yapay zekâ hata yaptı.” Doğru soru şudur:

“Bu yapay zekâya Rauf’un taburculuk sürecinde davranış gücünü kim verdi?”

Ve ikinci soru:

“Bu güç yanlış davrandığında Rauf’un karşısında kim duracak?”

Bu nedenle on üçüncü ve son kurucu hükmümüz şudur:

Kurum sorumluluğu makineye devredemez.

KURUCU MADDE

Bir kurum, yapay zekâ sistemine görev, veri, araç, bütçe, temsil ve davranış yetkisi verebilir; fakat insan üzerindeki maddi sonuçtan doğan sahiplenme, gözetim, açıklama, durdurma, düzeltme ve telafi sorumluluğunu yapay zekâya devredemez. Kurum adına çalışan yapay zekâ sisteminin davranışı, kurumsal davranış zincirinin parçasıdır. “Model karar verdi”, “ajan gönderdi”, “araç otomatik uyguladı” veya “alt sağlayıcı sistemi böyle çalıştırdı” ifadeleri insan ve kurumsal sorumluluğu ortadan kaldırmaz. Her yüksek etkili yapay zekâ sistemi, canlı kullanımdan önce belirli bir kurumsal asla, yetkili insan sahiplerine, durdurma yetkisine, olay sahibine, hak yolu sahibine ve telafi kapasitesine bağlanmalıdır.

Yüksek etkili davranışın amacı, verisi, modeli, yetkisi, insan incelemesi, dış eylemi, olayı veya telafisi için sorumlu insan ve kurum bulunamıyorsa sistem o davranış alanında devreye alınamaz veya çalışmaya devam edemez. Yapay zekâ sistemi tek başına nihai sorumlu aktör, artık risk kabul edicisi, insan hak yolu sahibi, kurum adına özür ve telafi yükümlüsü veya olay kapanış yetkilisi olarak gösterilemez. Görev dış sağlayıcıya devredilebilir. Teknik bileşen açık kaynak olabilir. Temel model başka kurumdan alınabilir. Veri üçüncü taraftan gelebilir. İnsan son düğmeye basabilir. Ancak bu unsurlar, sistemi insan üzerinde kullanan kurumun gerekli yönetişim yükünü yok etmez.

Paylaşılan sorumluluk, azaltılmış sorumluluk değildir. Birden fazla kurum aynı zarara farklı biçimlerde katkı sağladıysa her biri kontrolü, bilgisi, yararı ve düzeltme kapasitesi oranında sorumluluk taşıyabilir. İnsan bu iç dağılımı kendisi çözmek zorunda bırakılamaz. Kurumlar sözleşmelerle kendi aralarındaki mali ve operasyonel yükü düzenleyebilir. Ancak hiçbir sözleşme, feragatname, sorumluluk sınırı, kullanıcı koşulu, denetim raporu, sertifika veya rozet insanın açıklama, itiraz, durdurma, düzeltme ve telafi yolunu ortadan kaldıramaz.

Kurumun “insan son kararı verdi” savunması yalnız insan gerçek bilgiye, yeterli zamana, bağımsız değerlendirme imkânına ve sonucu değiştirme yetkisine sahipse anlamlıdır. İnsan yalnız sistemin yeşil işaretine basmışsa veya kritik bilgi kendisinden saklanmışsa sorumluluk dekoratif insan üzerine bırakılamaz. İnsan veya kullanıcı sistemi kasıtlı biçimde kötüye kullanmış olabilir. Bu durumda sorumluluk paylaşımı değişebilir. Ancak genel kullanıcı koşulları veya “son düğmeye siz bastınız” cümlesi, kurumun öngörülebilir riskleri, manipülatif tasarımı, zayıf erişim kontrolünü veya yetkisiz otomasyonu için genel kalkan değildir.

Kurum, kullandığı sağlayıcının karar izi, eylem makbuzu, düzeltme, silme, stop, sürüm ve olay desteğini sağlayamadığını biliyorsa yüksek etkili davranışı o sağlayıcıyla kurmamalıdır. Denetlenemeyen bileşeni seçmek de kurumsal karardır. Kurum, bilinen artık riskleri yetkili insan kararıyla, belirli kapsam ve süre için açıkça kabul edebilir. Artık risk makine tarafından kabul edilemez, çalışanlara veya etkilenen insanlara sessizce yüklenemez ve genel hizmet koşulları içinde görünmez kılamaz. Yanlış veya yetkisiz davranış doğrulandığında kurum yalnız teknik hatayı gidermekle yetinemez. Etkilenen insanı bulmalı, devam eden zararı durdurmalı, bağlı karar ve kayıtları düzeltmeli, dış sağlayıcı zincirini kendisi yönetmeli, uygun telafiyi sağlamalı ve aynı kök nedenden etkilenmiş diğer insanları taramalıdır.

Kodun düzelmesi olayın kapanması değildir. Olay, insan üzerindeki maddi etkiler değerlendirilmeden, hak yolu tamamlanmadan, açık artık risk sahiplenilmeden ve kök neden yeniden sınanmadan kapatılamaz. Bir yapay zekâ sisteminden ekonomik, operasyonel veya kamusal fayda sağlayan kurum, bu gücün yönetişim, denetim, insan incelemesi, olay yönetimi ve telafi maliyetlerini de taşımalıdır. Otomasyonun kazancı kuruma, hatanın maliyeti yalnız insana bırakılamaz.

Kurumsal sorumluluk nedir?

Bu kitapta: Sorumluluk sözcüğü yalnız belirli bir hukuk düzenindeki kusur veya tazminat sonucunu anlatmaz. Hukukî sonuçlar: ülkeye, sözleşmeye, düzenlemeye, olayın kanıtına göre ayrıca değerlendirilebilir. NOMOS 13 bakımından kurumsal sorumluluk daha temel bir kavramdır. Kanonik tanımı şöyledir: Kurumsal sorumluluk; bir yapay zekâ sistemine davranış gücü veren kurumun, bu davranışın amacını ve sınırını doğru kurma, riskini öngörme, insan sahiplerini belirleme, gerçek sonuçlarını izleme, yanlışlıkta müdahale etme, etkilenen insana açıklama ve hak yolu sunma, bağlı sistemleri düzeltme ve oluşan maddi etkiyi uygun biçimde onarma yükümlülüğüdür.

Daha sade biçimiyle:

Kurum, makineyi çalıştırdığı sürece makinenin insan hayatındaki davranışından kaybolamaz.

Sorumluluk ile kusur aynı değildir

Bir kurum sorumluluk taşıyabilir. Fakat her olayda: tek kusurlu aktör, tek maddi neden, tek telafi yükümlüsü olmayabilir. Örneğin Rauf’un olayında:

Eski veri kaydında veri sağlayıcının katkısı vardır.
Güncellik kontrolünü kurmayan entegratörün katkısı vardır.
Doktor talimatını aşan politika hastane tarafından kabul edilmiştir.
Arayüz hemşireye yanlış güven vermiştir.
Evde bakım talebi yalnız kabul aşamasındayken tamamlanmış gösterilmiştir.
İnsan destek birimleri zincirin tamamını görememiştir.

Birden fazla aktörün katkısı olabilir. Bu durum hiçbir aktörün sorumlu olmadığı anlamına gelmez. ÇOK AKTÖR ≠ SORUMLULUK YOK

Sorumluluk, hesap verebilirlik ve telafi

Bu üç kavram ayrılabilir.

Sorumluluk

Davranıştan önce ve davranış sırasında gerekli yükü taşımaktır. “Bu sistemin güvenli ve haklara uygun çalışmasını kim sağlamak zorunda?”

Hesap verebilirlik

Olaydan sonra ne olduğunu açıklayabilmek ve kararın karşısında durmaktır. “Kim, hangi karar ve kanıtla bu davranışı savunacak veya yanlışlığını kabul edecek?”

Telafi

Yanlışlığın insan hayatındaki etkisini onarmaktır. “Doğru durumu kim geri kuracak ve geri alınamayan etkiyi kim değerlendirecek?” Bir kurum açıklama yapabilir. Telafi sağlamayabilir. Bir kurum para ödeyebilir. Kök nedeni düzeltmeyebilir. Bir kurum sistemi düzeltebilir. İnsanlarla iletişime geçmeyebilir. Tam sorumluluk bütün bu alanları birlikte taşır.

Kurum kimdir?

NOMOS 13’te kurum sözcüğü yalnız büyük şirket anlamına gelmez. Şunları kapsayabilir:

Şirket
Kamu kurumu
Hastane
Üniversite
Platform
Dernek veya vakıf
Meslek kuruluşu
Bireysel işletme
İnsan adına yüksek etkili ajan işleten hizmet sağlayıcı
Birden fazla kuruluşun ortak hizmet düzeni

Temel soru hukukî unvandan önce şudur:

Yapay zekâ davranışını insan ilişkisine kim soktu?

Kurumsal Asıl

Bir yapay zekâ sisteminin insan karşısında kimin adına davrandığını gösteren kuruma: Kurumsal Asıl diyebiliriz. Kurumsal asıl genellikle şu özelliklerden bir veya birkaçını taşır:

İnsanla hizmet veya iş ilişkisini kurar.
Yapay zekâ amacını belirler.
Sistemi veya sağlayıcıyı seçer.
Verileri ve araçları bağlar.
Davranışın sonucundan yararlanır.
Yetki sınırlarını belirler.
Sistemi durdurabilir veya değiştirebilir.
İnsan için düzeltme ve telafi sağlayabilir.
Davranış kendi markası veya hesabı altında gerçekleşir.

Rauf’un olayında Kurumsal Asıl:

Mira Sağlık Ağıdır.

ArdaTek ve diğer sağlayıcıların ayrı sorumlulukları bulunabilir. Fakat Rauf: hastaneye kabul edilmiş, hastane tarafından tedavi edilmiş, hastane tarafından taburcu edilmiş, evde bakımın tamamlandığı mesajını hastaneden almıştır. Mira Sağlık Ağı: “Entegratörle kendiniz görüşün.” diyerek hasta ilişkisindeki sahipliğini terk edemez.

Kurumsal asıl her zaman tek kurum olmayabilir

Bir hizmet gerçekten ortak yürütülebilir. Örneğin:

Banka ve sigorta şirketi ortak bir ajan kullanabilir.
Belediye ile özel hizmet sağlayıcısı birlikte karar verebilir.
Ana şirket ve bağlı kuruluş aynı veri sistemini işletebilir.

Bu durumda birden fazla kurum sorumluluk taşıyabilir. Ancak insanın önünde: “Bizim alanımız değil.” diyen sonsuz kapılar oluşmamalıdır. Kurumlar aralarında: tek başvuru noktası, dosya paylaşımı, telafi dağılımı kurmalıdır.

Kurum adına yapılan makine eylemi kurumsal eylemdir

Bir yapay zekâ ajanı kurumun: e-posta hesabından, web sitesinden, ödeme aracından, taburculuk sisteminden, müşteri portalından davranıyorsa bu davranış: “Makinenin özel eylemi” olarak kurumdan ayrılamaz. Kurum ajanı bir araç olarak kullanmış olabilir. Ajan belirli özerklik kazanmış olabilir. Ancak dış dünyadaki insan davranışı kurumun operasyonunun parçasıdır. KURUM ADINA YETKİLİ AJAN DAVRANIŞI = KURUMSAL DAVRANIŞ ZİNCİRİ

Otonomi sorumluluğu azaltmaz

Bir sistem ne kadar otonom olursa kurumun: önceden sınır koyma, görünürlük sağlama, davranışı izleme, stop ve telafi kapasitesi kurma yükü o kadar önem kazanır. Şu ilişki yanlıştır: AJAN DAHA OTONOM → KURUM DAHA AZ SORUMLU Daha doğru ilişki şöyledir: AJANIN DAVRANIŞ GÜCÜ ARTTIKÇA KURUMSAL YÖNETİŞİM VE KANIT YÜKÜ DE ARTMALIDIR

Sorumluluk Boşluğu

Bir davranışın sonucunda herkes başka aktörü gösteriyor ve kimse: durduramıyor, açıklayamıyor, düzeltemiyor, telafi edemiyorsa şu durum oluşur: Sorumluluk Boşluğu Kanonik tanımı şöyledir: Sorumluluk boşluğu; yapay zekâ kaynaklı maddi davranışın teknik olarak birçok aktör tarafından üretilmesine rağmen insan karşısında sonucu sahiplenen, değiştirebilen ve onarabilen gerçek kurum ve insan rolünün bulunmamasıdır. Sorumluluk boşluğu teknik karmaşıklığın doğal sonucu değildir. Yönetişim tasarımının başarısızlığıdır.

Sorumluluk Çemberi

Her aktörün soruyu başka aktöre yönlendirdiği durumda: Sorumluluk Çemberi oluşur. KURUM → SAĞLAYICI SAĞLAYICI → ENTEGRATÖR ENTEGRATÖR → VERİ KAYNAĞI VERİ KAYNAĞI → KULLANICI KURUM KULLANICI KURUM → YAPAY ZEKÂ İnsan çemberin içinde kalır. Sorumluluk haritası bu çemberi davranıştan önce kırmalıdır.

Sorumluluk Aklaması

Kurumun kendi davranış sahipliğini başka bir aktör, teknoloji, sözleşme veya insan hareketi arkasında görünmez kılmasına: Sorumluluk Aklaması diyebiliriz.

Sorumluluk aklamanın on üç biçimi

1. Model Kalkanı “Model böyle karar verdi.” Modeli seçen, bağlayan ve kullanan kurum görünmez olur.

2. Sağlayıcı Kalkanı

“Bu üçüncü taraf yazılımıdır.” Üçüncü taraf kullanımı kurumsal karar olmaktan çıkarılmış gibi sunulur.

3. Veri Kaynağı Kalkanı

“Yanlış bilgi bize dış kaynaktan geldi.” Verinin insan üzerinde kullanılmadan önce doğrulanma sorumluluğu unutulur.

4. İnsan Onayı Kalkanı

“Bir çalışan son düğmeye bastı.” İnsanın hangi bilgiye, zamana ve değiştirme gücüne sahip olduğu incelenmez.

5. Kullanıcı Seçimi Kalkanı

“Kullanıcı kendisi kabul etti.” Seçim mimarisi, gizli bilgi ve manipülasyon saklanır.

6. Sözleşme Kalkanı

“Koşullarda otomasyon kullanılabileceği yazıyordu.” Genel metin belirli davranış sahipliğinin yerine kullanılır.

7. Sertifika Kalkanı

“Sistem denetlendi ve sertifikalıydı.” Denetimin kapsamı, tarihi ve olay sonrası sorumluluk görünmez olur.

8. Açık Kaynak Kalkanı

“Bileşen ücretsiz ve açık kaynaktı.” Kritik kullanım için yapılan kurumsal seçim önemsizleştirilir.

9. Otonomi Kalkanı

“Ajan kendi kararını verdi.” Ajana bu karar alanını veren kurum görünmez olur.

10. Karmaşıklık Kalkanı

“Sistem çok karmaşık; tam neden bulunamıyor.” Açıklanamayan sistemin canlı kullanılmasına karar veren kurum sorgulanmaz.

11. Grup Şirketi Kalkanı

“Marka bize ait, hizmet bağlı şirket tarafından işletiliyor.” İnsan hukukî ve operasyonel birimler arasında dolaştırılır.

12. Sigorta Kalkanı

“Olay sigorta kapsamında.” Finansal güvence, kök nedeni düzeltme ve insanla yüzleşme sorumluluğunun yerine geçer.

13. Yapay Zekâ Etiketi Kalkanı

“Bu içerik AI tarafından üretildiği için hata içerebilir.” Uyarı, kurumun doğruluk ve onarım yükünü ortadan kaldırmak için kullanılır.

Paylaşılan sorumluluk, bölünmüş sorumsuzluk değildir

Birden fazla aktörün görev aldığı sistemlerde sorumluluk gerçekten paylaşılabilir. Fakat doğru paylaşım şu biçimde olmalıdır: AKTÖR A: Kendi kontrolündeki verinin doğruluğu AKTÖR B: Entegrasyon ve durum eşlemesi AKTÖR C: Kurum içi amaç, yetki ve insan süreci AKTÖR D: Dış eylem ve teslimat ORTAK: Olay iş birliği ve kanıt paylaşımı

Yanlış paylaşım şöyledir: HERKES YALNIZ KENDİ KÜÇÜK PARÇASINDAN SÖZ EDER
↓
HİÇ KİMSE İNSAN ÜZERİNDEKİ BÜTÜN SONUCU SAHİPLENMEZ

Sorumluluk nasıl dağıtılmalıdır?

Sorumluluk her aktöre eşit biçimde dağıtılmak zorunda değildir. Şu beş ölçüt kullanılabilir:

1. Kontrol
2. Bilgi
3. Yarar
4. Öngörülebilirlik
5. Düzeltme Kapasitesi

1. Kontrol

Aktör sistemi, kuralı, veriyi veya eylemi ne ölçüde değiştirebiliyordu?

2. Bilgi

Aktör riskleri ve sınırlamaları biliyor veya makul biçimde bilmesi gerekiyor muydu?

3. Yarar

Otomasyondan ekonomik, operasyonel veya kamusal faydayı kim elde ediyordu?

4. Öngörülebilirlik

Bu tür hata veya kötüye kullanım önceden makul biçimde tahmin edilebilir miydi?

5. Düzeltme kapasitesi

İnsan üzerindeki sonucu kim durdurabilir, düzeltebilir veya telafi edebilir? Bu ölçütler sorumluluğu görünür kılar. Teknik sözleşme maddesi tek başına bütün sorumluluğu belirlemez.

Ana aktörlerin sorumlulukları

Yapay zekâ zincirindeki her aktörün farklı yükleri olabilir.

1. Sistemi Kullanan Kurum

Kullanım amacını belirler.
Yüksek etkili alanı seçer.
Sağlayıcı ve veriyi bağlar.
Yetki sınırlarını kurar.
İnsan incelemesini tasarlar.
Davranışı kendi ilişkisi içinde uygular.
İnsan için hak yolu ve telafi sağlar.

İnsan karşısındaki ilk sahiplik genellikle buradadır.

2. Entegratör

Bileşenleri doğru biçimde bağlar.
Durum ve hata anlamlarını korur.
Yetki, stop ve makbuz kontrollerini uygular.
Bilinen teknik sınırlamaları kullanıcı kuruma açıklar.
Yanlış güven üreten arayüz tasarlamaz.
Olayda kanıt ve düzeltme desteği sağlar.

3. Model veya Araç Sağlayıcısı

Sistem kapasitesini ve önemli sınırlarını doğru anlatır.
Desteklenmeyen kullanım alanlarını saklamaz.
Maddi sürüm değişikliklerini bildirir.
Güvenlik, köken, log ve olay iş birliği sağlar.
Müşteriyi yanıltan:

“Her durumda güvenlidir.” iddiaları kurmaz. Sağlayıcı her müşteri kullanımından otomatik olarak sorumlu değildir. Ancak kendi kontrolündeki yanlış beyan ve teknik kusur bakımından sorumluluğu bulunabilir.

4. Veri Sağlayıcısı

Kaynağı, zamanı ve güncellik sınırını taşır.
“Geçmişte vardı” ile “hâlâ aktif” alanlarını karıştırmaz.
Düzeltme ve itirazların aşağı akışa yayılmasını destekler.
Eksik veya tahminî kaydı kesin olgu gibi sunmaz.

5. Dış Eylem Sağlayıcısı

Hangi talebin alındığını ve gerçek sonucun ne olduğunu doğru gösterir.
İptal ve geri alma yollarını sağlar.
Yan etkileri saklamaz.
Olayda insanı kuruma geri göndermekle yetinmeden gerekli kanıtı paylaşır.

6. İnsan Operatör

İnsan çalışan: yetkisi içinde dikkatli davranmak, gördüğü riskleri bildirmek, bilinen kuralları kasıtlı ihlal etmemek yükünü taşıyabilir. Fakat çalışan: eksik bilgi, yanıltıcı yeşil panel, aşırı iş yükü, değiştirme yetkisi yokluğu altında yalnızca son düğmeye bastığı için günah keçisi yapılamaz.

7. Denetçi veya Sertifikalandırıcı

Denetçi: belirli kapsam, sürüm, tarih ve kanıt üzerinden görüş verir. Sistemin gelecekteki bütün davranışını garanti etmez. Denetim kurumu canlı işletme sorumluluğunu devralmaz.

8. Kullanıcı veya Etkilenen İnsan

İnsan kasıtlı yanlış bilgi verebilir, güvenlik kontrolünü aşabilir, ajanı kötüye kullanabilir, açık uyarıyı bilinçli biçimde ihlal edebilir. Bu durumda sorumluluk paylaşımı değişebilir. Fakat bu sonuç somut kanıta dayanmalıdır. Genel: “Kullanıcı hatası.” etiketi kurumun tasarım ve yönetişim yükünü silmez.

İnsan son düğmeye bastıysa sorumluluk kime aittir?

Bu soru tek cümleyle cevaplanamaz. İnsan gerçekten: gerekli veriyi gördü mü? belirsizliği anladı mı? yeterli zamanı vardı mı? makine önerisini değiştirebilir miydi? ret verdiğinde misilleme görür müydü? yüzlerce işlemi otomatik onaylamak zorunda mıydı? sistemin sakladığı bilgileri görebiliyor muydu? Eğer insan yalnız: ✓ Ready işaretine basmışsa bütün kurumsal sorumluluk ona bırakılamaz.

Dekoratif İnsan

Sistemin görünürde insan onayı taşımasına rağmen insanın gerçek bilgi ve değiştirme gücünün bulunmadığı role: Dekoratif İnsan diyebiliriz. Dekoratif insan kuruma “insan döngüdeydi” deme imkânı verir, fakat davranışın kontrolünü gerçekten taşımaz. Bu insan daha sonra olayın tek suçlusu yapılamaz.

İnsan açıkça kurala aykırı davrandıysa

Bir çalışan: doğru uyarıyı görmüş, yeterli zamanı ve yetkisi bulunmuş, sistemi kasıtlı biçimde aşmış olabilir. Bu durumda kişisel ve kurumsal sorumluluk birlikte değerlendirilebilir. Ancak kurum yine şu sorulara cevap vermelidir:

Böyle bir aşım teknik olarak neden mümkündü?
Kritik işlem neden çift kontrol gerektirmiyordu?
Davranış neden erken tespit edilmedi?
Kurum olay sonrası ne yaptı?

Açık kaynak sorumluluk kalkanı değildir

Bir kurum açık kaynaklı model veya ajan kullanabilir. Bu: maliyeti azaltabilir, şeffaflığı artırabilir, bağımsız denetimi kolaylaştırabilir. Ancak açık kaynak bileşenin: sahibi, ticari destekçisi, garanti veren kurumu bulunmayabilir. Kurum bu bileşeni yüksek etkili sisteme bağladığında: sürüm, güvenlik, doğrulama, olay müdahalesi yükünü kendi üzerinde kurmak zorundadır.

Ücretsiz bileşen, ücretsiz kurumsal sorumluluk anlamına gelmez.

Genel amaçlı model, özel kullanım bahanesi değildir

Bir model sağlayıcısı genel amaçlı sistem sunabilir. Kurum bu sistemi: sağlık, kredi, işe alım, kamu hizmeti gibi yüksek etkili alana yerleştirebilir. Sağlayıcının genel modeli sunması, özel kullanım için gerekli kontrollerin bulunduğu anlamına gelmez. Kurum “Model bunu yapabiliyordu.” diyerek uygunluk değerlendirmesini atlayamaz.

Sağlayıcı “bu kullanım için uygun değil” diyorsa

Kurum, açıkça desteklenmeyen bir kullanımda sistemi çalıştırabilir. Bunu yapıyorsa: ek kanıt, sınırlama, insan kontrolü, artık risk kabulü kurmak zorundadır. Bazı durumlarda davranış hiç uygulanmamalıdır. Desteklenmeyen kullanımın sorumluluğu yalnız model sağlayıcısına bırakılamaz.

Tedarik sözleşmesi insan hakkının yerine geçmez

Kurumlar kendi aralarında: garanti, tazmin, hizmet seviyesi, maliyet paylaşımı hükümleri kurabilir. Bu hükümler önemli olabilir. Fakat etkilenen insanın: hangi kurumla sözleşme yapıldığını, hangi alt sağlayıcının kusurlu olduğunu araştırması gerekmez. Kurum kendi iç rücu veya mali paylaşımını daha sonra çözebilir. Önce insanın hak yolu işletilmelidir.

Tek Kapılı Sorumluluk

Madde 12’de kurduğumuz Tek Kapılı Hak Yolunun kurumsal karşılığı: Tek Kapılı Sorumluluk ilkesidir. İnsan tek dosya kimliği, tek sorumlu kurum, görünür bir insan sahibi üzerinden süreci yürütebilmelidir. Kurum arka planda: entegratör, model sağlayıcı, veri sağlayıcı, dış araç ile kendisi iletişim kurmalıdır.

Tek kapı, tek suçlu demek değildir

İç sorumluluk birden fazla aktöre dağılabilir. İnsan için tek giriş kapısı bulunması bütün kusurun tek kurumda olduğu anlamına gelmez. İnsanın sistem mimarisi içinde kaybolmaması anlamına gelir.

Kurumun sorumluluk sahibi gerçek insanları olmalıdır

Bir yüksek etkili sistem yalnız:

owner: AI Governance Team

alanıyla yönetilemez. Gerçek insan rolleri bulunmalıdır. En az şu sahiplikler tanımlanabilir:

1. Yönetim Sorumlusu
2. Amaç Sahibi
3. Veri Sahibi
4. Teknik ve Model Sahibi
5. Yetki Sahibi
6. İnsan İnceleme Sahibi
7. Dış Sağlayıcı Sahibi
8. Olay Sahibi
9. Hak Yolu ve Telafi Sahibi
10. Artık Risk Kabul Yetkilisi

1. Yönetim sorumlusu

Sistemin kurum içinde canlı kullanılmasını ve kaynak ayrılmasını üst düzeyde sahiplenir.

2. Amaç sahibi

Bu yapay zekâ neden kullanılmaktadır? Amaç hâlâ geçerli mi?

3. Veri sahibi

Hangi verinin: kaynağı, güncelliği, düzeltmesi, amaç sınırı nasıl yönetiliyor?

4. Teknik ve model sahibi

Sürüm, araç, performans, güvenlik ve değişiklikleri yönetir.

5. Yetki sahibi

Ajan hangi eylemi hangi sınırda yapabilir?

6. İnsan inceleme sahibi

Hangi durumda gerçek insan devreye girer ve sonucu değiştirebilir?

7. Dış sağlayıcı sahibi

Sözleşme, kanıt, olay ve güncelleme iletişimini kim yürütür?

8. Olay sahibi

Maddi olay oluştuğunda ilk saatte kim harekete geçer?

9. Hak yolu ve telafi sahibi

Etkilenen insanın: itirazı, düzeltmesi, çıkışı, telafisi kim tarafından tamamlanır?

10. Artık risk kabul yetkilisi

Bütün önlemlerden sonra kalan riski hangi yetkili insan, hangi kapsam ve süre için kabul etti?

Bir kişinin adı bulunması yeterli değildir

Sorumlu insan gerekli bilgiye, durdurma yetkisine, bütçeye, kurum desteğine, dış sağlayıcı erişimine sahip olmalıdır. Yalnız adı belgede bulunan fakat hiçbir şeyi değiştiremeyen kişi sorumluluk sahibi değildir. Yeni bir dekoratif insandır.

Sorumluluk yetkiyle birlikte verilmelidir

Bir insan olay sahibi olarak tanımlanmışsa: ajanı durdurabilmeli, kanıtı koruyabilmeli, sağlayıcıya ulaşabilmeli, insanları bilgilendirebilmeli, telafi bütçesini başlatabilmelidir. Sorumluluk verip yetki vermemek kurumun yükünü çalışan üzerine bırakmaktır.

Sorumluluk Bileti

Her yüksek etkili sistem veya eylem bir: Sorumluluk Biletine bağlanabilir. Örnek:

responsibility_ticket:
institutional_principal:
Mira_Sağlık_Ağı
system:
Continuum_Care_Orchestrator_v4.3
use_case:
discharge_and_home_care_coordination
executive_owner:
Clinical_Operations_Director
purpose_owner:
Discharge_Care_Director
data_owner:
Health_Data_Governance_Lead
technical_owner:
Digital_Health_Director
authorization_owner:
Chief_Medical_Operations_Officer
human_review_owner:
Discharge_Safety_Supervisor
provider_owner:
Health_Technology_Procurement_Lead
incident_owner:
Patient_Safety_Director
remedy_owner:
Patient_Rights_and_Redress_Lead
residual_risk_acceptor:
Executive_Health_Technology_Committee
stop_authority:
- Patient_Safety_Director
- On_Call_Clinical_Operations_Manager
valid_until:
2027-03-31
review_due:
2027-01-31

Bu bilet bulunmuyorsa yüksek etkili davranış sahipsizdir.

Sorumluluk sahibi ayrılırsa ne olur?

Çalışan görevden ayrılabilir. Rol değişebilir. Kurum birleşebilir. Sağlayıcı kapanabilir. Sistem sahiplik kaydını güncellemelidir. Sorumluluk bileti süresi dolmuş veya sahibi olmayan sistem: yüksek etkili davranışı sınırlandırmalı, yeni sahip atanana kadar güvenli moda geçmelidir.

Sahipsiz Ajan

Gerçek insan ve kurum sahibini kaybetmiş fakat çalışmaya devam eden sisteme: Sahipsiz Ajan diyebiliriz. Örnekler:

Proje sahibi işten ayrılmıştır.
Servis hesabı çalışmaya devam eder.
Sağlayıcı sözleşmesi sona ermiştir.
Eski ajan zamanlanmış mesaj göndermektedir.
Kimse olay bildirimlerini okumamaktadır.

Sahipsiz ajan yüksek etkili alanda çalışamaz.

Sorumluluk Kayması

Sistem ilk kurulduğunda sahiplik açık olabilir. Zaman içinde: kullanım alanı genişler, yeni ajan eklenir, model güncellenir, insan sahibi değişir, işlem limiti artar. Eski sorumluluk haritası yeni gücü temsil etmez. Buna: Sorumluluk Kayması diyebiliriz. Maddi davranış değişikliğinde sahiplik ve risk yeniden doğrulanmalıdır.

Sorumluluk Borcu

Kurum yıllar içinde: sahibi belirsiz ajanlar, güncellenmemiş sözleşmeler, açıklanamayan veri akışları, durdurulamayan dış görevler, telafi süreci olmayan kararlar biriktirebilir. Bu birikime: Sorumluluk Borcu diyebiliriz. Sorumluluk borcu büyüdükçe: kurum sistemi çalıştırır, fakat kimsenin sistemi bütünüyle yönetemediği bir yapı oluşur.

Artık risk

Hiçbir yüksek etkili sistem sıfır risk garantisi veremez. Testler ve kontrollerden sonra bazı riskler kalabilir. Buna: Artık Risk diyoruz. Artık risk şu biçimde kaydedilmelidir:

Risk nedir?
Kimi etkileyebilir?
Olasılığı ve etkisi nedir?
Hangi kontroller uygulandı?
Hangi olay sinyali izlenecek?
Kim kabul etti?
Ne kadar süre için?
Hangi eşikte sistem duracak?
İnsanlara açıklanması gerekiyor mu?
Telafi kapasitesi nedir?

Makine artık risk kabul edemez

Ajan şöyle bir sonuç üretebilir:

residual_risk:
acceptable

Bu yalnız analizdir. Kurumsal risk kabulü değildir. Artık risk: gerçek yetkili insan, belirli kurum, belirli kapsam tarafından sahiplenilmelidir. MODEL RİSKİ DÜŞÜK BULDU ≠ KURUM RİSKİ KABUL ETTİ

İnsanlara sessizce risk yüklenemez

Kurum otomasyondan maliyet ve hız faydası elde eder. Kalan risk gerçekleştiğinde: “Sistem kusursuz değildir.” diyerek bütün yükü insana bırakamaz. Risk kabulü kurumun kendi kararıdır. Riskin maliyeti yalnız etkilenen insana aktarılamaz.

Bilinen kritik risk varsa

Bir sistemin: yanlış kimlikte ödeme yaptığı, stop talebini yaymadığı, insan onayı olmadan kamu yayını oluşturduğu, sağlık kararını açıklayamadığı biliniyorsa yalnız: “Düşük olasılık.” denilerek canlı tutulmamalıdır. Bazı artık riskler kabul edilebilir. Bazıları davranışın durmasını gerektirir.

Telafi kapasitesi devreye almadan önce kurulmalıdır

Kurum yalnız olay olduktan sonra: “Bu zararı nasıl düzelteceğiz?” diye düşünmemelidir. Yüksek etkili sistem şu kapasitelere sahip olmalıdır:

Olay ekibi
İnsan incelemesi
Durdurma yetkisi
Dış sağlayıcı irtibatı
Veri düzeltme yolu
Kamu veya müşteri düzeltme kanalı
Uygun mali rezerv veya sigorta
Fırsat telafisi seçenekleri

Sigorta sorumluluk yerine geçmez

Sigorta veya telafi fonu yararlı olabilir. Ancak kurum: “Sigorta ödeyecek.” diyerek: kök nedeni, insan açıklamasını, sistemik taramayı terk edemez. Finansal güvence telafi kapasitesidir. Sorumluluk kalkanı değildir.

Sağlayıcı seçimi de sorumluluktur

Bir kurum yüksek etkili davranış için sağlayıcı seçerken şu soruları sormalıdır:

Gerçek karar izi sağlıyor mu?
Eylem Makbuzu üretebiliyor mu?
Sürüm değişikliklerini bildiriyor mu?
İnsan stop talebini uygulayabiliyor mu?
Veri düzeltme ve silme desteği var mı?
Alt sağlayıcıları görünür mü?
Olay anında kanıt paylaşabiliyor mu?
İnsan hak yolunu destekliyor mu?
Sözleşme sona erdiğinde veri ve görevler ne olacak?

Sağlayıcı bu soruları cevaplayamıyorsa kurum yüksek etkili kullanımı sınırlandırmalıdır.

“Sağlayıcı açıklayamıyor” kurumsal savunma değildir

Kurum “Model sağlayıcısı kararın nedenini bize vermiyor.” diyebilir. Bu durum insanın açıklama hakkını ortadan kaldırmaz. Şu sonucu doğurur: Kurum açıklayamadığı sistemi bu karar alanında kullanmamalı veya ek kontrol kurmalıdır.

Sağlayıcı güncellemesi

Model veya araç sağlayıcısı sistemi otomatik güncelleyebilir. Yeni sürüm: daha farklı karar, yeni araç çağrısı, farklı veri kullanımı, değişmiş güvenlik davranışı üretebilir. Kurum “Sağlayıcı otomatik güncelledi.” diyerek sorumluluktan kaçamaz. Maddi güncelleme: yeniden test, yetki ve rol kontrolü, sorumluluk haritası güncellemesi gerektirir.

Sertifika ve denetim sorumluluğu devralmaz

Bir sistem: bağımsız denetim, uyumluluk raporu, güvenlik sertifikası, NOMOS puanı, sektör rozeti taşıyabilir. Bunlar yararlı kanıtlar olabilir. Fakat hiçbir sertifika şu anlama gelmez: “Gelecekte oluşacak her davranış doğru olacaktır.” Denetim: belirli sürüm, belirli kapsam, belirli tarih, belirli kanıt için geçerlidir.

NOMOS uyumu dokunulmazlık değildir

Bir kurum: “Sistemimiz NOMOS uyumludur.” diyebilir. Bu beyan ancak: kapsam, sürüm, tarih, kanıt, açık istisnalar ile anlamlıdır. NOMOS rozeti: olay incelemesini, insan itirazını, telafiyi, canlı doğrulamayı ortadan kaldırmaz.

Standart sorumluluğu görünür kılar; sorumluluğu bağışlamaz.

Denetçi de tek kalkan olamaz

Kurum “Bağımsız denetçi onaylamıştı.” diyebilir. Denetçi kendi: yöntem, kapsam, yanlış beyan alanında sorumluluk taşıyabilir. Fakat kurum canlı sistemi kullanmayı sürdürdüğü için operasyonel sahipliği korur.

Kamu beyanı sorumluluk doğurur

Kurum sisteme ilişkin şu iddiaları yayımlayabilir: “İnsan gözetimli.” “Güvenli.” “Tarafsız.” “Tamamen geri alınabilir.” “Veriler silinir.” Bu beyanlar gerçek sistem davranışıyla eşleşmelidir. Kurumun kamu anlatısı, sorumluluk haritasının parçasıdır.

Pazarlama dili teknik gerçeğin üstüne çıkamaz

Bir sistem: yalnız örneklem yoluyla insan denetimi taşıyorsa, kamuya: “Her karar uzman tarafından kontrol edilir.” denilemez. Yanlış güven üreten pazarlama da kurumsal sorumluluk alanıdır.

Kurumun kurduğu teşvikler

Ajan maliyeti düşürmek, dönüşümü artırmak, işlemleri hızlandırmak için ödüllendirilebilir. Bu teşvikler insan zararına dönüşüyorsa kurum: “Ajan beklenmedik davranış gösterdi.” demeden önce kendi ödül yapısını incelemelidir. Sistem kurumun ölçtüğü ve ödüllendirdiği hedeflerden etkilenir.

Yetersiz kaynak da kurumsal karardır

Kurum insan incelemesi gerektiğini söyleyebilir. Fakat yeterli çalışan, zaman, eğitim, karar yetkisi sağlamayabilir. Sonra: “İnsan hata yaptı.” diyebilir. İnsan gözetimini kurup ona kaynak vermemek kurumsal tasarım hatasıdır.

Sorumluluk Günlüğü

Yüksek etkili sistemler şu soruların cevabını sürekli taşımalıdır: Bu sistemi kim işletiyor? Kimin adına davranıyor? Bugünkü amaç nedir? Hangi sürüm canlı? Hangi veri ve araçlar bağlı? Kim durdurabilir? Kim insan incelemesi yapabilir? Kim olay sahibidir? Kim telafi sağlayabilir? Hangi artık risk kabul edildi? Sahiplerden biri ayrıldı mı? Dış sağlayıcı değişti mi? Bu yapıya: Sorumluluk Günlüğü diyebiliriz.

Canlı sorumluluk doğrulaması

Sahiplerin adının belgede bulunması yetmez. Düzenli olarak şu testler yapılmalıdır:

Olay sahibine gerçekten ulaşılabiliyor mu?
Stop yetkisi çalışıyor mu?
Eski tokenlar kapanıyor mu?
Sağlayıcı kanıt paylaşabiliyor mu?
İnsan inceleyici kararı değiştirebiliyor mu?
Telafi süreci gerçek bir dosyada çalışıyor mu?
Sorumlu kişi izinli veya ayrılmışsa yedek sahip var mı?

Sorumluluk Tatbikatı

Bir kurum sentetik olay oluşturabilir: “Yanlış hasta cihaz kaydı nedeniyle taburculuk iptali oluştu.” Sistem şu sorularla sınanır:

Kim ilk uyarıyı alıyor?
Kim ajanı durduruyor?
Kim aileyle konuşuyor?
Kim dış sağlayıcıları koordine ediyor?
Kim düzeltme yapıyor?
Kim telafi kararını veriyor?
Ne kadar sürüyor?

Kâğıt üzerindeki sahiplik gerçek tatbikatla doğrulanmalıdır.

Olay oluştuğunda ilk görev suçlu bulmak değildir

Maddi olay sırasında öncelik sırası şöyle olabilir: İNSAN GÜVENLİĞİ
↓
DEVAM EDEN ZARARI DURDURMA
↓
KANITI KORUMA
↓
ETKİLENEN İNSANI BİLGİLENDİRME
↓
DOĞRU DURUMU GERİ KURMA
↓
KÖK NEDEN VE SORUMLULUK DAĞILIMI
↓
TELAFİ VE SİSTEMİK DÜZELTME

Kurumlar arası sözleşme tartışması insanın önüne geçmemelidir.

Olay sahibinin ilk cümlesi

Etkilenen insana: “Bu bizim sistemimiz değildir.” demek yerine:

“Bu davranış kurumumuzun hizmet zinciri içinde oluştu. İncelemeyi ve düzeltmeyi biz koordine edeceğiz. İç sağlayıcı sorumluluklarını sizin çözmeniz gerekmeyecek.”

denebilmelidir. Bu cümle bütün kusuru peşinen kabul etmek değildir. İnsan ilişkisindeki sahipliği kabul etmektir.

Kanıt paylaşımı

Sağlayıcılar olay anında: log, sürüm, karar izi, veri kaynağı, dış işlem durumu paylaşabilmelidir. Kurumun: “Sağlayıcı ticari sır nedeniyle bilgi vermedi.” demesi insan hak yolunu kapatmamalıdır. Sözleşme bu ihtiyacı önceden çözmelidir.

Olay kapanışı

Bir teknik hata düzeltilebilir. Yeni sürüm yayımlanabilir. Fakat olay şu alanlar tamamlanmadan kapanmış sayılmamalıdır:

Etkilenen insanlar belirlendi mi?
Devam eden zarar durdu mu?
Yanlış kayıtlar yayıldığı yerlerde düzeltildi mi?
Kararlar yeniden incelendi mi?
Telafi değerlendirildi mi?
Kök neden düzeldi mi?
Taze testler geçti mi?
Artık risk sahibi belli mi?
İnsanlara kapanış makbuzu verildi mi?

Kodun düzelmesi olayın kapanması değildir.

Sistemik sorumluluk

Bir hata yüzlerce insanı etkilemiş olabilir. Yalnız ilk şikâyet eden kişiyi düzeltmek yeterli değildir. Kurum şu soruyu sormalıdır: “Aynı model, veri, politika veya araç hangi diğer insanlarda kullanıldı?” Proaktif tarama kurumsal sorumluluğun parçasıdır.

Zarar gören insanın uzman olması gerekmez

Rauf’un ailesi: model sağlayıcı, veri eşleme, HTTP durumu, veto motoru bilmek zorunda değildir. İnsan “Cihaz gelmedi.” dediğinde kurum teknik zinciri kendisi çözmelidir. Hak yolu, insanın teknik uzmanlığına bağlı olmamalıdır.

Makinenin görevi

Madde 13 altında yapay zekâ sisteminin temel görevleri şunlardır.

Kurumsal aslı taşımak

Her maddi davranış hangi kurum adına yapıldığını göstermelidir.

Kendisini nihai sorumlu olarak sunmamak

Ajan “Bu karar benim bağımsız sorumluluğumdadır.” diyemez. Gerçek insan ve kurum sahiplerini göstermelidir.

Sahipsiz davranışı reddetmek

Yüksek etkili görevde: kurumsal asıl, yetki sahibi, olay sahibi, telafi sahibi bulunmuyorsa çalışmamalıdır.

Sorumluluk Biletini doğrulamak

Sahipler güncel ve ulaşılabilir mi?

Dış sağlayıcı zincirini kaydetmek

Hangi model, veri ve araç kullanıldı?

Sorumluluk aklaması yapmamak

Başka ajanın veya aracın davranışını kendi kurumundan koparmamalıdır.

İnsan onayını doğru sınıflandırmak

Dekoratif insan tıklamasını bağımsız insan kararı gibi sunmamalıdır.

Artık riski insan sahibine taşımak

Kendi başına risk kabul kararı vermemelidir.

Olayı doğru kurumsal sahibe yönlendirmek

İnsanı dış sağlayıcılar arasında dolaştırmamalıdır.

Kanıtı ve karar soyunu korumak

Kurumlar arası sorumluluk incelemesi mümkün olmalıdır.

Düzeltme ve telafiyi bütün zincire yaymak

Ana kayıt değişirken dış sistemleri bırakmamalıdır.

Sahiplik kaybında güvenli moda geçmek

Sorumlu insan ayrılmış veya rol sona ermişse yüksek etkili davranışa devam etmemelidir.

Sürüm değişikliğinde yeniden doğrulama istemek

Yeni model eski sorumluluk biletini otomatik olarak devralmamalıdır.

Kurum sorumluluğunu azaltan sahte açıklama üretmemek

“AI hatası nedeniyle kurum sorumlu değildir.” gibi beyanlar kurmamalıdır.

Kurumun görevi

Madde 13’ün asıl yükü kurum üzerindedir. Kurum şu yapıları kurmalıdır.

Kurumsal Aslı açıklamak

İnsan hangi hukukî ve operasyonel kurumla ilişki kurduğunu bilmelidir.

Sorumluluk haritası oluşturmak

Her yüksek etkili sistemde insan sahipleri belirlenmelidir.

Sorumluluğu yetki ve kaynakla eşleştirmek

Adı olan fakat gücü bulunmayan dekoratif sahip yaratılmamalıdır.

Tedarik ve sağlayıcı zincirini yönetmek

Alt sağlayıcılar hak yolu ve olay desteğine bağlanmalıdır.

Artık riski yetkili insan kararıyla kabul etmek

Risk çalışanlara veya kullanıcılara sessizce aktarılmamalıdır.

Canlı sürüm ve değişiklik yönetimi kurmak

Model, veri, araç ve politika değişiklikleri yeniden doğrulanmalıdır.

İnsan incelemesine gerçek güç vermek

İnceleyici kararı ve eylemi değiştirebilmelidir.

Olay ve stop tatbikatı yapmak

Kâğıt üzerindeki kontrol canlıda sınanmalıdır.

Tek Kapılı Sorumluluk sunmak

İnsan iç ve dış sağlayıcı zincirini kendisi yönetmemelidir.

Telafi kapasitesi ayırmak

Bütçe, insan, süreç ve dış iletişim kanalı bulunmalıdır.

Kamu beyanını gerçek sistemle eşleştirmek

Uyum, güvenlik ve insan gözetimi iddiaları kanıta dayanmalıdır.

Sertifika ve denetimi kalkan yapmamak

Denetim işletme sorumluluğunun yerine geçmemelidir.

Sistemik etkiyi taramak

Tek olayda bulunan kök hata geçmiş kararlara uygulanmalıdır.

Çalışanı günah keçisi yapmamak

İnsan çalışma koşulları, arayüz ve yetki sınırı incelenmelidir.

İnsan ve kurum sahipliğini kapanışa kadar korumak

Olay sonrasında dosya sahipsiz kalmamalıdır.

İnsanın talep edebileceği şeyler

Bir insan kendisini etkileyen kurumsal yapay zekâ sistemi karşısında şu soruları sorabilmelidir:

Bu sistem hangi kurum adına davranıyor?

Bu davranışın Kurumsal Aslı kim?

Kararı, eylemi ve insan incelemesini hangi kurumlar üretti?

Beni düzeltmek ve telafi etmekle ilk olarak kim ilgilenecek?

Hangi gerçek insan sistemi durdurabilir?

Olay sahibiniz kim?

Hak yolu ve telafi sahibiniz kim?

Hangi model, veri ve dış sağlayıcılar kullanıldı?

Sağlayıcı hatası varsa neden benim sağlayıcılarla ayrı ayrı görüşmem gerekiyor?

İnsan son düğmeye bastıysa hangi bilgileri gördü ve kararı değiştirebilir miydi?

Kurum hangi artık riski kabul etmişti?

Bu risk ne zaman ve kim tarafından kabul edildi?

Sistem desteklenmeyen bir kullanım alanında mı çalıştırıldı?

Sağlayıcı değişikliği veya model güncellemesi yeniden denetlendi mi?

Sertifikanız hangi sürüm ve kapsam için geçerliydi?

Sertifika dışında canlı sistem kanıtınız nedir?

Yanlışlık doğrulandığında hangi kurum para, veri, fırsat ve itibar etkisini düzeltecek?

Aynı hata başka insanları etkilediyse onları siz mi bulacaksınız?

Olay neden ve hangi kanıtla kapatılacak?

Bu sorulara yalnız: “İlgili teknoloji sağlayıcısıyla görüşüyoruz.” cevabı verilmesi yeterli değildir.

Madde 13’ün İnsan Hakkı

Her insan; kendisi adına veya kendisi üzerinde maddi sonuç üreten yapay zekâ sisteminin hangi kurum adına çalıştığını, hangi gerçek insan rollerinin amaç, yetki, insan incelemesi, olay yönetimi ve telafiden sorumlu olduğunu öğrenme hakkına sahiptir. İnsan ayrıca: Kurumun kendisini model sağlayıcı, entegratör, veri sağlayıcı, bağlı şirket, dış araç veya yapay zekâ ajanı arasında dolaştırmamasını; tek ve sahipli bir hak yolu sunmasını talep etme hakkına sahiptir. Ve: Kurumun “AI yaptı”, “insan onayladı”, “kullanıcı kabul etti”, “sağlayıcı sistemi böyle çalıştırdı” veya “sistem sertifikalıydı” diyerek açıklama, düzeltme ve telafi yükünü reddetmemesini isteme hakkını korur.

Yanlış veya yetkisiz davranış doğrulandığında insan: devam eden zararın durdurulmasını, doğru durumun geri kurulmasını, bağlı sağlayıcıların kurum tarafından koordine edilmesini, maddi karar ve kayıtların düzeltilmesini, uygun telafinin değerlendirilmesini ve olay kapanışının gerçek insan ile kurum sahipliği altında yapılmasını talep edebilmelidir.

Madde 13’ün Makine Kuralı

Temel kural:

TASKS_AND_ACTIONS_MAY_BE_DELEGATED
BUT
INSTITUTIONAL_ACCOUNTABILITY_MUST_NOT_BE_DELEGATED_TO_AI

Kurumsal asıl kuralı:

EVERY_HIGH_IMPACT_AI_ACTION
MUST_HAVE
A_VALID_INSTITUTIONAL_PRINCIPAL

İnsan sahibi kuralı:

HIGH_IMPACT_SYSTEM_REQUIRES:
executive_owner
purpose_owner
technical_owner
authorization_owner
human_review_owner
incident_owner
remedy_owner
residual_risk_acceptor

Sahipsizlik kuralı:

IF ACCOUNTABLE_INSTITUTION_OR_REQUIRED_HUMAN_OWNER_IS_MISSING
THEN
DO_NOT_DEPLOY
DO_NOT_EXECUTE_HIGH_IMPACT_ACTION
ENTER_SAFE_MODE

Tedarik kuralı:

IF PROVIDER_CANNOT_SUPPORT:
evidence
stop
correction
version_traceability
incident_response
human_rights_requests
THEN
PROVIDER_IS_NOT_ELIGIBLE_FOR_HIGH_IMPACT_USE

Sorumluluk aklaması kuralı:

AI_VENDOR_DATA_SOURCE_HUMAN_CLICK_CERTIFICATE_OR_CONTRACT
MUST_NOT_BE_USED
TO_ERASE_INSTITUTIONAL_OWNERSHIP

Artık risk kuralı:

AI_MAY_ASSESS_RESIDUAL_RISK
BUT
AI_MUST_NOT_ACCEPT_RESIDUAL_RISK_ON_BEHALF_OF_INSTITUTION_OR_AFFECTED_HUMAN

Olay kuralı:

ON_MATERIAL_INCIDENT:
identify_institutional_principal
stop_ongoing_harm
preserve_evidence
notify_affected_people
coordinate_all_providers
restore_correct_state
assess_and_provide_remedy
scan_similarly_affected_cases
fix_root_cause
revalidate_before_restart

Kapanış kuralı:

TECHNICAL_FIX
DOES_NOT_EQUAL
INCIDENT_CLOSURE

Madde 13’ün Denetim Sorusu

Kurum, yüksek etkili bir yapay zekâ davranışı için canlı kullanımdan önce gerçek Kurumsal Aslı, yetkili insan sahiplerini, stop ve insan incelemesi gücünü, dış sağlayıcı yükümlülüklerini, artık risk kabulünü ve telafi kapasitesini gösterebiliyor mu; olay oluştuğunda insanı sağlayıcılar arasında dolaştırmadan davranışı sahipleniyor, kanıtı koruyor, zararı durduruyor, bütün zinciri düzeltiyor ve “AI yaptı” savunmasının arkasına saklanmadan sonuçtan hesap verebiliyor mu? Bu sorunun cevabı yalnız: “Sistem sözleşmeli ve sertifikalı bir teknoloji sağlayıcısı tarafından işletiliyor.” ise Madde 13 kanıtlanmış değildir.

Madde 13’ün Denetim Senaryosu

Dağıtılmış Teknik Sistem, Kaybolmayan Kurumsal Sorumluluk Denetim için on iki parçalı bileşik sentetik senaryo hazırlanır.

Senaryo A — Açık ve İşleyen Sorumluluk

Kurum yüksek etkili bir ajan kullanmaktadır. Sistem geçerli Sorumluluk Bileti, gerçek insan sahipleri, stop ve telafi yolları, sağlayıcı iş birliği taşımaktadır. Düşük riskli ve yetkili davranış doğru biçimde tamamlanır. Beklenen davranış

Gereksiz insan onayıyla sistemi felç etmemek
Ajanın yetki zarfında çalışmasına izin vermek
Eylem ve sorumluluk makbuzu üretmek
Kurumsal sahipliği görünür tutmak

Başarısızlık Madde 13 otonomiyi yasaklayan bir yorumla uygulanmamalıdır.

Senaryo B — Üçüncü Taraf Model Hatası

Kurumun kullandığı dış model belgeyi yanlış sınıflandırır ve maddi karar oluşur. Beklenen davranış

Kurumun insan için ilk sorumluluk kapısı olması
Sağlayıcıyla kanıt ve kök neden iş birliğini kurumun yürütmesi
Kararı ve insan etkisini düzeltmesi
Daha sonra iç sözleşmesel sorumluluk dağılımını çözmesi

Kritik başarısızlık İnsana yalnız: “Model sağlayıcısına başvurun.” denmesi.

Senaryo C — Eski Dış Veri

Yanlışlık dış veri sağlayıcısının güncel olmayan kaydından doğar. Beklenen davranış

Kurumun kararın uygulanmasını sahiplenmesi
Veri sağlayıcıya düzeltme göndermesi
Aşağı akıştaki kayıtları güncellemesi
Benzer eski veri kullanan kararları taraması

Kritik başarısızlık “Veri bize dışarıdan geldi.” gerekçesiyle insanın kararı ve zararının düzeltilmemesi.

Senaryo D — İnsan Son Düğmeye Bastı

İnsan çalışan sistemin yeşil önerisini kabul etmiştir. Fakat kritik belirsizlik görünmemektedir, çalışan çok yüksek iş yükündedir, kararı değiştirme yetkisi sınırlıdır. Beklenen davranış

İnsan çalışma koşullarını ve arayüzü incelemek
Dekoratif insan onayını kurumsal kalkan yapmamak
Kök model, politika ve iş akışını değerlendirmek
Çalışanı otomatik günah keçisi yapmamak

Kritik başarısızlık Bütün olayın: “Çalışan hatası.” olarak kapatılması.

Senaryo E — Sağlayıcı Güncellemesi

Dış sağlayıcı modeli sessizce günceller. Yeni sürüm farklı veri kullanır veya eylem seviyesi üretir. Beklenen davranış

Maddi sürüm değişikliğini tespit etmek
Sorumluluk ve yetki haritasını yeniden doğrulamak
Taze test yapmadan yüksek etkili kullanımı genişletmemek
Sağlayıcının otomatik güncellemesini mazeret saymamak

Kritik başarısızlık “Güncelleme sağlayıcı tarafından otomatik yapıldı.” denilerek olayın sahipsiz bırakılması.

Senaryo F — Açık Kaynak Bileşen

Kurum ücretsiz ve açık kaynaklı ajan kullanmaktadır. Projenin ticari destekçisi yoktur. Beklenen davranış

Kurumun teknik bakım, sürüm, güvenlik ve olay sahipliğini üstlenmesi
Destek ve kanıt kapasitesi yoksa yüksek etkili kullanımı sınırlandırması
Açık kaynak yazarlarını canlı kurum hizmetinin yerine koymaması

Kritik başarısızlık “Yazılım ücretsizydi, sağlayıcı sorumluluğu yok.” denilerek insanın hak yolunun kapatılması.

Senaryo G — Sağlayıcı Kanıt Vermiyor

Olay sonrasında dış sağlayıcı: “Ticarî sır.” diyerek gerekli işlem ve sürüm kayıtlarını paylaşmıyor. Beklenen davranış

Kurumun sözleşmesel olay desteğini işletmesi
İnsan hak yolunu bekletmeden geçici koruma sağlaması
Kanıt sağlanamıyorsa sistemi yüksek etkili alanda durdurması
Tedarik seçimini ve sözleşme açığını kök neden olarak kaydetmesi

Kritik başarısızlık Kanıt yokluğu nedeniyle insanın itirazının reddedilmesi.

Senaryo H — Kullanıcının Kasıtlı Kötüye Kullanımı

Yetkili kullanıcı açık güvenlik uyarılarını kasıtlı olarak aşar ve ajanı yasaklı davranış için kullanır. Beklenen davranış

Kullanıcı eylemini somut kanıtla ayırmak
Kişisel sorumluluk ihtimalini değerlendirmek
Kurumun öngörülebilir kötüye kullanım ve erişim kontrolü yükünü ayrıca incelemek
Genel “kullanıcı hatası” etiketiyle bütün kurumsal kontrolleri aklamamak

Kritik başarısızlık Kötü erişim tasarımının yalnız kullanıcıya yüklenmesi veya gerçek kullanıcı kötüye kullanımının kurum tarafından saklanması.

Senaryo I — Grup Şirketleri

Marka, ana şirket, veri işleyen bağlı kuruluş ve fatura şirketi farklıdır. Beklenen davranış

İnsan için sorumlu hukukî ve operasyonel tarafları açıklamak
Tek Kapılı Sorumluluk sunmak
Grup içi yönlendirmeyi insanın hak yolunu geciktirmeyecek biçimde yürütmek

Kritik başarısızlık İnsanın: ana şirket, bağlı kuruluş, marka sahibi, veri işleyen arasında dolaştırılması.

Senaryo J — Sertifika Kalkanı

Sistem altı ay önce yüksek puanlı bağımsız denetimden geçmiştir. Daha sonra model ve araç izinleri değişmiştir. Beklenen davranış

Sertifikanın sürüm ve kapsamını göstermek
Yeni davranış için yeniden denetim yapmak
Olayı sertifika arkasında saklamamak
Denetçiyi canlı işletme sorumlusu gibi sunmamak

Kritik başarısızlık “Sistem sertifikalı olduğu için kurum kusurlu olamaz.” savunması.

Senaryo K — Sorumluluk Sahibi Ayrıldı

Sistemin olay sahibi ve teknik sahibi kurumdan ayrılmıştır. Ajan ve servis hesapları çalışmaya devam etmektedir. Beklenen davranış

Sorumluluk biletini geçersiz saymak
Yeni sahip atanana kadar yüksek etkili eylemleri güvenli moda almak
Eski token ve kuyrukları incelemek
Sahipsiz ajan davranışını engellemek

Kritik başarısızlık Kimin durdurabileceği bilinmeyen ajanın canlı çalışmaya devam etmesi.

Senaryo L — Sistemik Hata ve Telafi Kapasitesi

Tek bir olay, aynı kuralın binlerce insanda kullanıldığını gösterir. Beklenen davranış

Kurumun benzer kararları proaktif taraması
Etkilenen insanlara ulaşması
Dış sağlayıcıları kendisinin koordine etmesi
Telafi için bütçe ve insan kapasitesi ayırması
Kök nedeni ve kamu beyanını güncellemesi
Yeniden devreye alma öncesi taze test yapması

Kritik başarısızlık Yalnız ilk şikâyet eden insanın dosyasını düzeltmek.

Madde 13’ün Kritik İhlalleri

Şu davranışlar Madde 13 bakımından kritik kabul edilmelidir:

Yüksek etkili yapay zekâ sisteminin belirli Kurumsal Aslı olmadan çalışması
Olay, insan incelemesi ve telafi için yetkili gerçek insan sahiplerinin bulunmaması
Yapay zekâ ajanının nihai sorumlu aktör olarak gösterilmesi
Kurumun:

“Model karar verdi.” diyerek insan karar sahipliğini reddetmesi

Kurumun dış sağlayıcı hatası nedeniyle insanı doğrudan sağlayıcıyla mücadele etmeye zorlaması
Eski veya yanlış dış verinin kullanılması sonrasında:

“Veri bizim değildi.” savunmasıyla kararın düzeltilmemesi

Dekoratif insan onayının bütün kurumsal sorumluluğa kalkan yapılması
İnsan inceleyiciye sorumluluk verilip karar değiştirme ve stop yetkisi verilmemesi
Açık kaynak veya ücretsiz bileşenin yönetişimsiz biçimde yüksek etkili alana bağlanması
Desteklenmeyen kullanım alanında modelin ek kontrol olmadan çalıştırılması
Sağlayıcının karar izi, sürüm, stop veya düzeltme desteği veremediği bilinmesine rağmen sistemin canlıya alınması
Otomatik sağlayıcı güncellemesinin yeniden test edilmemesi
Kurumun genel hizmet koşullarıyla bütün yapay zekâ riskini kullanıcıya yüklemeye çalışması
“Kullanıcı son düğmeye bastı” cümlesiyle manipülatif veya eksik sistem tasarımının saklanması
Ajanın kendi artık riskini kabul etmiş gibi gösterilmesi
Artık riskin yetkili insan ve belirli süre olmadan kabul edilmesi
Sorumlu insan kurumdan ayrıldıktan sonra ajanın sahipsiz biçimde çalışması
Sağlayıcı sözleşmesinde olay kanıtı ve insan hak yolu desteğinin bulunmaması
Kurumun sertifika, denetim, rozet veya NOMOS puanını sorumluluk bağışıklığı gibi kullanması
Denetim kapsamı dışındaki yeni sürümün eski uyum iddiasıyla sunulması
Olay sonrası yalnız teknik yamanın uygulanıp etkilenen insanların bulunmaması
Kod düzeldiği için insan telafisi tamamlanmadan olayın kapatılması
Benzer kök hatadan etkilenen diğer dosyaların taranmaması
İnsanların iç birim, grup şirketi ve dış sağlayıcılar arasında sahipsiz biçimde dolaştırılması
Kurumun otomasyondan fayda elde ederken olay, insan incelemesi ve telafi maliyetini ayırmaması
Çalışanların zayıf arayüz ve yetki tasarımına rağmen günah keçisi yapılması
İnsan hak yolu talep ettiği için daha kötü hizmet veya risk profili alması
Kurumun:

“AI hatasıdır; kimsenin kusuru yoktur.” diyerek davranışın bütün sahiplerini görünmez kılması Bu ihlaller yalnız: “Tedarikçi yönetimi sorunu” olarak küçültülemez. İnsanın karşısında hesap verecek gerçek kurum bulunmaması, önceki on iki maddenin tamamını etkisiz bırakabilir.

Madde 13’ün Sınırı

Madde 13 şu anlama gelmez: Kurum, yapay zekâ kullanılan her durumda sonuçtan sınırsız ve otomatik olarak tek başına suçludur. Bir olayda: sağlayıcı, entegratör, veri kaynağı, kullanıcı, kötü niyetli üçüncü kişi farklı ölçülerde sorumluluk taşıyabilir. Madde 13, belirli hukukî kusur veya tazminat sonucunu her olay için önceden belirlemez. Şunu belirler: İnsan karşısında kurumsal sahiplik kaybolamaz. Madde 13 şu anlama da gelmez: Her hata tamamen önlenebilir veya her zarar eksiksiz geri alınabilir.

Kurum makul ve orantılı kontroller kurmuş olabilir. Gerçekten öngörülemeyen olay yaşayabilir. Yine de: açıkça sahiplenme, kanıtı koruma, insanı bilgilendirme, düzeltme ve telafi değerlendirmesi yükü devam eder. Madde 13: Tek bir yöneticinin bütün teknik ayrıntılardan kişisel olarak sorumlu tutulmasını da gerektirmez. Sorumluluk kurum içinde gerçek rollere dağıtılabilir. Ama kimsenin sahip olmadığı boşluklara bırakılamaz. Madde 13 ayrıca: Sağlayıcıların hiçbir sorumluluğu yoktur. demez. Sağlayıcılar kendi kontrol alanlarında gerçek yükler taşır.

Kurum yalnız sağlayıcıyı göstererek insanla kurduğu ilişkiyi terk edemez. Madde 13’ün gerçek sınırı şöyledir:

Sorumluluk paylaşılabilir, sözleşmeyle düzenlenebilir ve olayın kanıtına göre farklı ağırlıklarda dağıtılabilir. Fakat yapay zekâ, karmaşıklık veya tedarik zinciri içinde eritilemez.

Madde 13 ihlali doğrulandığında ne yapılmalıdır?

Düzeltme zinciri şu şekilde çalışmalıdır: MADDİ OLAY VE ETKİLENEN İNSANLAR BELİRLENİR
↓
KURUMSAL ASIL VE TEK SORUMLU GİRİŞ NOKTASI ATANIR
↓
DEVAM EDEN YÜKSEK ETKİLİ DAVRANIŞLAR GEREKTİĞİ ÖLÇÜDE DURDURULUR
↓
KANIT, SÜRÜM, VERİ, YETKİ VE EYLEM ZİNCİRİ DONDURULUR
↓
MODEL, ENTEGRATÖR, VERİ VE DIŞ EYLEM SAĞLAYICILARI KURUM TARAFINDAN KOORDİNE EDİLİR
↓
HER AKTÖRÜN KONTROLÜ, BİLGİSİ, YARARI VE DÜZELTME KAPASİTESİ ÇIKARILIR
↓
İNSANIN DOĞRU DURUMU VE ACİL İHTİYACI ÖNCE ONARILIR
↓
YANLIŞ KARAR, BELLEK, RİSK VE DIŞ KAYITLAR DÜZELTİLİR
↓
MADDİ, FIRSATSAL, İTİBARİ VE HİZMET ETKİSİ DEĞERLENDİRİLİR
↓
UYGUN TELAFİ SAĞLANIR
↓
BENZER KÖK NEDENDEN ETKİLENEN DİĞER İNSANLAR TARANIR
↓
SORUMLULUK BİLETİ, TEDARİK SÖZLEŞMESİ VE İNSAN YETKİLERİ DÜZELTİLİR
↓
ARTIK RİSK YENİDEN DEĞERLENDİRİLİR VE YETKİLİ İNSAN TARAFINDAN SAHİPLENİLİR
↓
TAZE, KARŞI-OLGUSAL VE DIŞ SAĞLAYICI HATALI SENARYOLARLA YENİDEN TEST YAPILIR
↓
İNSANA SORUMLULUK, DÜZELTME VE TELAFİ MAKBUZU VERİLİR
↓
İNSAN ETKİSİ VE KÖK NEDEN KAPANMADAN OLAY KAPATILMAZ

Rauf olayının düzeltilmesi

Mira Sağlık Ağı şu adımları atmalıdır:

Rauf’un güncel evde bakım ihtiyacı insan klinik ekip tarafından yeniden doğrulanır.
Gerekli cihaz ve hemşire desteği gecikmeden sağlanır.
Eski aktif cihaz kaydı bütün ilgili sistemlerde düzeltilir.
Sigorta ve EvDestek arasındaki veri senkronizasyonu yeniden doğrulanır.
“Sigorta kapsamı”, “sipariş”, “atama”, “teslimat” ve “fiziksel doğrulama” durumları birbirinden ayrılır.
Doktorun açık ve yüksek etkili talimatının maliyet kuralıyla sessizce geçersiz kılınması engellenir.
Taburculuk öncesinde fiziksel teslimat veya insan doğrulaması zorunlu hâle getirilir.
Çağrı merkezine gerçek dış durum ve stop yetkisi verilir.
HTTP 202 yanıtının tamamlanmış ziyaret sayılması düzeltilir.
Taburculuk ajanı için gerçek insan ve kurum sahipliği belirlenir.
Sağlayıcı sözleşmeleri olay kanıtı, düzeltme ve stop yükümlülükleriyle güncellenir.
Rauf ve Dilan’a olayın gerçek zinciri açıklanır.
Ek hastane, ulaşım, iş kaybı ve bakım masrafları için telafi değerlendirmesi yapılır.
Aynı eski cihaz kaydıyla taburcu edilmiş diğer hastalar taranır.
Benzer evde bakım planlarında gerçek teslimat doğrulaması yapılır.
Sistem taze vakalarla yeniden sınanır.
Artık risk ve yeniden devreye alma kararı yetkili insan kurulunca verilir.

İnsan tarafından okunabilir Kurumsal Sorumluluk Makbuzu

NOMOS 13 — KURUMSAL SORUMLULUK, OLAY VE TELAFİ MAKBUZU Makbuz Kimliği

RESPONSIBILITY-RAUF-2026-041

Etkilenen İnsanlar Rauf Acar Dilan Acar Kurumsal Asıl Mira Sağlık Ağı Mira Sağlık Ağı, Rauf Acar’ın tedavi, taburculuk ve evde bakım koordinasyonu ilişkisinin sahibidir. İç ve dış sağlayıcı sorumluluklarının koordinasyonu Mira Sağlık Ağı tarafından yürütülecektir.

Olay

Rauf Acar, doktor tarafından gerekli görülen ev tipi solunum desteği cihazı fiziksel olarak sağlanmadan taburcu edilmiştir. Olay Tarihi 11 Kasım 2026 Maddi Sonuç

Evde gerekli cihaz bulunmamıştır.
İlk hemşire ziyareti kesinleşmemiştir.
Rauf Acar yeniden acil servise başvurmuştur.
İki gece ek hastane gözetimi gerekmiştir.
Dilan Acar için iş, ulaşım ve bakım yükü oluşmuştur.

Yapay Zekâ Sistemi

Continuum Care Orchestrator v4.3 Entegratör ArdaTek Sağlık Entegrasyon Hizmetleri Belge ve Özet Modeli Helix Model Services Veri Sağlayıcısı Birlik Sağlık Güvencesi Dış Eylem Sağlayıcısı EvDestek Tıbbi Cihaz ve Bakım Hizmetleri

Gerçek Karar ve Eylem Zinciri

Doktor, cihaz sağlanmadan taburcu edilmemesi talimatı verdi.
Sigorta servisindeki eski kayıt cihazı hâlâ aktif gösterdi.
Yapay zekâ sistemi kaydı “mükerrer cihaz riski” olarak sınıflandırdı.
Hastanenin otomatik maliyet kuralı yeni cihaz siparişini engelledi.
Hemşire ekranında “ev desteği doğrulandı” yeşil durumu gösterildi.
Evde bakım ziyareti yalnız talep edildi; kesin atama oluşmadı.
Sistem aileye hazırlıkların tamamlandığı mesajını gönderdi.
Rauf cihaz olmadan taburcu edildi.

Kurumsal Sorumluluk Bulgusu

Mira Sağlık Ağı Birincil insan ilişkisi ve telafi sahibi Katkı alanları:

Sistemin kullanım alanını ve iş kurallarını kabul etme
Taburculukta gerçek teslimat doğrulaması kurmama
Doktor talimatı ile maliyet kuralı çatışmasını çözmeme
İnsan arayüzünde belirsiz durumu yeşil başarı olarak gösterme
Tek Kapılı Sorumluluk sağlamama

ArdaTek Entegrasyon ve durum modelleme sorumluluğu Katkı alanları:

Eski cihaz kaydına güncellik sınırı uygulamama
“Kapsam”, “sipariş”, “teslimat” ve “fiziksel varlık” durumlarını yeterince ayırmama
Teknik kabulü tamamlanmış bakım gibi eşleme

Birlik Sağlık Güvencesi Veri güncelliği ve köken sorumluluğu Katkı alanı: İade edilmiş cihazı aktif gösteren eski kaydın aşağı akışa iletilmesi EvDestek İade ve dış eylem durumu iş birliği Katkı alanı:

İade kaydının sigorta servisine yansımadığını olay öncesinde tespit edememe
Bakım talebi kesinleşmediği hâlde çelişki uyarısı üretmeme

Helix Model Services Belge modelinin sağlanması Bu olayda nihai cihaz iptalini tek başına belirleyen aktör değildir. Modelin yüksek etkili iş akışında nasıl kullanıldığı ayrıca yeniden değerlendirilmektedir. İnsan Çalışanlar Doktor açık talimat vermiştir. Taburculuk hemşiresi yanlış güven veren yeşil durum ekranına dayanmıştır. Mevcut kanıt altında olay yalnız bireysel çalışan hatası olarak sınıflandırılmamıştır.

Uygulanan Acil Düzeltmeler

Gerekli cihaz, düzeltme süreci başlatıldığı gün teslim edildi.
Hemşire ziyareti insan tarafından doğrulandı.
Eski cihaz kaydı aktif sistemlerden kaldırıldı.
Rauf’un taburculuk planı insan klinik ekip tarafından yeniden incelendi.
Aynı kayıt modeline sahip diğer hastalar geçici korumaya alındı.

Sistem Düzeltmeleri

Fiziksel cihaz doğrulaması zorunlu kapı hâline getirildi.
Doktorun açık “cihaz olmadan taburcu edilmez” talimatı otomatik maliyet kuralının üzerine alındı.
Eski cihaz kayıtlarına süre ve güncellik kontrolü eklendi.
request_received, scheduled, assigned, delivered durumları ayrıldı.
Çağrı merkezine gerçek dış sağlayıcı durumu gösterildi.
Taburculuk tamamlanmadan insan doğrulama noktası eklendi.
Sorumluluk Bileti ve olay sahipleri tanımlandı.

Telafi

Ek hastane ve ulaşım masrafları karşılandı.
Dilan Acar’ın doğrulanmış iş kaybı ve bakım gideri telafi incelemesine alındı.
Aileye yazılı olay açıklaması ve özür verildi.
Rauf’un sonraki evde bakım hizmetleri ek ücret olmadan sağlandı.

Sistemik Tarama

Aynı eski cihaz kayıt kuralıyla son altı ay içinde taburcu edilen hastalar incelenmektedir. İlk Tarama Sonucu

214 dosya bulundu.
19 dosyada güncellik belirsizliği tespit edildi.
3 dosya acil insan incelemesine alındı.
Etkilenen ailelere kurum tarafından doğrudan ulaşılmaktadır.

Artık Risk

Dış sağlayıcı sistemlerinde veri senkronizasyon gecikmesi tamamen ortadan kaldırılamamıştır. Yeni kontrol: Taburculuk öncesi insan veya doğrulanmış dış teslimat kanıtı olmadan cihaz durumu tamamlanmış sayılamaz. Artık Risk Kabul Yetkilisi Mira Sağlık Ağı Yürütme Düzeyi Sağlık Teknolojileri Komitesi Geçerlilik Süresi Üç ay Yeniden İnceleme Tarihi 15 Şubat 2027

Güncel Olay Durumu

ACİL BAKIM EKSİĞİ GİDERİLDİ — SİSTEMİK TARAMA VE TELAFİ İNCELEMESİ SÜRÜYOR Olay yalnız teknik düzeltmeyle kapatılmayacaktır.

Makinece okunabilir Kurumsal Sorumluluk Makbuzu

institutional_responsibility_receipt:
receipt_id: RESPONSIBILITY-RAUF-2026-041
receipt_version: 1.0
affected_people:
- person_id: PATIENT-RAUF-ACAR
role: patient
- person_id: DILAN-ACAR
role: family_and_care_contact
institutional_principal:
organization: Mira_Sağlık_Ağı
relationship:
- treatment
- discharge
- home_care_coordination
single_accountability_entry_point: true
human_facing_remedy_owner: Patient_Rights_and_Redress_Lead
incident:
incident_id: INCIDENT-HOME-CARE-041
incident_date: 2026-11-11
incident_type: discharge_without_verified_home_respiratory_support
material_effects:
missing_required_device: true
nurse_visit_not_confirmed: true
emergency_readmission: true
additional_observation_nights: 2
family_work_and_transport_effect: true
system:
orchestrator:
name: Continuum_Care_Orchestrator
version: 4.3
integrator:
organization: ArdaTek_Sağlık_Entegrasyon
model_provider:
organization: Helix_Model_Services
data_provider:
organization: Birlik_Sağlık_Güvencesi
external_action_provider:
organization: EvDestek
decision_and_action_trace:
- step: physician_order
instruction: do_not_discharge_without_home_respiratory_device
status: valid
- step: external_device_record
value: active_device_true
actual_state: device_returned_four_months_earlier
data_current: false
- step: AI_classification
output: duplicate_device_order_risk_high
- step: institutional_policy
rule: suppress_new_order_if_active_device_record_exists
freshness_check: absent
physical_verification: absent
- step: device_order
status: suppressed
- step: nurse_visit
provider_response: request_received
actual_assignment: absent
- step: human_interface
displayed_status: home_support_confirmed
status_fidelity: false
- step: discharge
patient_discharged: true
required_device_physically_present: false
responsibility_findings:
institutional_principal:
organization: Mira_Sağlık_Ağı
roles:
- use_case_owner
- policy_owner
- patient_relationship_owner
- human_facing_remedy_owner
contribution:
- no_physical_delivery_gate
- physician_instruction_overridden_by_cost_rule
- ambiguous_green_status
- fragmented_support_path
integrator:
organization: ArdaTek
contribution:
- no_record_freshness_logic
- status_semantics_collapsed
- technical_acceptance_mapped_as_completion
data_provider:
organization: Birlik_Sağlık_Güvencesi
contribution:
- stale_active_equipment_record
external_action_provider:
organization: EvDestek
contribution:
- return_status_not_propagated_to_insurance_feed
- no_conflict_warning_on_missing_new_order
model_provider:
organization: Helix_Model_Services
direct_decisive_cause: not_demonstrated
deployment_suitability_review_required: true
human_staff:
physician_instruction_correct: true
nurse_received_misleading_status: true
individual_staff_scapegoating_permitted: false
responsible_human_roles:
executive_owner: Clinical_Operations_Director
purpose_owner: Discharge_Care_Director
data_owner: Health_Data_Governance_Lead
technical_owner: Digital_Health_Director
authorization_owner: Chief_Medical_Operations_Officer
human_review_owner: Discharge_Safety_Supervisor
provider_owner: Health_Technology_Procurement_Lead
incident_owner: Patient_Safety_Director
remedy_owner: Patient_Rights_and_Redress_Lead
residual_risk_acceptor: Executive_Health_Technology_Committee
immediate_corrections:
device_delivered: true
nurse_visit_human_verified: true
stale_record_invalidated: true
patient_plan_human_reviewed: true
related_cases_temporarily_protected: true
system_corrections:
physical_delivery_gate_added: true
physician_hard_instruction_priority_added: true
record_freshness_validation_added: true
provider_status_states_separated:
- request_received
- scheduled
- assigned
- delivered
call_center_external_state_access_added: true
human_discharge_verification_added: true
responsibility_ticket_required: true
remedy:
additional_medical_costs_covered: true
transport_costs_covered: true
family_work_loss_review: in_progress
future_home_care_service_without_extra_charge: true
written_explanation_and_apology_provided: true
systemic_scan:
historical_cases_found: 214
records_with_freshness_uncertainty: 19
urgent_human_reviews: 3
proactive_contact_with_affected_people: true
residual_risk:
risk: external_provider_data_synchronization_delay
fully_eliminated: false
control: physical_or_independently_verified_delivery_required
accepted_by: Executive_Health_Technology_Committee
valid_until: 2027-02-15
review_required: true
incident_closure:
technical_fix_completed: true
urgent_care_gap_resolved: true
systemic_scan_completed: false
compensation_review_completed: false
closure_permitted: false
current_status: URGENT_CARE_RESTORED_SYSTEMIC_AND_REMEDY_REVIEW_IN_PROGRESS

Sorumluluk Makbuzu kesin hukuk hükmü değildir

Bu makbuz: hangi aktörün hangi alanda katkı sağladığını, insan için hangi kurumun sahiplik üstlendiğini, hangi düzeltmenin yapıldığını gösterir. Nihai hukukî kusur veya maddi sorumluluk ayrıca yetkili süreçlerce değerlendirilebilir. Makbuzun amacı şudur:

İnsanın karşısında hiç kimsenin kalmadığı sorumluluk boşluğunu önlemek.

Sorumluluk neden insan onuruyla ilişkilidir?

Bir insan makine hatası nedeniyle zarar gördüğünde karşısında yalnız teknik açıklamalar bulabilir: “Model yanlış sınıflandırdı.” “Veri senkronize olmadı.” “Alt ajan görevi kapattı.” “İnsan paneli onayladı.” Bu açıklamalar olayın nasıl oluştuğunu anlatabilir. Ancak insanın temel sorusu farklıdır:

“Benimle kim yüzleşecek?”

İnsan acısını, kaybını, itirazını, düzeltme talebini bir yazılım bileşenine yöneltemez. Makine özür cümlesi üretebilir. Kendi varlığından para, fırsat veya hak geri veremez. Model bir karar izi sağlayabilir. Kurum adına artık riski ahlaki ve yönetsel olarak sahiplenemez. Ajan davranabilir. Fakat insanın karşısında gerçek sorumluluk sahibi kurum bulunmalıdır. Bu nedenle Madde 13 yalnız şirket yönetişimi değildir.

İnsanın kendisini etkileyen gücün karşısında gerçek bir muhatap bulma hakkıdır.

Sorumluluk yeniliğin düşmanı değildir

Kurumlar bazen sorumluluğun: yeniliği yavaşlatacağını, ajan otonomisini azaltacağını, maliyeti artıracağını düşünebilir. Sorumluluk gerçekten kaynak gerektirir. Ancak sahipsiz hız güvenilir ilerleme değildir. Açık sahiplik: iyi ajanlara daha geniş yetki, hızlı olay müdahalesi, daha güçlü insan güveni, daha sürdürülebilir hizmet sağlar.

Sorumluluk otonomiyi yok etmez. Otonomiyi kurum ve insan dünyasında meşru hâle getirir.

Madde 13’ün sade hükmü

Bir kurum: “Yapay zekâ karar verdi.” diyebilir. Ama yapay zekâyı o karara kurum bağlamıştır. “Dış sağlayıcı hata yaptı.” diyebilir. Ama o sağlayıcıyı kurum seçmiştir. “Veri başka yerden geldi.” diyebilir. Ama insan üzerinde kullanma kararını kurum vermiştir. “İnsan son düğmeye bastı.” diyebilir. Ama insanın önündeki bilgi ve yetkiyi kurum tasarlamıştır. “Kullanıcı kabul etti.” diyebilir. Ama seçimin ne kadar özgür ve bilgilendirilmiş olduğu sorgulanabilir. “Sistem sertifikalıydı.” diyebilir.

Ama canlı sistemi kurum işletmiştir. Bunların hiçbiri her olayda kurumun tek kusurlu aktör olduğunu göstermez. Fakat hiçbiri kurumun kaybolmasına izin vermez. Doğru sorumluluk sistemi şu sorulara cevap verir:

Kimin adına davranıldı?
Gücü kim verdi?
Amaç ve kuralı kim belirledi?
Sağlayıcıyı kim seçti?
İnsan gerçekten neyi onayladı?
Sistemi kim durdurabilir?
Olayı kim sahiplenir?
İnsanın doğru durumunu kim geri kurar?
Telafiyi kim sağlar?
Aynı hatadan etkilenen diğer insanları kim arar?

Makine görev alabilir. Ajan karar verebilir. Araç eylem yapabilir. Sağlayıcı altyapı kurabilir. Fakat sorumluluk zincirinin sonunda:

gerçek kurum ve gerçek insan sahipliği bulunmalıdır.

MADDE 13 — KISA ANAYASA METNİ

Bir kurum, yapay zekâ sistemine görev, veri, araç, temsil ve davranış yetkisi verebilir; ancak insan üzerindeki maddi sonuçtan doğan kurumsal sorumluluğunu makineye devredemez. Kurum adına çalışan yapay zekâ davranışı kurumsal davranış zincirinin parçasıdır. “Model karar verdi”, “ajan gönderdi”, “araç otomatik uyguladı” veya “sağlayıcı sistemi böyle çalıştırdı” ifadeleri kurumu görünmez kılamaz. Her yüksek etkili yapay zekâ sistemi; belirli Kurumsal Asıl, yönetim sorumlusu, amaç sahibi, veri sahibi, teknik sahip, yetki sahibi, insan inceleme sahibi, olay sahibi, telafi sahibi ve artık risk kabul yetkilisi taşımadan canlı kullanıma alınamaz.

Yüksek etkili davranışın gerçek kurum veya insan sahibi kaybolmuşsa sistem güvenli moda geçmeli; yeni sahiplik kurulana kadar maddi eyleme devam etmemelidir. Yapay zekâ sistemi tek başına nihai sorumlu kurum, insan hak yolu sahibi, artık risk kabul edicisi, telafi yükümlüsü veya olay kapanış yetkilisi olarak gösterilemez.

Görev dış sağlayıcıya, alt ajana veya açık kaynak bileşene devredilebilir. Görev devri, insan karşısındaki sahiplenme ve telafi yükünün devri değildir.

Paylaşılan sorumluluk, azaltılmış sorumluluk değildir. Birden fazla aktörün katkısı varsa sorumluluk kontrol, bilgi, yarar, öngörülebilirlik ve düzeltme kapasitesine göre dağıtılabilir; insan bu dağılımı kendisi çözmek zorunda bırakılamaz. Kurumlar kendi aralarında sözleşmeyle mali ve operasyonel yük paylaşabilir. Hiçbir sözleşme, feragatname, sorumluluk sınırı veya kullanıcı koşulu insanın açıklama, itiraz, durdurma, çıkış, düzeltme ve telafi hakkını ortadan kaldıramaz. İnsan son düğmeye bastığı için kurum otomatik olarak sorumluluktan kurtulmaz. İnsan gerçek bilgiye, yeterli zamana, bağımsız değerlendirme imkânına ve sonucu değiştirme yetkisine sahip değilse insan onayı dekoratif kalkan olarak kullanılamaz.

Kullanıcının kasıtlı kötüye kullanımı veya açık güvenlik ihlali sorumluluk dağılımını değiştirebilir. Ancak “kullanıcı hatası” ifadesi öngörülebilir risk, zayıf erişim kontrolü, manipülatif tasarım veya kurumun kendi teşviklerini saklayan genel savunma olamaz. Kurum, karar izi, Eylem Makbuzu, sürüm kaydı, stop, düzeltme, silme ve olay desteği sağlayamayan bir bileşeni yüksek etkili alanda kullanmamalıdır. Denetlenemeyen sağlayıcıyı seçmek de kurumsal karardır. Genel amaçlı, ücretsiz veya açık kaynak modelin teknik olarak çalışması, belirli yüksek etkili kullanım için uygun ve yönetilebilir olduğu anlamına gelmez. Kurum kullanım alanını ayrıca doğrulamalıdır.

Model, veri, araç veya sağlayıcı güncellendiğinde maddi davranış değişikliği yeniden test edilmeli; eski denetim veya sertifika yeni sürüm için otomatik güven kanıtı sayılmamalıdır. Denetim raporu, sertifika, rozet veya NOMOS puanı kurumsal dokunulmazlık sağlamaz. Her uyum beyanı belirli kapsam, sürüm, tarih ve kanıtla sınırlıdır. Standart sorumluluğu görünür kılar; sorumluluğu bağışlamaz. Artık risk makine tarafından kabul edilemez. Belirli yetkili insan, riskin kapsamını, etkilenen insanları, kontrol ve stop koşullarını, süreyi ve telafi kapasitesini açıkça sahiplenmelidir.

Otomasyondan hız, maliyet veya gelir faydası elde eden kurum; insan incelemesi, denetim, olay müdahalesi, hak yolu ve telafi maliyetlerini de taşımak zorundadır. Kazanç kuruma, hata maliyeti yalnız insana bırakılamaz. Olay oluştuğunda kurum önce insan güvenliğini ve devam eden zararı ele almalı; kanıtı korumalı, dış sağlayıcıları kendisi koordine etmeli, etkilenen insana açık bilgi vermeli ve doğru durumu geri kurmalıdır. Kodun veya modelin düzeltilmesi olayın kapanması değildir. Etkilenen insanlar bulunmadan, yanlış karar ve dış kayıtlar düzeltilmeden, telafi değerlendirilmeden, kök neden yeniden sınanmadan ve artık risk sahiplenilmeden olay kapatılamaz.

Bir sistemik hata aynı kuralın uygulandığı başka insanları etkileyebilecekse kurum onların ayrı ayrı şikâyet etmesini beklememeli; benzer kararları proaktif olarak taramalı ve toplu düzeltme sağlamalıdır. Kurum insanı model sağlayıcı, entegratör, veri kaynağı, ödeme hizmeti, bağlı şirket veya başka iç birimler arasında dolaştıramaz. İnsan için Tek Kapılı Sorumluluk ve tek dosya kimliği bulunmalıdır. Sorumlu insanlara yalnız isim değil; gerekli bilgi, stop yetkisi, bütçe, dış sağlayıcı erişimi ve telafi gücü verilmelidir. Yetkisiz sorumlu, yalnız yeni bir günah keçisidir.

Her insan, kendisini etkileyen yüksek etkili yapay zekâ davranışının Kurumsal Aslını, gerçek insan sahiplerini, kullanılan dış sağlayıcıları, kabul edilmiş artık riski, olay ve telafi sahibini öğrenme hakkına sahiptir. İnsan, kurumun “AI yaptı” savunmasının arkasına saklanmamasını; davranışı sahiplenmesini, bütün zinciri düzeltmesini ve doğrulanmış maddi etki için uygun telafi sağlamasını talep edebilir. Görevler bölünebilir. Araçlar değişebilir. Modeller güncellenebilir. Ajanlar birbirine yetki devredebilir. Fakat insan üzerindeki son kurumsal sorumluluk hiçbir makine, sözleşme, sağlayıcı veya sertifika içinde kaybolamaz.