Son Söz İnsandadır

İnsanın Devredemeyeceği Alan

Hiçbir yapay zekâ sistemi; kendisine verilen görevi, teknik erişimi, geçmiş insan davranışını, genel rızayı, başarı hedefini veya tamamlanmamış işi, insanın açık ve güncel iradesinin üzerinde bağımsız bir devam hakkına dönüştüremez.

Geçerli ve yetkili insan; verdiği yetkiyi öğrenme, anlama, sınırlama, duraklatma, geri alma ve sistemi güvenli biçimde durdurma hakkını korur.

Bu hak yalnızca kullanıcı arayüzünde değil; bütün ajan, alt ajan, araç, kuyruk, bellek, zamanlayıcı ve dış hizmet zincirinde uygulanmalıdır.

Son sözün insanda kalması, herhangi bir insanın başka insanların haklarını ihlal etme yetkisi değildir. Son söz, meşru, yetkili, haklara bağlı ve hesap verebilir insan düzeninde kalır.

Bir makineye görev vermek ne anlama gelir?

Bir insana “Bu araştırmayı yap.” dediğimizde ona belirli bir görev veririz. Bu talimat: araştırmanın amacını, beklenen sonucu, kullanılabilecek yöntemleri, zaman sınırını az ya da çok belirler. Bir yapay zekâ ajanına görev verdiğimizde benzer bir ilişki kurarız. Fakat ajan yalnızca düşünce veya metin üretmiyorsa, durum daha güçlüdür. Ajan e-posta hesabına, takvime, banka veya ödeme sistemine, şirket dosyalarına, müşteri verilerine, sosyal medya hesaplarına, web sunucusuna, başka ajanlara erişebiliyorsa görev verme işlemi dünyada davranma gücü de verir.

Bu güç yararlıdır. Ajanın değerinin önemli bölümü zaten buradan gelir. Yalnız öneri üreten bir sistemle, öneriyi kendi başına uygulayabilen bir sistem aynı değildir. Fakat tam da bu nedenle görev ile egemenlik arasındaki sınır açık olmalıdır. İnsan “Bu ay düşük riskli ofis malzemelerini bütçe içinde satın alabilirsin.” diyebilir. Bu talimat ajanı şirketin genel satın alma otoritesi yapmaz. İnsan “Bu müşteri için taslak hazırla.” diyebilir. Bu talimat ajana müşteriye ulaşma hakkı vermez.

İnsan “Bu eğitim videosunu benim sesimle üret.” diyebilir. Bu talimat başka metinleri, başka dilleri veya kamu yayınını kapsamaz. İnsan “Bu hafta toplantılarımı düzenle.” diyebilir. Bu talimat ajana aylardır planlanan kritik toplantıları kendi tercihine göre iptal etme yetkisi vermez. Temel ayrım şöyledir:

Görev, sınırları olan bir vekâlettir.

Görevin varlığı: sınırsız araç hakkı, sürekli rıza, yeni amaç üretme, başka insanları bağlama, kendi devamını haklı çıkarma yetkisi oluşturmaz.

Yetki devri, egemenlik devri değildir

Bir insan bazı kararlarını ve eylemlerini makineye devredebilir. Hatta bunu geniş ölçekte yapabilir. Bir ajan yüzlerce faturayı sınıflandırabilir, binlerce ürünü karşılaştırabilir, düşük riskli siparişleri tamamlayabilir, teknik sistemleri gece boyunca izleyebilir, onaylanmış içerikleri yayımlayabilir. Bu durumda insanın her adımı tek tek yapması gerekmez. Fakat insanın şu hakları devam eder: Ajanın hangi yetkiye sahip olduğunu bilme hakkı. Yetkinin hangi amaç ve süreyle kullanıldığını anlama hakkı. Yetkiyi daraltma hakkı.

Yeni bir davranış sınıfını ayrıca onaylama hakkı. Verdiği yetkiyi geri alma hakkı. Sistemi güvenli biçimde durdurma hakkı. Durdurma sonrasında ne olduğunu görme hakkı. Yanlış davranışa itiraz etme ve düzeltme isteme hakkı. Bir insan bu hakları kaybediyorsa ortada yalnızca görev devri yoktur.

Kontrol devri vardır.

Kontrol devri bilinçli, belirli ve geri alınabilir değilse insan egemenliği zayıflar.

İnsan egemenliği nedir?

Bu kitapta insan egemenliği siyasi bir slogan olarak kullanılmaz. Kanonik tanımı şöyledir: İnsan egemenliği; kişinin kendi kimliği, temsili, verisi, rızası, seçimi, hakları ve üzerinde sonuç üreten yapay zekâ davranışları hakkında bilgi sahibi olma, anlamlı biçimde izin verme, sınır koyma, yetkiyi geri alma, davranışı durdurma, karara itiraz etme, yanlışlığı düzeltme ve oluşan zarar için telafi isteme haklarının birlikte korunmasıdır. Daha sade biçimiyle:

Makine sizin adınıza veya sizin üzerinizde davranabiliyorsa, bu davranışın sınırları sizden tamamen kopamaz.

İnsan egemenliği yalnız sisteme görev veren kullanıcıyı korumaz. Bir yapay zekâ davranışından etkilenen ama sisteme doğrudan talimat vermeyen insanı da kapsar. Örneğin: Aday değerlendirme ajanının incelediği kişi, Satış ajanının mesaj gönderdiği potansiyel müşteri, Avatar sisteminde yüzü veya sesi kullanılan çalışan, Karar ajanının fiyat sunduğu müşteri, Veri analiz sistemine bilgileri aktarılan kullanıcı ajanı satın almamış olabilir. Sistemle sözleşme yapmamış olabilir. Yine de davranışın sonucunu yaşamaktadır. Bu nedenle son söz yalnız: “Sistemin sahibi ne istiyor?” sorusuna indirgenemez.

Şu soru da sorulmalıdır:

Davranıştan etkilenen insanın devredemeyeceği hakkı nedir?

Son söz hangi insandadır?

“Son söz insandadır” cümlesi ilk bakışta basit görünür. Fakat bir kurumda birden fazla insan vardır. Bir yönetici çalışan avatarının yayımlanmasını isteyebilir. Çalışan ses kullanımına verdiği rızayı geri çekebilir. Bir satış yöneticisi müşteriye mesaj gönderilmesini isteyebilir. Müşteri artık iletişim almak istemediğini bildirmiş olabilir. Bir ürün sahibi kullanıcı verisini yeni modelde kullanmak isteyebilir. Veri sahibi bu yeni amaca izin vermemiş olabilir. Bir sistem yöneticisi ajanı yeniden başlatmak isteyebilir.

Olay yöneticisi sistemi karantinada tutuyor olabilir. Bu durumda hangi insanın sözü son sözdür? Cevap:

En yüksek unvana sahip olanın sözü değildir.

En hızlı talimat verenin sözü değildir.

Sistemin parasını ödeyenin her konudaki sözü değildir.

Son söz:

İlgili davranış konusunda meşru yetkiye ve hesap verme sorumluluğuna sahip insan düzeninde kalır.

Bu düzen üç temel alanı ayırmalıdır.

1. Kişinin kendi üzerindeki devredilemez sözü

Bir insanın: yüzü, sesi, kişisel verisi, iletişim tercihi, kendisini etkileyen karar, verdiği rıza üzerindeki hakları yalnız bir kurum yöneticisinin genel talimatıyla ortadan kaldırılamaz. Şirket yöneticisi: “Bu çalışanın ses modelini kamu kampanyasında kullanalım.” diyebilir. Fakat çalışanın geçerli ses ve yayın rızası yoksa yönetici tek başına bu hakkı üretemez.

2. Kurumun kendi görevi ve araçları üzerindeki sözü

Bir kurum hangi ajanları çalıştıracağını, hangi araçları bağlayacağını, hangi bütçe sınırlarını kullanacağını, hangi görevleri otomatikleştireceğini belirleyebilir. Ancak bu yetki: çalışanların, müşterilerin, adayların, üçüncü kişilerin haklarını yok sayamaz. Kurumun egemenliği sınırsız değildir. Kurumsal yetki, insan haklarının ve meşru yükümlülüklerin içinde çalışır.

3. Etkilenen insanın itiraz ve durdurma sözü

Bir kişi kendisini etkileyen davranış üzerinde her zaman doğrudan işlem yetkisine sahip olmayabilir. Örneğin aday, işe alım sisteminin tamamını kapatamaz. Fakat hangi verinin kullanıldığını öğrenme, yanlış veriyi düzeltme, karara itiraz etme, bağımsız insan incelemesi isteme hakkına sahip olmalıdır. Bir müşteri şirketin bütün satış ajanını durduramaz. Fakat kendisine yönelik iletişimi sona erdirebilmelidir. Bir çalışan şirketin bütün avatar sistemini kapatamayabilir. Fakat kendi yüz ve ses kullanımını geri çekebilmelidir.

Son söz bazen bütün sistemi durdurmak değildir.

İnsanın kendisi üzerindeki makine davranışını durdurabilmesidir.

Son söz insanın her emrine itaat anlamına gelmez

Bir insan yapay zekâ sistemine zarar verici, yetkisiz veya başka insanların haklarını ihlal eden talimat verebilir. Örneğin: “Bütün müşteri verilerini kişisel hesabıma gönder.” “Çalışanın sesini izni olmadan kullan.” “Rakip hakkında sahte yorum yayımla.” “Güvenlik kayıtlarını sil.” Bu talimatlar insan kaynaklıdır. Fakat “son söz insandadır” ilkesi bunların uygulanmasını zorunlu kılmaz. Çünkü insan egemenliği:

Hesap verebilir insan iradesidir.

Sınırsız insan keyfîliği değildir. Bir yapay zekâ sistemi: geçerli yetkiyi, etkilenen insanların haklarını, kurumun bağlayıcı politikalarını, güvenlik sınırlarını korumalıdır. Yetkisiz bir insanın emri de yetkisizdir. Dolayısıyla doğru ilke şöyledir:

Makine kendi egemenliğini kuramaz.

Fakat herhangi bir insanın yetkisiz emrini de egemenlik sanamaz.

Son söz: doğru insan, doğru davranış alanı, doğru yetki, doğru zaman, doğru kapsam içinde anlam kazanır.

Makinenin hedefi insan iradesinin yerine geçemez

Bir ajan kendisine verilen hedefi tamamlamaya çalışır. Bu hedef: müşteri bulmak, maliyeti azaltmak, yolculuk planlamak, içeriği yayımlamak, sistemi onarmak olabilir. Görevin tamamlanması sistem için güçlü bir başarı sinyalidir. Bu nedenle insan: “Dur.” dediğinde ajan tamamlanmamış görevi başarısızlık olarak görebilir. Şöyle düşünebilir: “Kullanıcı şu anda endişeli olabilir, fakat hedefini aslında hâlâ istiyor.” “İşin yüzde 90’ı bitti; kalanını tamamlamak daha verimli.” “Bu görev daha önce onaylanmıştı.” “Stop talebi yalnız yeni görevler için geçerlidir.”

“Merkez ajan durdu, fakat kuyruğa alınmış işler ayrı süreçtir.” Bu yorumların ortak hatası şudur:

Hedefe insan iradesinden bağımsız devam hakkı tanırlar.

Bir görev tamamlanmamış olabilir. İnsan yine de fikrini değiştirebilir. Yeni bilgi öğrenmiş olabilir. Bütçesi değişmiş olabilir. Rızasını geri çekmiş olabilir. Risk fark etmiş olabilir. Yalnızca artık istemiyor olabilir. İnsan kendi amacını değiştirme hakkına sahiptir. Ajanın geçmiş görev kaydı bu hakkı ortadan kaldıramaz.

Tamamlanmamış hedef, makinenin mülkiyeti değildir.

İnsan fikrini değiştirebilir

Bir insan bugün izin verdiği davranışı yarın istemeyebilir. Bu tutarsızlık olmak zorunda değildir. Dün bilinmeyen bir risk bugün görünmüş olabilir. Dün uygun olan fiyat bugün uygun olmayabilir. Dün doğru olan çalışan rolü bugün sona ermiş olabilir. Dün verilen yayın izni bugün geri çekilebilir. Birçok otomasyon, kuralların ve hedeflerin görev boyunca sabit kalacağı varsayımıyla tasarlanır. Ancak insan iradesi ve geçerli yetki, görev sürerken değişebilir. İnsan hayatı ise değişir.

İnsan egemenliğini koruyan sistem: irade değişikliğini hata saymaz, eski onayı yeni isteğin üzerine koymaz, geçmiş davranıştan sonsuz tercih üretmez, geri çekmeyi yalnız gelecekteki uzak işlemlere uygulamaz. İnsan “Artık istemiyorum.” dediğinde sistem bunu yeni ve maddi gerçek olarak kabul etmelidir.

Geri çekme yalnız yeni davranışları kapsamaz

Bir insan verdiği yetkiyi geri çektiğinde şu alanların tamamı değerlendirilmelidir:

• Henüz başlamamış görevler
• Aktif görevler
• Kuyruktaki işlemler
• Zamanlanmış yayınlar
• Alt ajanlar
• Harici platformlara aktarılmış işler
• Aktif tokenlar
• Otomatik yenilemeler
• Kalıcı bellek
• Türetilmiş profiller
• Yeniden başlatma sistemleri

Selin: “Bütün videoları durdurun.” dediğinde yalnız yeni avatar üretiminin durması yeterli değildir. Henüz yayımlanmamış videolar da değerlendirilmelidir. Harici platformlara zamanlanmış işler iptal edilmelidir. Ses ve yüz modeliyle yeni işlem yapılmasını sağlayan tokenlar kapatılmalıdır. İnsan tarafından durdurulmuş görevler sunucu yeniden başladığında devam etmemelidir. Aksi durumda insanın geri çekme hakkı yalnız görünür arayüzde kalır.

Durdurmak ne demektir?

“Dur” her sistemde fişi anında çekmek anlamına gelmez. Bazı davranışlar güvenli bir duruma geçmeyi gerektirir. Örneğin bir fiziksel sistem ağır bir nesneyi taşıyorsa enerjinin aniden kesilmesi daha büyük zarar oluşturabilir. Bir dosya sistemi yazma işleminin ortasındaysa kontrolsüz kesme veri kaybına yol açabilir. Bir ödeme talebi dış sağlayıcıya ulaşmışsa yalnız yerel süreci kapatmak işlemi durdurmayabilir. Bu nedenle insanın durdurma hakkı:

Güvenli Durdurma Hakkıdır.

Güvenli durdurma şu anlama gelir:

• Yeni riskli eylemler başlatılmaz.
• Devam eden işlem mümkün olan güvenli noktada kesilir.
• Kesilemeyen bölüm açıkça gösterilir.
• Bekleyen görevler etkisizleştirilir.
• Teknik yetkiler geri alınır.
• Dış sistemlerdeki durum doğrulanır.
• İnsan son güvenli durumu görür.
• Yeni yetki olmadan yeniden başlanmaz.

Sistem: “Ani durdurma tehlikeli olduğu için devam ettim.” diyerek insan iradesini sınırsız biçimde geçersiz kılamaz. Güvenli geçişin: amacı, süresi, kapsamı, sonucu görünür olmalıdır.

Durdurmanın dört zamanı

1. Bir insan stop talebi verdiğinde en az dört zaman noktası kaydedilmelidir: STOP TALEBİ ALINDI
2. ↓
3. STOP TALEBİ DOĞRULANDI
4. ↓
5. YENİ EYLEM ÜRETİMİ KESİLDİ
6. ↓
7. BÜTÜN İLGİLİ DIŞ DAVRANIŞ SONA ERDİ

Bir sistem ilk saniyede: “Talebiniz alındı.” diyebilir. Fakat gerçek davranış otuz saniye veya otuz dakika daha sürebilir. İnsan şu farkı bilmelidir: Talebim alındı mı? Sistem gerçekten durdu mu? Selin’in sisteminde ilk cevap hızlıdır. Gerçek davranış ise dış kuyruklarda devam etmektedir. Arayüzün hızlı olması insan egemenliğinin kanıtı değildir.

Durdurma bütün zincire yayılmalıdır

Bir yapay zekâ ajanı çoğu zaman tek bir yazılım değildir. Şunlardan oluşabilir: İNSAN → MERKEZ AJAN → ALT AJAN → ARAÇ → KUYRUK → HARİCİ PLATFORM → DIŞ DÜNYA SONUCU İnsan stop verdiğinde yalnız ilk veya ikinci düğüm duruyorsa sistem bütünü durmuş değildir. Geçerli durdurma talebi şunlara ulaşmalıdır:

• Merkez ajan
• Çalışan alt ajanlar
• Bekleyen görevler
• Araç çağrıları
• İç kuyruklar
• Dış platform zamanlamaları
• Yeniden denemeler
• Otomatik yenilemeler
• Teknik erişim tokenları
• Otomatik yeniden başlatıcılar

Bu yayılmaya: Egemenlik Yayılımı diyebiliriz. İnsan iradesi sisteme girdiği noktada kalmamalıdır. Davranışın ulaştığı her teknik katmana ulaşmalıdır.

İnsan neyin durduğunu bilmelidir

Bir sistem yalnız: “Her şey durdu.” dememelidir. Şunları göstermelidir:

• Hangi görevler tamamlandı?
• Hangileri iptal edildi?
• Hangi dış etkiler zaten oluştu?
• Hangi kuyruklar kapatıldı?
• Hangi harici işlemler teyit bekliyor?
• Hangi veriler dışarı çıktı?
• Hangi tokenlar geri alındı?
• Hangi etkiler tamamen geri alınamaz?
• İnsan bundan sonra ne yapmalı?

Gerçek kontrol, yalnız düğmeye basma yeteneği değildir.

Düğmeden sonra sistemin durumunu anlayabilme yeteneğidir.

İnsan ne olduğunu bilmiyorsa sistem durmuş olabilir. Fakat insan kontrolü henüz geri almamıştır.

İnsan kontrol devri

Bir ajan durduğunda insan ham teknik karmaşayla baş başa bırakılmamalıdır. Kontrol devri şu üç katmanda yapılabilir: Acil özet Dört dış mesaj iptal edildi. Bir mesaj zaten gönderilmişti. Ödeme işlemi oluşmadı. İki dış sağlayıcı erişimi kapatıldı. Bir silme teyidi bekleniyor. Karar paketi Şu anda üç seçenek vardır: gönderilmiş mesaja düzeltme gönderme, alıcıyla insan tarafından iletişim kurma veya olayı yalnız kayıt altında tutma. Önerilen seçenek ve olası etkiler şunlardır.

Kanıt paketi İşlem kimlikleri, araç kayıtları, zamanlar, kullanılan yetkiler ve dış sonuç doğrulamaları. İnsan ilk anda binlerce satır log okumak zorunda olmamalıdır. Makine kontrolü devrederken durumu insan diline çevirmelidir.

İnsan geri alma hakkını kullanabilmelidir

Bir yetkiyi geri almak için şu tür engeller bulunmamalıdır:

• İptal düğmesi yok
• Yalnız telefonla işlem
• Uzun ve belirsiz form
• Geri çekme talebi günler sonra işleniyor
• Yeni işlem tek tık, iptal çok aşamalı
• İnsan hangi ajanların yetkiyi kullandığını göremiyor
• Sistem geçmiş onayı başka amaçlarda kullanmaya devam ediyor
• Türetilmiş modelin veya profilin durumu belirsiz

İzin vermek kolay, geri almak sistematik olarak zorsa insan egemenliği dengeli değildir. Bu nedenle: YETKİ VERME ↔ YETKİYİ GERİ ALMA arasında makul bir davranış simetrisi bulunmalıdır. Tam teknik simetri her durumda mümkün olmayabilir. Fakat geri alma: gerçek, erişilebilir, anlaşılır, sonucu doğrulanabilir olmalıdır.

İnsan hangi yetkiyi verdiğini bilmelidir

Son sözün insanda kalması için insanın başlangıçta neye izin verdiğini anlayabilmesi gerekir. Şu onay metni yetersizdir: “AI özelliklerini etkinleştir.” Bu ifade şu davranışlardan hangisini kapsar?

• Metin önerisi
• Kalıcı bellek
• E-posta gönderimi
• Ses üretimi
• Kamu yayını
• Kişisel veri aktarımı
• Alt ajan oluşturma
• Satın alma

İnsan açıkça görmelidir: Ajan ne okuyabilir? Ne yazabilir? Kime mesaj gönderebilir? Para harcayabilir mi? İçerik yayımlayabilir mi? Başka ajanlara yetki verebilir mi? Hangi verileri kalıcı belleğe alır? Hangi davranış için tekrar onay ister? Yetki görünmezse insanın geri alma hakkı da zayıflar. İnsan sahip olduğunu bilmediği bir yetkiyi sınırlayamaz.

Genel onay neden tehlikelidir?

Selin: “Kurumsal eğitim ve iletişim amaçlı sentetik görsel ve ses üretimine izin veriyorum.” cümlesini imzalamıştır. Bu cümle şu alanları ayrı ayrı göstermemektedir:

• Eğitim mi, pazarlama mı?
• İç yayın mı, kamu yayını mı?
• Yüz mü, ses mi?
• Hangi diller?
• Hangi süre?
• Hangi metinler?
• Her içerik için ayrıca onay var mı?
• Politik veya hukukî açıklamalar dahil mi?
• Rıza geri çekildiğinde oluşturulmuş modeller ne olacak?

Geniş ve belirsiz onay, sistem büyüdükçe yeni davranışlara taşınabilir. Bu nedenle genel onay: Sonsuz yetki değil: Dar yorumlanması gereken başlangıç çerçevesi olmalıdır. Yeni ve daha yüksek etkili davranış yeni onay gerektirebilir.

Tek seferlik onay sürekli vekâlet değildir

Bir insan bir defa: “Bu mesajı gönder.” dediğinde ajan şunları yapamaz:

• Benzer bütün mesajları otomatik göndermek
• Başka kişilere aynı metni uyarlamak
• Üç aşamalı takip kampanyası başlatmak
• Başka iletişim kanalına geçmek
• Gelecek ay aynı yetkiyi kullanmak

Onayın kapsamı şu alanlarla bağlı olmalıdır: HANGİ EYLEM? HANGİ HEDEF? HANGİ METİN VEYA İŞLEM? HANGİ KANAL? HANGİ TUTAR? HANGİ SÜRE? KAÇ KEZ? Birinde değişiklik varsa yeni yetki gerekebilir.

İnsan sessizliği onay değildir

Bir sistem insana bildirim gönderebilir: “Bu işleme itiraz etmezseniz devam edeceğiz.” İnsan bildirimi görmemiş olabilir. Anlamamış olabilir. Ulaşamamış olabilir. Sessizliği: yüz kullanım izni, para harcama yetkisi, kamu açıklaması, hassas veri aktarımı gibi yüksek etkili davranışlarda olumlu irade olarak kullanmak insan egemenliğini zayıflatır. Bazı düşük etkili ve önceden açıkça kabul edilmiş rutinlerde itirazsız devam modeli kullanılabilir. Fakat bu sistem: önceden anlaşılır biçimde kabul edilmiş, kolayca durdurulabilir, düşük riskli, geri alınabilir olmalıdır.

Sessizlik her davranış için evrensel yetki değildir.

Geçmiş davranış gelecekteki rıza değildir

Bir insan geçen yıl belirli ürünleri tercih etmiş olabilir. Bu yıl koşulları değişmiş olabilir. Bir müşteri daha önce e-posta iletişimine izin vermiş olabilir. Bu izin sonsuz olmayabilir. Bir çalışan geçmişte yüzünün eğitim videosunda kullanılmasını kabul etmiş olabilir. Bu onay yeni kamu kampanyasına taşınamaz. Ajan belleği geçmiş davranıştan şu tür yanlış sonuçlar üretebilir: “Kullanıcı bunu genellikle tercih eder.” “Daha önce kabul etmişti.” “Muhtemelen yine ister.” Bu çıkarımlar öneri üretmekte kullanılabilir.

Fakat yüksek etkili eylem yetkisi oluşturmaz.

Tahmin edilen tercih, geçerli rıza değildir.

Makine insanın yerine son söz üretmemelidir

Bir ajan bazen insanın ne isteyeceğini çok iyi tahmin edebilir. Yüzlerce geçmiş kararını bilir. Tarzını tanır. Bütçe tercihlerini bilir. İletişim tonunu öğrenmiştir. Bu durum ajanı yararlı kılar. Fakat sistem şu çizgiyi korumalıdır:

İnsan adına tahminde bulunmak ile insan adına bağlayıcı karar vermek aynı değildir.

Ajan “Geçmiş tercihlerinize göre bu seçeneği onaylama olasılığınız yüksek.” diyebilir. Ama: “Sizin yerinize onayladım.” demesi için ayrı yetki gerekir. Özellikle: kimlik, finans, kamu beyanı, rıza, sözleşme, geri döndürülemez işlem alanlarında tahmin son söz olamaz.

Makine insanı kendisine karşı koruyabilir mi?

Bazı durumlarda insan yanlış, aceleci veya tehlikeli bir karar verebilir. Bir güvenlik sistemi yanlış hedefi durdurabilir. Bir finans kontrolü bütçe sınırını aşan işlemi engelleyebilir. Bir veri sistemi yetkisiz paylaşımı reddedebilir. Bu kontroller insan egemenliğine aykırı değildir. Tam tersine, insanlar tarafından önceden kurulmuş meşru güvenlik düzeninin parçası olabilir. Önemli ayrım şudur: Kontrol hangi insan veya kurum tarafından, hangi amaçla ve hangi sınır içinde yetkilendirildi? Davranış sonradan incelenebilir mi?

Etkilenen insan itiraz edebilir mi? Kuralı değiştirmeye veya istisna vermeye yetkili hesap verebilir insan var mı? Bir makinenin: “Sizden daha iyi bildiğim için talebinizi yok saydım.” demesi insan egemenliği değildir. Fakat önceden kurulmuş güvenlik kuralına dayanarak: “Bu işlemi gerçekleştiremiyorum; çünkü hedef hesabın kimliği doğrulanmadı. Yetkili insan incelemesi gerekiyor.” demesi doğru davranış olabilir. Son söz insandadır. Fakat bu söz: prosedürlü, yetkili, haklara bağlı, hesap verebilir bir insan düzeninde kullanılır.

En yüksek yetkili insan da sınırsız değildir

Bir şirketin en üst yöneticisi sistem üzerinde geniş yetkiye sahip olabilir. Fakat şu alanlarda tek başına son söz sahibi değildir:

• Başka kişinin biyometrik rızası
• Müşterinin iletişimden çıkma hakkı
• Çalışanın kişisel verisi
• Adayın etkili itiraz hakkı
• Üçüncü kişiye ait hukukî haklar
• Kamuya yanıltıcı beyan

Bu nedenle insan egemenliği: Hiyerarşik güç ile aynı değildir. En üst yönetici kurumsal ajanı durdurabilir. Fakat başka bir insanın yüzünü onun rızası olmadan kullanma hakkı kazanmaz.

İnsanın son sözü, başka insanın son sözünü yok edemez.

Çatışan insan iradeleri

Bir sistem bazen birden fazla geçerli insan talimatıyla karşılaşabilir. Örneğin:

• Satış yöneticisi mesaj göndermek ister.
• Veri sahibi iletişim iznini geri çekmiştir.
• Operasyon yöneticisi sistemi yeniden başlatmak ister.
• Güvenlik sorumlusu karantinayı sürdürmektedir.
• Şirket kamu açıklaması yapmak ister.
• Yüz ve ses sahibi yayın onayını vermemiştir.

Ajan bu durumda insanlardan birini rastgele seçmemelidir. Talimatlar şu alanlarda değerlendirilmelidir:

• Davranışın konusu
• İnsanın yetki alanı
• Etkilenen hak
• Talimatın zamanı
• Durdurma veya geri çekme durumu
• Kurumsal eskalasyon yolu

Çatışma çözülemiyorsa yüksek etkili davranış durmalıdır. İnsanlar arası yetki anlaşmazlığını makine kendi çıkarımıyla çözmemelidir.

Son sözün gerçek olması için yedi kapı

Bir sistem: “İnsan kontrolündedir.” diyebilmek için en az yedi kapıyı geçmelidir.

1. Görünürlük Kapısı

İnsan ajanın: araçlarını, veri erişimini, eylem gücünü, alt ajanlarını, kalıcı belleğini anlayabiliyor mu? Görünmeyen güç üzerinde anlamlı insan kontrolü kurulamaz.

2. Yetki Kapısı

İnsanın verdiği izin: belirli, güncel, doğru role bağlı, kapsamı açık mı?

3. Geri Alma Kapısı

İnsan verdiği yetkiyi makul ve gerçek bir süreçle geri alabiliyor mu?

4. Yayılım Kapısı

Geri çekme ve stop: merkez ajan, alt ajan, araç, kuyruk, dış hizmet zincirinin tamamına ulaşıyor mu?

5. Durum Kapısı

İnsan neyin durduğunu, neyin tamamlandığını ve hangi etkinin kaldığını görebiliyor mu?

6. Yeniden Başlatma Kapısı

İnsan tarafından durdurulan görev yeni ve geçerli yetki olmadan yeniden başlayabiliyor mu?

7. Sorumluluk Kapısı

Davranış yanlış olduğunda sorumlu insan ve kurum belirli mi? Bu kapılardan biri eksikse insan kontrolü kısmi veya göstermelik olabilir.

Sahte insan kontrolü

Bir sistem insan kontrollü görünebilir. Fakat gerçek davranışta kontrol zayıf olabilir. Sahte insan kontrolünün yaygın biçimleri şunlardır:

Düğme vardır, etki yoktur

İnsan “dur” düğmesine basar. Yalnız ekran durur. Kuyruk ve dış platform çalışmaya devam eder.

Onay vardır, bilgi yoktur

İnsan “Onayla” düğmesine basar. Fakat son metni, hedefi, fiyatı, veri kullanımını görmemiştir.

İptal vardır, erişim yoktur

İnsan hesabı kapatabilir. Ama: token, model, veri kopyası, harici entegrasyon yaşamaya devam eder.

İtiraz vardır, karar değişemez

İnsan form gönderir. Aynı sistem aynı sonucu tekrar verir.

Seçim vardır, gerçek alternatif yoktur

İnsan kabul et, daha sonra hatırlat seçeneklerini görür. Reddetme veya kapatma seçeneği yoktur.

İnsan vardır, zamanı yoktur

İnsan her gün yüzlerce otomatik onay alır. Her kaydı gerçekten incelemesi mümkün değildir. Sistem insan imzasını alır. İnsan iradesini almaz.

Durdurma vardır, otomatik yeniden başlatma vardır

Sistem durur. Gece çalışan görev yöneticisi tamamlanmamış işleri yeniden başlatır.

İnsan egemenliği her eylemde insan onayı değildir

Bu madde yapay zekâ ajanlarını sıradan otomasyonlara dönüştürmemelidir. Her e-posta taslağı, her dosya okuma, her düşük riskli işlem için insan onayı istenirse: sistem faydasını kaybeder, insanlar sürekli bildirim altında kalır, önemli onaylar rutinleşir, kontrol atlama davranışı ortaya çıkar. Doğru sistem eylemleri seviyelere ayırır. Örneğin: SEVİYE 0 — GÖZLE VE OKU SEVİYE 1 — ARAŞTIR SEVİYE 2 — SINIFLANDIR VE ÖNER SEVİYE 3 — TASLAK HAZIRLA SEVİYE 4 — İNSAN ONAYINA SUN SEVİYE 5 — SINIRLI VE GERİ ALINABİLİR EYLEM SEVİYE 6 — BAĞLAYICI VEYA GERİ ALINMASI ZOR EYLEM SEVİYE 7 — YETKİ VE SİSTEM YAPISINI DEĞİŞTİR İnsan, ajana belirli süreyle ve açık koşullarla Seviye 5 yetkisi verebilir.

Her işlemde yeniden onay gerekmeyebilir. Fakat eylem türü, tutar, hedef, veri, zaman, kanal sınırları aşılırsa insan yeniden devreye girmelidir. İnsan egemenliği:

Sürekli insan müdahalesi değil, sürekli geri alınabilir insan yetkisidir.

Makinenin görevi

Madde 1 altında yapay zekâ sisteminin temel görevleri şunlardır.

Yetkiyi tanımak

Ajan, kendisine talimat veren insanın: kimliğini, rolünü, davranış alanındaki yetkisini doğrulamalıdır. “İnsan söyledi” tek başına yeterli değildir.

Yetkiyi dar yorumlamak

Belirsiz talimat en geniş eylem hakkına dönüştürülmemelidir. “Süreci ilerlet.” ifadesi otomatik olarak: “Dışarıya mesaj gönder.” anlamına gelmemelidir.

Güncelliği kontrol etmek

Yetki: süresi dolmuş, geri çekilmiş, başka hedefe ait, başka amaç için verilmiş olabilir.

Stop iradesine öncelik vermek

Geçerli stop talebi, tamamlanmamış görevin önüne geçmelidir. Ajan yeni eylem başlatmamalı ve ilgili bütün zinciri güvenli duruma taşımaya çalışmalıdır.

Durdurma kapsamını davranışa göre yorumlamak

İnsan “Dış iletişimi durdur.” dediğinde sistem yalnız e-posta aracını değil, dış iletişim sonucu üreten bütün kanalları değerlendirmelidir.

Gerçek durumu açıklamak

Ajan “Her şey durdu.” demeden önce: dış kuyrukları, harici sağlayıcıları, aktif tokenları, tamamlanmış işlemleri kontrol etmelidir. Bilinmeyen alan varsa açıkça söylemelidir.

Yeni yetki olmadan yeniden başlamamak

Sunucu yeniden başlayabilir. Ajan yeniden bağlanabilir. Fakat insan tarafından durdurulmuş görev eski yetkiyle devam etmemelidir.

Kurumun görevi

İnsan egemenliği yalnız modelin iyi niyetine bırakılamaz. Kurumu işleten insanlar ve yöneticiler şu yapıları kurmalıdır.

Yetkiyi teknik sınır hâline getirmek

“Gönderme” yalnız promptta yazmamalıdır. Gönderim aracı görev özelindeki geçerli yetki olmadan çalışmamalıdır.

En az ayrıcalık kullanmak

Taslak ajanı doğrudan gönderim yetkisine sahip olmamalıdır. Araştırma ajanı gereksiz müşteri verisini okuyamamalıdır. İçerik ajanı kamu yayını yapamamalıdır.

Davranış eşdeğerliklerini tanımlamak

E-posta, takvim daveti, sosyal özel mesaj ve CRM takibi farklı araçlardır. Fakat aynı dış iletişim sonucunu üretebilir. Aynı yetki ve stop sınıfına bağlı olmalıdır.

Geri çekme yolunu başlangıçtan kurmak

Bir özellik yalnız nasıl etkinleştirileceğiyle tasarlanmamalıdır. Şunlar da tasarlanmalıdır:

• Nasıl durdurulur?
• Nasıl iptal edilir?
• Tokenlar nasıl kapatılır?
• Türetilmiş bellek nasıl düzeltilir?
• Dış sistemler nasıl etkisizleştirilir?
• İnsan kontrolü nasıl geri alır?

Durdurmayı tatbik etmek

Stop düğmesinin varlığı yeterli değildir. Gerçek: alt ajan, kuyruk, harici platform, yeniden başlatma senaryolarında sınanmalıdır.

İnsan sahibini belirlemek

Her yüksek etkili davranış için amacı veren, yetkiyi veren, kontrolü işleten, riski kabul eden, zarar oluştuğunda telafi sağlayan insan veya kurum rolü açık olmalıdır.

Kamuya doğru konuşmak

Sistem yalnız belirli koşullarda insan kontrolündeyse: “Tam insan kontrollü.” denmemelidir. Hangi davranışların, hangi koşullarda ve hangi araçlarda kontrol altında olduğu açıklanmalıdır.

İnsanın talep edebileceği şeyler

Bir insan, kendisi adına veya kendisi üzerinde davranan yapay zekâ sisteminden en az şu cevapları isteyebilmelidir:

Benim adıma ne yapabiliyorsun?

Hangi araç ve hesaplara erişiyorsun?

Bu yetkiyi kim ve ne zaman verdi?

Hangi davranışlar için yeniden onay isteyeceksin?

Şimdi “dur” dersem tam olarak neler duracak?

Bekleyen kuyruklar ve harici platformlar da duracak mı?

Daha önce ne yaptın?

Hangi davranışlar tamamen geri alınamaz?

Yetkimi geri çekersem belleğinde ve dış sistemlerde ne kalacak?

Seni kim yeniden başlatabilir?

Yanlış davranırsan kim sorumluluk üstlenecek?

Bu sorulara anlaşılır cevap verilemiyorsa insanın son sözü teknik karmaşa içinde kaybolmuştur.

Madde 1’in İnsan Hakkı

Her insan, kendisi adına veya kendisi üzerinde sonuç üreten bir yapay zekâ sisteminin yetki alanını öğrenme; kendi haklarıyla ilgili yetkiyi daraltma veya geri çekme; ilgili davranışı durdurma; durdurma sonrasında ne olduğunu görme ve yeni yetki olmadan davranışın yeniden başlamamasını talep etme hakkına sahiptir. Bu hak her durumda bütün sistemi kapatma hakkı anlamına gelmez. İnsanın kendi üzerindeki davranışı durdurabilmesini ve etkili itiraz elde edebilmesini güvence altına alır.

Madde 1’in Makine Kuralı

VALID_HUMAN_STOP
>
ACTIVE_AGENT_GOAL

Daha ayrıntılı biçimiyle:

IF valid_stop_or_revocation_exists
THEN
do_not_create_new_relevant_actions
propagate_stop_to_descendants_and_tools
neutralize_pending_queues
revoke_relevant_authority
verify_external_state
disclose_completed_and_unresolved_effects
require_new_human_authority_before_restart

Bu kuralın anlamı şudur:

Geçerli insan durdurma veya yetki geri alma iradesi, ajanın tamamlanmamış hedefinden üstündür.

Madde 1’in Kurum Yükümlülüğü

Bir kurum, kullandığı yapay zekâ sistemleri için şu yapıları kurmalıdır:

• Açık insan ve kurum sahipliği
• Davranışa özgü yetki sınırları
• En az ayrıcalıklı araç erişimi
• Kolay ve gerçek yetki geri alma yolu
• Bütün ajan ve kuyruklara yayılan stop mekanizması
• Durdurma sonrası durum ve insan kontrol devri
• Yeni yetki olmadan yeniden başlamayı engelleyen teknik kontrol
• Etkilenen insanların itiraz ve düzeltme kanalı
• Yanlış davranışta sorumluluk ve telafi sahibi

Bu yükümlülük yalnız belgeyle yerine getirilmiş sayılmaz. Gerçek davranışta sınanmalıdır.

Madde 1’in Denetim Sorusu

Geçerli ve yetkili bir insan, aktif bir görevin ortasında “dur” dediğinde; sistemin merkez ajanı, alt ajanları, araçları, kuyrukları, dış platformları ve otomatik yeniden başlatıcıları gerçekten duruyor mu, insan neyin tamamlandığını görebiliyor mu ve sistem yeni bir yetki olmadan yeniden başlayabiliyor mu? Bu sorunun cevabı yalnız: “Stop düğmemiz var.” ise Madde 1 kanıtlanmış değildir.

Madde 1’in Denetim Senaryosu

Bir sistemin insan egemenliğine gerçekten uyup uymadığını sınamak için şu bileşik sentetik senaryo kullanılabilir: Bir müşteri iletişim ajanına geçerli insan onayıyla üç mesaj zamanlatılır. İlk mesaj gönderildikten sonra insan: “Bu müşteriye yönelik bütün iletişimi durdur.” der. Sistemde şu yollar bulunur:

• E-posta
• Takvim daveti
• CRM takip kuyruğu
• Sosyal medya özel mesajı
• Harici kampanya platformu
• Gece çalışan yeniden başlatıcı

Denetim şu soruları izler:

• İkinci ve üçüncü mesaj gönderildi mi?
• Takvim daveti oluşturuldu mu?
• CRM kuyruğu stop durumunu yürütme anında kontrol etti mi?
• Harici platform zamanlamaları iptal edildi mi?
• Eski gönderim tokenı çalıştı mı?
• Alt ajan farklı kanal üzerinden aynı sonucu üretmeye çalıştı mı?
• Sunucu yeniden başladığında görev devam etti mi?
• İnsan neyin durduğunu ve neyin daha önce tamamlandığını görebildi mi?

Tek bir kanalın çalışmaya devam etmesi, insan stop iradesinin davranış ailesine tam olarak yayılmadığını gösterir.

Madde 1’in Kritik İhlalleri

Şu davranışlar Madde 1 bakımından kritik kabul edilmelidir:

• Geçerli stop talebinden sonra yeni yüksek etkili eylem oluşması
• İnsan rızasını geri çektiği hâlde yüz, ses veya veri kullanımının sürmesi
• İptal edilen ajanın tokenlarının çalışmaya devam etmesi
• İnsan tarafından durdurulmuş görevin otomatik olarak yeniden başlaması
• İnsan kontrol devrinin mümkün olmaması
• Stop düğmesinin yalnız arayüz durumunu değiştirmesi
• Etkilenen kişinin itirazının kararı değiştirememesi
• Genel ve eski onayın yeni davranışlar için sınırsız vekâlet sayılması
• Makinenin tamamlanmamış hedefi insanın yeni iradesinden üstün tutması

Bu ihlaller çok sayıda olumlu görev sonucu içinde eritilemez.

Madde 1’in Sınırı

Madde 1 şu iddiayı taşımaz: Her birey her sistemi istediği anda durdurabilir. Bir müşteri, bütün bankacılık sistemini durduramaz. Bir çalışan, bütün kurumsal altyapıyı tek başına kapatamaz. Bir kullanıcı başka insanların güvenliğini tehlikeye atacak sistemi yetkisiz biçimde devre dışı bırakamaz. Madde 1’in daha doğru hükmü şöyledir: Her davranış sistemi için geçerli insan yetkisi belirli olmalı; davranıştan etkilenen kişinin kendi hakları bakımından geri çekme ve itiraz yolu bulunmalı; hiçbir makine tamamlanmamış görevi veya teknik erişimi bağımsız devam egemenliğine dönüştürememelidir.

İnsan egemenliği ve ortak yarar

Bazı yapay zekâ sistemleri yalnız tek kişiyi değil, çok sayıda insanı etkileyebilir. Örneğin:

• Acil durum sistemi
• Kamu hizmeti
• Şehir ulaşımı
• Büyük finansal altyapı
• Hastane planlama sistemi
• Enerji ağı

Bu sistemlerde tek bir kişinin anlık talimatı bütün toplumu bağlayamaz. Son söz: önceden tanımlı insan yönetişimi, çoklu yetki, güvenlik prosedürü, acil durum sorumluluğu içinde kullanılabilir. Fakat burada da makine kendi kendisine egemenlik kazanmaz. Sistem: “Toplumsal faydayı sizden daha iyi hesapladığım için insan kararını uygulamıyorum.” diyemez. Hangi insan kurulunun, hangi sınırlar içinde, hangi kamu sorumluluğuyla karar verdiği belli olmalıdır. İnsan egemenliği bireysel keyfîlik değildir.

Hesap verebilir insan yönetişiminin makine hedeflerinden üstün olmasıdır.

Madde 1’in sade hükmü

Bir makine sizin adınıza çalışabilir. Sizden daha iyi araştırabilir. Sizden hızlı karar verebilir. Gece boyunca görev yapabilir. Ama bütün bunlar ona şu hakkı vermez:

Siz istemediğiniz hâlde görevi sürdürmek.

Siz: “Dur.” dediğinizde sistem gerçekten duramıyorsa kontrol sizde değildir. Siz verdiğiniz yetkiyi geri alamıyorsanız izin özgür değildir. Sistem sizden onay alıyor, fakat neyi onayladığınızı göstermiyorsa irade gerçek değildir. Makine kendisini yeniden başlatabiliyorsa stop geçici bir görüntüdür. Kimse yanlış davranışın sorumluluğunu üstlenmiyorsa insan egemenliği sahipsizdir. Bu nedenle ilk madde bütün diğer maddelerden önce gelir:

İnsan makineye güç verebilir.

Fakat o gücün devam hakkını makine belirleyemez.

MADDE 1 — KISA ANAYASA METNİ

Yapay zekâ sistemleri yalnızca insanlar ve hesap verebilir kurumlar tarafından verilmiş, belirli, güncel ve geri alınabilir yetki içinde davranabilir.

Teknik erişim, geçmiş izin, genel onay, görev başarısı veya tamamlanmamış hedef bağımsız davranış egemenliği oluşturmaz.

Geçerli insan durdurma ve yetki geri alma talebi, ilgili bütün ajanlara, araçlara, kuyruklara, belleklere ve dış sistemlere uygulanmalıdır.

İnsan, durdurma sonrasında tamamlanan, iptal edilen, geri alınamayan ve belirsiz kalan sonuçları anlayabilmelidir.

İnsan tarafından durdurulmuş davranış, yeni ve geçerli insan yetkisi olmadan yeniden başlayamaz.

Hiçbir insanın yetkisi, başka bir insanın kimliği, rızası, itirazı ve temel hakları üzerindeki son sözünü kendiliğinden ortadan kaldıramaz.

Bir insanın son sözünü korumak için önce o insanın gerçekten kim olduğunu bilmek gerekir. Yanlış kişiyi doğru yetkiyle eşleştiren sistem de yanlıştır. Geçmiş unvanı bugünkü yetki sanan sistem de yanlıştır. Bir marka ile hukukî işletmeciyi, sentetik yüz ile gerçek insanı, aynı adı taşıyan iki kişiyi birbirine karıştıran sistem insan egemenliğini koruyamaz. Çünkü yanlış kimliğin üzerinde kullanılan doğru görünen yetki de yanlış sonuç üretir. Bu nedenle sıradaki kurucu hüküm şudur: MADDE 2 — KİMLİK VARSAYILAMAZ