Bu kitap boyunca makinenin ne kadar akıllı olabileceğini tartışmadık. Daha zor olanı tartıştık:
Makine ne kadar güç kullanabilir?
Ve bu güç insan hayatına dokunduğunda: kimlik, temsil, amaç, rıza, yetki, seçim, eylem, bellek, açıklama, itiraz, telafi, sorumluluk nasıl korunacaktır? NOMOS 13’ün kurduğu anayasal sıra şöyledir:
1. İnsan son sözü ve durdurma hakkını devredemez.
Makineye geniş otonomi verilebilir. İnsan stop dediğinde davranış zinciri durabilmelidir.
2. Kimlik varsayılamaz.
Benzerlik, olasılık veya ortak kayıt gerçek insanın yerine geçemez.
3. Temsil doğru ve düzeltilebilir olmalıdır.
İddia bulgu, tahmin kişilik ve geçmiş güncel gerçek gibi sunulamaz.
4. Amaç sessizce değiştirilemez.
Bir amaç için verilen veri, görev ve erişim başka davranış alanına görünmeden taşınamaz.
5. Rıza belirli, bilgilendirilmiş ve geri alınabilir olmalıdır.
Dünkü evet bugünkü hayırdan güçlü değildir.
6. Yetki devredilebilir, kendiliğinden genişletilemez.
Teknik güç, davranış hakkı değildir.
7. Seçim manipüle edilemez.
İnsan, başkasının gizli çıkarıyla hazırlanmış sahte seçenek evreninde karar vermeye zorlanamaz.
8. Makine eylemi görünür ve makbuzlu olmalıdır.
Araç çağrısı değil, dünyada gerçekten ne olduğu bilinmelidir.
9. Bellek insan iradesine boyun eğmelidir.
İnsan dün verdiği karara, geçici zayıflığına veya yanlış çıkarıma sonsuza kadar hapsedilemez.
10. İnsan, makinenin davrandığını bilmelidir.
Makine insan adına davranabilir. İnsanın kendisi gibi görünerek onun güvenini ödünç alamaz.
11. İnsan gerekçeyi sorgulayabilmelidir.
İnsan modelin bütün gizli iç sürecini değil, kendi hayatında sonuç üreten gerçek nedeni öğrenebilmelidir.
12. İnsan itiraz edebilir, durdurabilir, çıkabilir ve telafi isteyebilir.
Hak yolu yalnız şikâyet alma değil, sistemi ve insanın gerçek durumunu değiştirme gücüdür.
13. Kurum sorumluluğu makineye devredemez.
Ajan davranabilir. Model karar verebilir. Araç dış dünyada işlem yapabilir. Fakat insanın karşısında gerçek kurum ve gerçek insan sahipliği kalmalıdır.
Bu on üç madde birbirinden bağımsız değildir. Bir zincirdir. Kimlik yanlışsa rıza yanlış kişiye bağlanır. Temsil yanlışsa seçim bozulur. Amaç kayarsa eski rıza yeni kullanıma dönüşür. Yetki genişlerse makine insan adına davranır. Eylem görünmezse insan neyi durduracağını bilemez. Bellek yanlışsa hata gelecekte yeniden doğar. Makine kimliğini saklarsa güven yanlış aktöre yönelir. Gerekçe yoksa insan itiraz edemez. İtiraz sonuç üretmiyorsa hak görünüşte kalır. Kurum sorumluluğu reddederse bütün önceki maddeler sahipsizleşir.
Bu nedenle NOMOS 13 tek bir güvenlik kontrolü değildir.
Davranış gücünün insan dünyasına hangi koşullarla girebileceğine ilişkin bütünlüklü bir sınırdır.
Bu kitap makineyi küçültmek için yazılmadı
Makine insandan daha hızlı araştırabilir, binlerce kaydı karşılaştırabilir, karmaşık iş akışlarını yönetebilir, uzun süre kesintisiz çalışabilir, insanın ulaşamayacağı ölçekte denetim yapabilir. Bu güç değerlidir. Ancak güç sahipsiz kaldığında hız, hatayı da hızlandırır. Bellek, yanlışlığı da kalıcılaştırır. Otonomi, yetki aşımını da büyütür. Kişiselleştirme, insan kırılganlığını da kullanabilir. İnsan benzerliği, yanlış güveni de derinleştirebilir. Bu nedenle sınır makinenin düşmanı değildir.
Sınır, makinenin insan dünyasında meşru biçimde güçlü olabilmesinin koşuludur.
Bu kitap insanın her zaman haklı olduğunu da söylemedi
İnsan yanılabilir, kötüye kullanabilir, yanlış talimat verebilir, başkasının hakkını ihlal edebilir, gerçek güvenlik önlemlerine itiraz edebilir. NOMOS 13, insan sözünü her kanıtın üstüne koymaz. İnsana: görünürlük, düzeltme, itiraz, son söz, gerçek muhatap verir. İnsan son sözü kullanırken de: başka insanların hakları, doğru kanıt, güvenlik, kurumsal sınırlar korunur.
İnsan son söz sahibi, kurum son sorumluluk sahibidir
Bu kitabın iki ucunda iki hüküm bulunmaktadır:
İnsan son sözü devredemez.
ve:
Kurum son sorumluluğu devredemez.
İnsan durdurabilir, rızasını geri alabilir, itiraz edebilir, çıkabilir. Kurum sahiplenir, açıklar, düzeltir, telafi eder. Bu iki sınır arasında makinenin gerçek hareket alanı doğar. Makine araştırabilir, önerebilir, seçebilir, yazabilir, gönderebilir, satın alabilir, planlayabilir, yönetebilir. Fakat bu güç: doğru kimlik, açık amaç, geçerli rıza, sınırlı yetki, dürüst seçim, görünür eylem, düzeltilebilir bellek, açık makine rolü, sorgulanabilir gerekçe, etkili hak yolu, kaybolmayan kurumsal sorumluluk içinde kalmalıdır.
NOMOS’UN SON CÜMLESİ
Makineye davranış gücü verilebilir.
Fakat insan üzerindeki son söz makineye bırakılamaz.
Görevler, kararlar ve eylemler makineye devredilebilir.
Fakat insan karşısındaki son kurumsal sorumluluk devredilemez.
İnsan son sözü koruduğu, kurum son sorumluluğu taşıdığı ve makine bu iki sınır arasında görünür, denetlenebilir ve durdurulabilir biçimde davrandığı sürece otonomi insanlığın kaybı değil, ortak kapasitesinin büyümesi olabilir.
NOMOS 13 burada tamamlanır.