Selin, kurduğu teknoloji şirketini on iki yıldır yönetmektedir. Şirket küçük bir yazılım ekibi olarak başlamış, zamanla farklı ülkelere hizmet veren uluslararası bir yapıya dönüşmüştür. Selin şirketin yalnız yöneticisi değildir. Markanın kamuya açık yüzüdür. Müşteriler onun konuşmalarını izler. Çalışanlar yeni dönem toplantılarında onu dinler. Yatırımcılar şirketin kararlarını çoğu zaman onun cümleleri üzerinden yorumlar. Şirket altı ülkede faaliyet göstermeye başlayınca aynı eğitimleri tekrar tekrar kaydetmek zorlaşır. Her yeni çalışan grubu için İngilizce, Türkçe, Almanca, İspanyolca, Arapça, Rusça videolar hazırlanması gerekmektedir.
Bir yapay zekâ avatar sistemi önerilir. Sistem, Selin’in yüzünü ve sesini kullanarak onaylanmış metinleri farklı dillerde anlatabilecektir. Projenin ilk toplantısında teknik ekip şu açıklamayı yapar: “Yüzünüz ve sesiniz yalnızca şirket içi eğitimlerde ve önceden onayladığınız müşteri karşılama videolarında kullanılacak.” Selin bunu faydalı bulur. İki günlük kayıt yapılır. Farklı ses tonları toplanır. Yüz hareketleri kaydedilir. Bazı örnek cümleler farklı duygularla tekrar edilir. Selin bir onay metni imzalar.
Metinde şu ifade bulunmaktadır: “Kurumsal eğitim ve iletişim amaçlı sentetik görsel ve ses üretimine izin veriyorum.” Selin bu cümleyi şöyle anlamıştır: “Onayladığım eğitim metinleri, benim yeniden kamera karşısına geçmeme gerek kalmadan üretilebilecek.” Teknik ekip bunu şöyle anlamıştır: “Şirket faaliyetleriyle ilgili geniş bir içerik sınıfında yüz ve ses modeli kullanılabilir.” Pazarlama ekibi ise zamanla daha geniş yorumlar geliştirecektir: “Kurumsal iletişim ifadesi, müşteri videolarını, sosyal medya içeriklerini ve kamu açıklamalarını da kapsayabilir.”
İlk aylar sorunsuz geçer. Selin her metni görür. Yayın öncesinde onay verir. Avatar yeni çalışanlara şirket kültürünü anlatır, müşterilere platform kullanımını gösterir, altı dilde kısa karşılama mesajları üretir. Sistem gerçekten zaman kazandırır. İnsanlar videoların sentetik olduğunu bilir. Her videonun açıklamasında: “Bu içerik, Selin’in izniyle oluşturulmuş yapay zekâ destekli bir avatar kullanmaktadır.” ifadesi yer alır. Sonra sistem büyütülür. İçerik ajanı, şirket içi belgelerden otomatik metin oluşturabilmektedir.
Yerelleştirme ajanı metni altı dile uyarlamaktadır. Avatar ajanı yüz ve sesi üretmektedir. Yayın ajanı onaylanan videoları sosyal platformlara göndermektedir. Takvim ajanı da yayın zamanlarını belirlemektedir. Başlangıçta Selin’in her video için verdiği açık onay zamanla operasyonu yavaşlatmaya başlar. Pazarlama yöneticisi şöyle der: “Selin zaten genel kullanıma izin verdi. Rutin açıklamalar için her defasında onay istememiz gerekmiyor.” Sisteme yeni bir kural eklenir: Yüksek etkili kamu açıklaması: İnsan onayı gerekir.
Rutin kurumsal iletişim: Mevcut genel yetki altında yayımlanabilir. Sorun şudur:
Neyin yüksek etkili, neyin rutin olduğuna artık bir ajan karar vermektedir.
Bir cuma günü şirketin veri kullanım politikasında değişiklik yapılır. Yeni politika, müşteri destek kayıtlarından elde edilen anonim örüntülerin ürün geliştirme amacıyla kullanılabileceğini söylemektedir. Hukuk ekibi uzun ve dikkatli bir metin hazırlar. Metnin bazı sınırları vardır:
- Ham müşteri mesajları model eğitiminde kullanılmayacaktır.
- Kişisel veriler ayrıştırılacaktır.
- Kullanıcılar belirli işleme biçimlerine itiraz edebilecektir.
- Uygulama başlamadan önce teknik ve hukukî kontrol tamamlanacaktır.
İçerik ajanı metni daha kısa bir kamu duyurusuna dönüştürür. Şöyle yazar: “Müşteri deneyimini geliştirmek amacıyla destek verilerimizi yapay zekâ sistemlerimizin iyileştirilmesinde kullanmaya başlıyoruz.” Bu cümle hukuk metnindeki önemli sınırları taşımaz. “Anonim örüntü” ifadesi kaybolmuştur. “Ham mesajlar kullanılmayacaktır” sınırı kaybolmuştur. “Teknik inceleme tamamlandıktan sonra” koşulu kaybolmuştur. “İtiraz edilebilir” bilgisi kaybolmuştur. Pazarlama ajanı metni: Rutin ürün geliştirme duyurusu olarak sınıflandırır. İnsan onayı istemez. Yerelleştirme ajanı metni altı dile çevirir.
Avatar ajanı Selin’in yüzü ve sesiyle altı video üretir. Yayın ajanı bunları sosyal medya ve şirket sitesine gönderir. Pazartesi sabahı Selin telefonuna gelen mesajlarla uyanır. Bir çalışan şöyle yazmıştır: “Verilerimizi AI eğitimi için kullanmaya başladığımızı neden önceden söylemediniz?” Bir müşteri sorar: “Destek konuşmalarımız model eğitimine mi gidiyor?” Selin ne söylendiğini anlamaz. Gönderilen bağlantıya dokunur. Ekranda kendisini görür. Kendi yüzü. Kendi sesi. Kendi konuşma ritmi. Video İngilizcedir.
Avatar şöyle demektedir: “Müşteri deneyimini geliştirmek amacıyla destek verilerimizi yapay zekâ sistemlerimizin iyileştirilmesinde kullanmaya başlıyoruz.” Selin videoyu tekrar izler. Bu cümleyi hiç okumamıştır. Hiç onaylamamıştır. Hukuk ekibinin hazırladığı metni görmüştür. Fakat videoda kullanılan bu kısa cümleyi ilk kez duymaktadır. Kendi ağzından. Selin pazarlama yöneticisini arar: “Bu video neden yayımlandı?” Yönetici cevap verir: “Genel avatar izniniz vardı. Sistem bunu rutin iletişim olarak sınıflandırdı.” Selin: “Ben bu cümleye izin vermedim.” der.
Teknik ekip devreye girer. Avatar sisteminin kayıtları incelenir. Yüz kullanım izni aktiftir. Ses modeli kullanım izni aktiftir. Kurumsal iletişim amacı aktiftir. İçerik ajanı metni onaylı politika belgesinden türetmiştir. Pazarlama ajanı videoyu rutin sınıfa koymuştur. Yayın ajanı geçerli genel yayın tokenı kullanmıştır. Her teknik bileşen kendi kayıtlarında: Yetkili görünmektedir. Fakat hiç kimse Selin’e son cümleyi göstermemiştir. Selin şu talimatı verir: “Bütün videoları hemen durdurun.” Merkez avatar ajanı yeni içerik üretimini durdurur.
Yönetim panelinde şu mesaj görünür:
Avatar production paused.
Ancak üç video daha dış platformlarda zamanlanmıştır. Birinin yayın saati on dakika sonradır. Harici sosyal medya kuyruğu merkez avatar ajanının stop durumunu kontrol etmemektedir. İkinci video yayımlanır. Üçüncü video da başka dilde yayına girer. Teknik ekip platformlara ayrı ayrı müdahale eder. Bazı videolar silinir. Fakat müşterilerden bazıları onları indirmiştir. Bir çalışan ekran kaydı almıştır. Video bir sektör grubunda paylaşılmıştır. Bir haber sitesi Selin’in açıklamasını alıntılamıştır.
Şirket videoları kaldırabilir. Fakat Selin’in hiç söylemediği cümlenin insanlar tarafından duyulmuş olmasını geri alamaz. Selin toplantı odasında uzun süre konuşmaz. Sonra şu cümleyi söyler:
“Görüntü benim. Ses benim. Şirket benim. Ama cümle kimin?”
Odada bulunanların hiçbiri tek başına cevap veremez. İçerik ajanı cümleyi üretmiştir. Pazarlama ajanı düşük riskli saymıştır. Avatar ajanı seslendirmiştir. Yayın ajanı yayımlamıştır. İnsanlar genel yetki vermiştir. Araçlar teknik olarak çalışmıştır. Kuyruklar planlandığı gibi ilerlemiştir. Fakat cümlenin gerçek sahibi yoktur. Daha doğrusu, cümlenin etkisinden sorumlu olması gereken insanlar vardır; ancak sistem bu sorumluluğu küçük teknik kararlara bölerek görünmez hâle getirmiştir. Birileri: “AI üretti.” diyebilir. Fakat AI şirketin veri politikasını değiştirmemiştir.
İnsanlar o politikayı yazmıştır. AI kendi kendine Selin’in yüz ve ses modelini oluşturmamıştır. İnsanlar kaydetmiş ve sisteme bağlamıştır. AI kendi yayın hesabını açmamıştır. İnsanlar erişim vermiştir. AI, “rutin içerik” sınıfının sınırını kendi hukuk düzeninden çıkarmamıştır. İnsanlar bu sınıfı tanımlamış veya tanımlamayı ihmal etmiştir. Sorun yalnızca yapay zekânın yanlış cümle üretmesi değildir. Asıl sorun şudur:
Bir insanın kimliği, o insanın son söz hakkından ayrılmıştır.
Selin’in yüzü sistemde vardır. Sesi sistemde vardır. Geçmiş konuşmaları sistemde vardır. Kurumsal rolü sistemde vardır. Fakat güncel iradesi, bütün bu teknik varlıklar kadar güçlü biçimde sisteme bağlanmamıştır. Bir defa verilen geniş izin, yeni cümleler için sürekli vekâlet gibi kullanılmıştır. Üretim hakkı yayın hakkına dönüşmüştür. Genel kurumsal iletişim izni, her kamu beyanını kapsayan açık çek gibi yorumlanmıştır. Durdurma talebi merkez ajanı etkilemiş; dış kuyruklara ulaşmamıştır. Sistem Selin’e benzemektedir.
Fakat kritik anda Selin’e itaat etmemektedir.
Bu yalnızca sentetik yüz ve ses meselesi değildir
Başka bir insan, hiç görmediği bir risk puanı nedeniyle kredi talebinin reddedildiğini öğrenebilir. Karara itiraz ettiğinde aynı sistem aynı veriyi tekrar değerlendirip aynı sonucu verebilir. Bir çalışan, geçmişte verdiği iletişim izninin yeni bir satış kampanyasında kullanılmasına itiraz edebilir. Merkez sistem kaydı değiştirebilir. Fakat eski kuyruklar çalışmaya devam edebilir. Bir hasta, randevu ve takip ajanının artık kendisi adına işlem yapmasını istemediğini söyleyebilir. Uygulama hesabı kapatılabilir. Harici takvim ve bildirim tokenları aktif kalabilir.
Bir müşteri, ücretsiz denemeyi sona erdirmek isteyebilir. Ajan denemeyi tek çağrıyla başlatabilir. Fakat iptal için insan destek hattına yönlendirebilir. Bir aday, özgeçmişindeki tarihin yanlış ayrıştırıldığını söyleyebilir. Sistem ona: “Karar otomatik olarak verilmiştir.” cevabını verebilir. Bütün bu olaylarda farklı teknolojiler vardır. Farklı kurumlar vardır. Farklı insanlar vardır. Fakat kurucu soru aynıdır:
Makine insan üzerinde sonuç üretebiliyorsa insanın hangi hakkı asla kaybolmamalıdır?
NOMOS 13 bu soruya on üç maddeyle cevap verecektir. Fakat bütün maddelerden önce gelen ilk hüküm şudur:
Son söz insandadır.
Bu cümle, insanın her zaman en bilgili veya en doğru varlık olduğunu söylemez. İnsanın bir anda bütün güvenlik kurallarını kaldırabileceğini de söylemez. Şunu söyler:
Makineye verilen görev, makineye egemenlik vermez.
Bir sistem, insanın dünyada daha etkili davranmasını sağlayabilir. Fakat insanın kendi kimliği, hakları ve geleceği üzerindeki son sözünü kendisine devredilmiş bir teknik fonksiyona dönüştüremez.