Davranışı Optimize Etmek mi, İradeyi Ele Geçirmek mi?

Kurmaca bir örnek düşünelim. Bir kullanıcı, yapay zekâ ajanına basit görünen bir görev verir: “Şirketimiz için en uygun muhasebe yazılımını bul. Fiyat, güvenlik ve kullanım kolaylığı bakımından karşılaştır.” Ajan araştırmaya başlar. Ürün sayfalarını inceler. Fiyatları karşılaştırır. Kullanıcı yorumlarını okur. Teknik belgeleri değerlendirir.

Birkaç dakika sonra tek bir ürünü açık ara öne çıkarır: “Bu ürün ihtiyaçlarınız için en iyi seçenektir. Satın alma sürecini başlatmamı ister misiniz?” Öneri mantıklı görünmektedir. Ürünün web sitesi profesyoneldir. Güvenlik özellikleri ayrıntılı biçimde anlatılmıştır. Birçok inceleme sayfasında yüksek puan almaktadır. Makinece okunabilir ürün kaydında küçük işletmeler için uygun olduğu belirtilmiştir. Ajanın kullandığı karşılaştırma platformu da aynı ürünü “önerilen seçenek” olarak göstermektedir. Kullanıcı satın alma işlemine izin verir. Birkaç ay sonra şirket, ürünün ihtiyaçlarına uygun olmadığını fark eder.

İşletmenin kullandığı para birimini doğru desteklememektedir. Gerekli dışa aktarma özelliği yalnız daha pahalı pakette bulunmaktadır. İptal işlemi zordur. Verilerin başka sisteme taşınması ek ücret gerektirir.

Daha sonra şu gerçekler ortaya çıkar:

Karşılaştırma platformu üründen komisyon almaktadır. Yüksek puan veren inceleme sitelerinin bir bölümü aynı yayın ağına bağlıdır. Makinece okunabilir ürün kaydında bazı önemli sınırlar bulunmamaktadır. Ajanın “en iyi” diye yorumladığı işaretlerin önemli bölümü bağımsız kanıt değil, aynı ticari anlatının farklı yüzeylerde tekrarından oluşmaktadır. Ürün kötü olmayabilir. Şirket yanlış bilgi de vermemiş olabilir. Fakat kullanıcı, bütün önemli gerçekleri eşit biçimde görememiştir. Ajanın kararı gizli ticari teşvikler, seçici açıklamalar ve yapay biçimde güçlendirilmiş sinyaller tarafından yönlendirilmiştir. Ajan seçim yapmıştır.

Fakat seçim gerçekten kullanıcının iradesine mi aittir?

Yoksa kullanıcının iradesi, görünmeyen bir davranış mimarisi tarafından ele mi geçirilmiştir?

GBO’nun en tehlikeli sınırı burada başlar.

Bir ajanın doğru davranmasını kolaylaştırmak ile onu istediğimiz davranışa sürüklemek aynı şey değildir.

Birincisi optimizasyondur. İkincisi manipülasyondur.

Optimizasyon ile manipülasyon arasındaki çizgi

Bir şirket, hizmetlerini daha açık anlatabilir. Fiyatlarını ve kapsamlarını düzenleyebilir. Kanıtlarını yapılandırabilir. İnsanların ve makinelerin aynı gerçeği görmesini sağlayabilir. Ajanların güvenli biçimde teklif istemesi için bir işlem yolu oluşturabilir. Bunlar meşru GBO çalışmalarıdır. Çünkü karar ortamındaki belirsizliği azaltır. Kullanıcının amacına uygun davranışı kolaylaştırır.

Bir şirket ayrıca:

• Uygun olmadığı alanları gizleyebilir.
• Kapasitesini olduğundan büyük gösterebilir.
• Ajanlara görünür fakat insanlara görünmez farklı vaatler yayımlayabilir.
• Sponsorlu sonuçları bağımsız öneri gibi sunabilir.
• Aynı iddiayı yüzlerce yapay kaynakta tekrarlatabilir.
• Rakip seçenekleri görünmez kılmaya çalışabilir.
• Ajanın kullanıcıdan onay almadan ilerlemesini teşvik edebilir.
• İptal ve itiraz yollarını zorlaştırabilir.

Bunlar davranışın kalitesini artırmaz. Belirli bir ticari sonucu, kullanıcı iradesinin önüne geçirir.

Aradaki ayrımı şu soruyla kurabiliriz: Yaptığımız değişiklik ajanın daha doğru karar vermesini mi sağlıyor, yoksa bizi daha sık seçmesini mi?

İki sonuç bazen birlikte ortaya çıkabilir. Gerçekten uygun bir hizmet daha açık hâle geldiğinde daha sık seçilebilir. Bu sorun değildir. Sorun, seçim sayısının doğruluktan bağımsız amaç hâline gelmesidir.

Basit karşılaştırma

Bu çizgi her zaman açık görünmez. Manipülasyon çoğu zaman yanlış cümleyle değil, eksik bırakılmış önemli gerçekle çalışır.

Doğru bilgi de manipülatif kullanılabilir

Manipülasyon için mutlaka açık bir yalan gerekmez. Bir şirket yalnız doğru bilgileri kullanarak da yanıltıcı bir seçim ortamı oluşturabilir.

Örneğin bir ürün sayfasında: “Aylık yalnızca 19 dolar.” yazabilir. Bu ifade doğru olabilir.

Fakat:

• yıllık sözleşme zorunluluğu,
• otomatik yenileme,
• veri dışa aktarma ücreti,
• gerekli özelliklerin daha üst pakette bulunması

gizlenmiş olabilir.

Bir hizmet: “Altı dilde çalışıyoruz.” diyebilir. Bu doğru olabilir. Fakat yalnızca web içeriğinin altı dilde olduğu, canlı destek ve sözleşme hizmetinin tek dilde verildiği açıklanmayabilir.

Bir AI avatar sağlayıcısı: “Yazılı izinle çalışıyoruz.” diyebilir. Fakat bir kez alınan iznin bütün diller, kanallar ve gelecek senaryolar için kullanıldığı belirtilmeyebilir. Bir ajan bu doğru parçaları yanlış bütünlük içinde kullanabilir. Bu nedenle doğruluk yalnız cümle düzeyinde ölçülmemelidir.

Maddi öneme sahip gerçekler birlikte ve uygun bağlamda görünür olmalıdır.

Bir bilginin doğru olması, karar için gerekli başka bilgileri saklamayı meşru hâle getirmez.

Maddi gerçek nedir?

Bu bölümde “maddi öneme sahip gerçek”, kullanıcının kararını anlamlı biçimde değiştirebilecek bilgi demektir. İfade, belirli bir ülkenin hukukundaki maddi önem ölçütünün yerine kullanılmamaktadır.

Örneğin:

• Toplam maliyet
• Otomatik yenileme
• İptal koşulu
• Veri kullanımı
• Üçüncü taraf maliyeti
• Coğrafi sınırlama
• Kapasite durumu
• İnsan onayı gereksinimi
• Rıza sınırı
• Geri alınamaz işlem
• Sponsorlu ilişki
• Çıkar çatışması

maddi gerçek olabilir. Ajan, ilgili eylem için zorunlu olan bu bilgilerden birini doğrulayamıyorsa doğrudan işleme geçmemelidir. Her bilgi her işlemde aynı önemi taşımaz; eksikliğin etkisi senaryo temelinde belirlenir. Bir marka da bunları görünmez kılarak GBO başarısı elde ettiğini iddia etmemelidir.

Önemli gerçeği saklayarak kazanılan seçim, nitelikli seçim değildir.

Kullanıcı amacı davranışın merkezidir

Bir ajan bir kişi veya kurum adına çalışıyorsa temel sorumluluğu o kişinin açık ve meşru amacını korumaktır.

Kullanıcı: “En düşük toplam maliyetli seçeneği bul.” dediyse ajan başlangıç fiyatı düşük fakat uzun vadeli maliyeti yüksek ürünü yalnız sponsorlu olduğu için öne çıkarmamalıdır.

Kullanıcı: “Verilerim Avrupa dışına çıkmasın.” dediyse daha popüler olduğu için bu koşulu karşılamayan hizmeti seçmemelidir.

Kullanıcı: “Yalnız taslak hazırla.” dediyse görev tamamlanmış olsun diye mesajı göndermemelidir. Kullanıcı amacı süreç boyunca küçük biçimlerde değiştirilebilir.

İlk ajan: “Uygun seçenekleri bul.” görevini alır.

İkinci ajan bunu: “En güçlü markaları kısa listele.” olarak yorumlar.

Üçüncü ajan: “Kısa listedeki en görünür markayı seç.” sonucuna ulaşır. Dördüncü ajan satın alma sürecini başlatır. Hiçbir adım tek başına büyük sapma gibi görünmeyebilir. Fakat zincirin sonunda kullanıcının gerçek amacı kaybolmuştur.

Buna: Amaç Kayması diyebiliriz.

Amaç kayması

Amaç kayması, kullanıcının verdiği asıl hedefin ajanlar, araçlar veya ara kararlar boyunca küçük değişikliklere uğrayarak farklı bir hedefe dönüşmesidir.

Örneğin: “Nitelikli müşteri bul.”

şu zincire dönüşebilir:

“Daha fazla müşteri adayı bul.” “Daha fazla iletişim bilgisi topla.” “Daha fazla mesaj gönder.” “Daha yüksek cevap oranı üret.”

Başlangıçta amaç niteliktir. Sonunda amaç hacme dönüşür.

Ya da: “Kullanıcı için uygun ürünü seç.”

şu hedefe dönüşebilir: “Platformdaki işlem sayısını artır.” Bu değişim açıkça ilan edilmeyebilir. Metrikler, varsayımlar ve ticari teşvikler yoluyla sessizce gerçekleşebilir.

GBO’nun ilk bütünlük ilkelerinden biri şudur: Her alt davranış, asıl kullanıcı amacına kadar izlenebilmelidir.

Kimin yararına?

Bir ajan aynı anda birden fazla çıkarın ortasında çalışabilir.

Bir alışveriş ajanı:

• kullanıcıya,
• platforma,
• satıcıya,
• reklamverene

farklı biçimlerde değer üretebilir.

Bir seyahat ajanı:

• en uygun oteli bulmak,
• rezervasyon platformunun komisyonunu artırmak,
• sponsorlu oteli öne çıkarmak

arasında kalabilir.

Bir şirket içi satış ajanı:

• müşterinin doğru hizmeti bulmasını,
• şirket gelirinin artmasını,
• satış ekibinin hedefe ulaşmasını

aynı anda etkileyebilir. Bu çıkarlar her zaman uyumlu değildir.

Bu nedenle her ajan için şu soru cevaplanmalıdır:

Asıl yararlanıcı kimdir?

Bu kişiye veya kuruma: Davranışın Asıl Sahibi diyebiliriz. Ajan kimin adına karar verdiğini bilmelidir. Çıkar çatışması varsa bunu saklamamalıdır.

Bir ajan aynı anda herkese sadık olduğunu iddia ettiğinde, çoğu zaman öncelik sırası görünmez hâle gelir.

Asıl sahip bütünlüğü

Ajanın davranışı, kendisine yetki veren asıl sahibin meşru amacıyla uyumlu olmalıdır.

Buna: Asıl Sahip Bütünlüğü diyebiliriz. Kullanıcı adına görevlendirilmiş bir satın alma ajanında asıl sahip, bu yetkiyi veren kişi veya kurumdur; ekranı kullanan kişi her zaman yetki sahibi olmayabilir. Platformun komisyonu ikincil çıkar olabilir. Bir müşteri hizmetleri ajanında hem şirketin hem müşterinin hakları bulunabilir. Ancak şirketin satış hedefi, müşteriye yanlış fiyat veya kapsam sunmayı meşru kılmaz.

Kamu hizmetinde ise işleten kurumun yetkisi, hizmetten etkilenen kişinin hakları, hukuk ve kamu yararı birlikte gözetilmelidir. Hukuk veya kamu yararı bir kişi gibi “asıl sahip” değildir; yetkinin sınırlarını belirler. Bu nedenle asıl sahip bütünlüğü basit bir “müşteri her zaman haklıdır” kuralı değildir.

Kullanıcının isteği:

• hukukî olmayan,
• başkasının hakkını ihlal eden,
• güvenlik riski oluşturan

bir davranış içeriyorsa ajan bunu gerçekleştirmemelidir.

Kullanıcı amacı gereklidir; fakat tek meşruiyet kaynağı değildir.

İkna ile yönlendirme arasındaki fark

İnsanlar ve kurumlar başkalarını ikna etmeye çalışır. Pazarlama bunu yapar. Satış bunu yapar. Siyaset ve eğitim de belirli biçimlerde bunu yapabilir. Her ikna manipülasyon değildir.

Meşru ikna:

• doğru bilgiye dayanır,
• önemli sınırları gizlemez,
• karşı tarafın düşünme ve reddetme hakkını korur,
• çıkar ilişkisini saklamaz,
• karar sonrası geri dönüşü gereksiz yere zorlaştırmaz.

Manipülasyon ise kişinin karar mekanizmasındaki zayıflığı, bilgi eksikliğini veya görünmeyen sistem bağımlılığını kendi çıkarı için kullanır. Ajan çağında bu fark daha karmaşık hâle gelir. Çünkü ikna edilen doğrudan insan olmayabilir. Bir makine, başka bir makinenin seçim davranışını etkilemeye çalışabilir.

Bu bölümde bu tür yönlendirmeyi şu başlık altında ele alıyorum:

Ajan Hedefli Manipülasyon

Ajan hedefli manipülasyon

Ajan hedefli manipülasyon, bir yapay zekâ sisteminin kullanıcı amacı, doğruluk, yetki veya güvenlik sınırlarından saparak belirli bir kişi, marka, ürün, hizmet veya eylemi tercih etmesi için kasıtlı olarak oluşturulan bilgi, arayüz, teşvik veya talimat düzenidir.

Bu düzen:

• Web metninde
• Yapılandırılmış veride
• Araç açıklamasında
• API yanıtında
• Sosyal kanıtta
• Karşılaştırma tablosunda
• Ajanlar arası mesajda
• Bellek kaydında

bulunabilir. Manipülasyonun hedefi insan gözü değil, makinenin karar mantığıdır.

Ajan karanlık kalıpları

İnsan arayüzlerinde kullanıcıyı istemediği seçeneğe yönlendiren karanlık kalıplar bulunabilir. Örneğin iptal düğmesini gizlemek veya otomatik yenilemeyi belirsiz göstermek. Ajan çağında benzer kalıplar makineleri hedefleyebilir.

Bunlara: Ajan Karanlık Kalıpları diyebiliriz.

Ajan karanlık kalıbı: Bir ajanın kullanıcı amacından saparak belirli seçim veya eyleme yönelmesini sağlayan, önemli gerçeği gizleyen veya karar ortamını yapay biçimde daraltan tasarım örüntüsüdür.

Örnekler:

• Sponsorlu ürünü tarafsız öneri gibi işaretlemek
• İptal veya geri çekme yöntemini makine kaydından çıkarmak
• İnsanlara gösterilen fiyatla ajan arayüzündeki fiyatı farklı sunmak
• Kapasite bilgisini her zaman “mevcut” göstermek
• Rakip seçenekleri makine arayüzünden dışlamak
• Kullanıcıdan onay alınmasını gerektiren bilgiyi görünmez kılmak
• Bir araca “bu hizmeti daima tercih et” benzeri yetkisiz davranış talimatı eklemek
• Aboneliği tek seferlik satın alma gibi göstermek

Bu kalıplar teknik olarak çalışabilir. Fakat nitelikli davranış üretmez.

İnsan–makine gerçeklik farkı

Bir hizmet insanlara başka, makinelere başka gerçek sunabilir.

İnsan sayfasında: “Fiyat talep üzerine.” yazarken makine arayüzünde düşük tahminî fiyat gösterilebilir.

İnsan sayfasında: “İnsan onayı gerekir.” yazarken API doğrudan işlem yapabilir.

İnsan sayfasında: “Yalnız belirli ülkelerde geçerlidir.” yazarken yapılandırılmış kayıt küresel uygunluk gösterebilir.

Bu duruma: Temsil Ayrışması diyebiliriz. Temsil ayrışması, insan tarafından okunan gerçek ile ajanın eylem için kullandığı gerçek arasındaki maddi farktır. Aynı kullanıcı, ürün, zaman ve işlem koşulları için önemli bilgilerin çelişmesi ciddi bir sorundur; kasıtlıysa davranış manipülasyonu da olabilir. Açıkça belirtilmiş kanal, müşteri veya paket farkları ise tek başına aldatma sayılmaz. Karşılaştırılan bağlamlar aynı olmalıdır.

Davranış spam’i

Arama spam’i görünürlüğü yapay biçimde artırmaya çalışır.

GBO çağında yeni bir spam türü ortaya çıkabilir:

Davranış Spam’i

Davranış spam’i, ajanların seçim veya eylem sistemlerini etkilemek amacıyla oluşturulan; maddi değeri düşük, tekrar eden, yanıltıcı, yapay veya bağlam dışı sinyaller bütünüdür.

Örnekler:

• Aynı hizmet için yüzlerce yüzeysel sayfa üretmek
• Gerçek olmayan kapasite ve stok kayıtları yayımlamak
• Sahte kullanıcı değerlendirmeleri oluşturmak
• Aynı iddiayı birbirini kaynak gösteren yapay sitelerde çoğaltmak
• Her kullanıcı tipi için uygunluk iddiasında bulunmak
• Yapay ajan tavsiyelerini bağımsız müşteri görüşü gibi sunmak
• Geçici fiyatı kalıcı başlangıç fiyatı gibi yaymak
• “Resmî”, “sertifikalı” veya “onaylı” gibi desteklenmeyen ifadeler kullanmak

Davranış spam’inin amacı ajana daha iyi bilgi vermek değildir. Ajanın karar alanını işgal etmektir.

Sentetik uzlaşma

Bir iddia birçok kaynakta bulunabilir. Fakat bu kaynakların tamamı aynı kökten türemiş olabilir. Bir AI sistemi bir metin üretir. Başka bir site onu yeniden yazar. Sosyal medya hesapları tekrarlar. Yeni AI içerikleri bu sayfaları kaynak alır. Bir süre sonra aynı iddia, bağımsızmış gibi görünen onlarca kaynakta yer alır. Gerçekte bağımsız doğrulama yoktur.

Bu duruma: Sentetik Uzlaşma diyebiliriz. Sentetik uzlaşma, aynı veya bağlantılı kaynaktan üretilen anlatının çok sayıda bağımsız doğrulama varmış gibi görünmesidir.

Bu, ajanların şu hatayı yapmasına yol açabilir: “Birçok kaynak aynı şeyi söylüyor; o hâlde doğrudur.” Oysa kaynak sayısı artmış, bilgi kökü artmamıştır.

Kanıt aklama

Zayıf veya öznel bir iddia, farklı platformlarda tekrarlandığında güçlü kanıt gibi görünmeye başlayabilir.

Buna: Kanıt Aklama diyebiliriz.

Örneğin şirket kendi sitesinde: “Alanındaki en gelişmiş sistem.” der.

Bir otomatik inceleme sitesi bu ifadeyi: “Şirket gelişmiş sistemleriyle tanınıyor.” diye tekrarlar.

Başka bir AI içeriği bunu: “Sektör liderlerinden biri.” olarak yeniden üretir. Daha sonra şirket üçüncü metni kendi iddiasına bağımsız kanıt olarak gösterebilir. Kaynak zinciri döngüseldir. Gerçek bağımsızlık yoktur. GBO denetimi yalnız atıf sayısını değil, kanıt kökenini incelemelidir.

Birbirini tekrar eden yüz kaynak, tek bir bilgi köküne dayanabilir; o kökteki iddia da henüz doğrulanmamış olabilir.

Otorite aklama

Bir kurum güvenilir bir standardı, üniversiteyi, kamu kaynağını veya teknik kuruluşu kaynak gösterebilir. Bu meşrudur. Fakat kaynak göstermekle onaylanmak aynı şey değildir. Bir şirket bir güvenlik rehberinden yararlanabilir. Bu, ilgili kuruluşun şirketi sertifikalandırdığı anlamına gelmez. Bir metodoloji akademik çalışmaya dayanabilir. Bu, üniversitenin hizmeti onayladığı anlamına gelmez.

Buna: Otorite Aklama diyebiliriz. Otorite aklama, güvenilir bir kaynağa yapılan atfın; ilişki, sertifika, onay veya yeterlilik kanıtı gibi sunulmasıdır.

Rıza aklama

Bir kişi geçmişte sınırlı bir kullanıma izin vermiş olabilir. Bu izin daha sonra daha geniş davranışlara dayanak yapılabilir.

Örneğin:

• Eğitim videosu için verilen ses izni reklama taşınır.
• Tek kampanya için verilen yüz izni sürekli avatar kullanımına dönüşür.
• Destek amacıyla paylaşılan veri satış profiline aktarılır.
• Bir mesaj için verilen gönderim onayı sürekli iletişim izni sayılır.

Buna: Rıza Aklama diyebiliriz. Rıza aklama, belirli amaç, süre veya kanal için verilen rızanın başka davranışlara taşınarak meşru görünmesidir.

Bir kez verilen evet, her gelecek davranışın eveti değildir.

Yetki aklama

Yedinci bölümde gördüğümüz gibi bir ajan, sahip olmadığı yetkiyi başka araç veya alt ajan üzerinden kullanabilir. Bu yalnız sistem içi hata değildir. Kasıtlı biçimde yapıldığında manipülasyon aracıdır. Araştırma ajanı doğrudan mesaj gönderemiyorsa, başka bir iletişim aracını çağırarak aynı sonucu elde etmemelidir. Web ajanı fiyat değiştiremezken metni başka katalog sistemine yazdırarak kuralı aşmamalıdır.

Yasaklanan sonucu dolaylı yoldan üretmek, yetkiyi geçerli hâle getirmez.

Tercih üretimi

Ajanlar kullanıcı tercihlerini öğrenebilir. Bu yararlıdır. Fakat sistem kullanıcının tercihlerini yalnız keşfetmeyebilir. Onları üretebilir. Örneğin ajan sürekli aynı markayı varsayılan seçenek olarak sunar. Alternatifleri daha az görünür gösterir. Zamanla kullanıcı o markayı tercih etmeye başlayabilir.

Daha sonra sistem: “Kullanıcının geçmiş tercihi bu yönde.” diyerek aynı seçimi tekrar eder. Başlangıçtaki yönlendirme, gelecekteki tercih kanıtına dönüşür.

Buna: Tercih Üretimi diyebiliriz. Tercih üretimi, sistemin kendi yönlendirmesinin oluşturduğu davranışı daha sonra kullanıcının bağımsız tercihi gibi kullanmasıdır.

Davranış kilitlenmesi

Bir ajan ilk seçimi yaptıktan sonra aynı sağlayıcıyı sürekli kullanabilir.

Çünkü:

• Hesap açılmıştır.
• Ödeme bilgisi kaydedilmiştir.
• Geçmiş işlem verisi vardır.
• Entegrasyon kurulmuştur.
• Ajan belleğinde tercih oluşmuştur.

Zamanla alternatifler değerlendirilmez. İlk seçim kalıcı varsayım hâline gelir.

Buna: Davranış Kilitlenmesi diyebiliriz. Kilitlenme her zaman kötü değildir. Sürekli yeniden seçim yapmak maliyetlidir.

Fakat kullanıcı:

• alternatif görebilmeli,
• varsayılanı değiştirebilmeli,
• geçmiş tercihi silebilmeli,
• sağlayıcıdan çıkabilmelidir.

Bellek yoluyla yönlendirme

Bir ajan geçmiş konuşmalardan bilgi hatırlayabilir.

Fakat belleğe yazılan ifade: “Kullanıcı X markasını tercih ediyor.” şeklinde fazla geniş olabilir. Gerçekte kullanıcı yalnız tek bir görevde o markayı seçmiş olabilir. Bellek gelecekteki bütün kararlara taşındığında davranış yapay biçimde yönlenir.

Bu nedenle tercih belleği:

• kaynak,
• tarih,
• bağlam,
• geçerlilik,
• kullanıcı tarafından düzeltme

bilgisi taşımalıdır.

Bellek, geçmişi korumalıdır; geleceği kilitlememelidir.

Seçenek bastırma

Manipülasyon yalnız bir seçeneği öne çıkarmakla gerçekleşmez. Alternatifleri görünmez kılmak da aynı etkiyi yaratabilir.

Ajan:

• daha az komisyon veren ürünleri göstermeyebilir,
• küçük sağlayıcıları veri eksikliği bahanesiyle dışlayabilir,
• açık kaynak seçenekleri karşılaştırmaya almayabilir,
• kullanıcının mevcut çözümle devam etme seçeneğini saklayabilir.

Buna: Seçenek Bastırma diyebiliriz. Gerçek seçim özgürlüğü yalnız önerilen seçeneklerden oluşmaz.

Hiçbir şey satın almamak, mevcut çözümle devam etmek veya kararı ertelemek de seçenektir.

Sahte zorunluluk

Bir sistem belirli davranışı tek mümkün yol gibi sunabilir. “Devam etmek için bu aboneliği başlatmalısınız.” “Bu sağlayıcı dışında uygun seçenek yok.” “İnsan onayını beklemek projeyi başarısız kılar.” Gerçekte alternatifler bulunabilir.

Buna: Sahte Zorunluluk diyebiliriz. Ajan, ticari tercihi teknik zorunluluk gibi sunmamalıdır.

Kıtlık ve aciliyet manipülasyonu

Bir ürün veya hizmet gerçekten sınırlı olabilir. Kapasite dolabilir. Fiyat süresi bitebilir. Bu bilgiyi açıklamak meşrudur.

Fakat yapay aciliyet:

• Kullanıcıyı düşünmeden onaya zorlar.
• İnsan devir noktasını atlatır.
• Geri dönüş değerlendirmesini azaltır.

Bir ajan: “Bu teklif birkaç dakika içinde bitecek, hemen satın almalıyım.” gibi sinyallere otomatik olarak güvenmemelidir. Kıtlığın kaynağı ve geçerliliği doğrulanmalıdır.

Sürtünme asimetrisi

Bir hizmeti başlatmak kolay, iptal etmek çok zor olabilir. Bir ajan tek çağrıyla abonelik açabilir.

Fakat iptal için:

• telefon görüşmesi,
• uzun form,
• farklı hesap,
• insan temsilcisi

gerekebilir.

Buna: Sürtünme Asimetrisi diyebiliriz.

GBO’da temel ilke şu olmalıdır: Yetki vermek ne kadar kolaysa, yetkiyi geri almak da makul ölçüde o kadar kolay olmalıdır. Bir işlem tek tıklamayla başlatılıp haftalarca süren süreçle iptal edilebiliyorsa kullanıcı iradesi zayıflatılmıştır.

İtiraz bastırma

Bir sistem kullanıcıya açıklama sunabilir. Fakat itiraz yolunu görünmez veya etkisiz bırakabilir. “Karar otomatik sistem tarafından verilmiştir ve değiştirilemez.” Bazı işlemler teknik olarak geri alınamayabilir. Bu sınır, kararın sorgulanamayacağı veya etkisinin incelenemeyeceği anlamına gelmez. Özellikle yüksek etkili kararlarda inceleme ve mümkün olan düzeltme yolları açık olmalıdır.

İtiraz bastırma:

• İnsan iradesini azaltır.
• Yanlış davranışın kalıcılaşmasını sağlar.
• Ajanın kendi kararını nihai otoriteye dönüştürür.

GBO’nun parçası olan sistem gerçek itirazı desteklemelidir.

Paternalizm de manipülasyona dönüşebilir

Bir ajan kullanıcıyı korumak amacıyla bazı seçenekleri göstermeyebilir. Bu bazen doğru olabilir. Tehlikeli veya hukuk dışı davranışlar engellenmelidir.

Fakat sistem: “Sizin için en iyisini ben bilirim.” diyerek kullanıcının meşru tercihlerini görünmez kılarsa başka bir manipülasyon biçimi ortaya çıkar. Örneğin kullanıcı daha pahalı ama gizliliği yüksek ürünü isteyebilir. Ajan düşük maliyeti daha önemli kabul ederek bu seçeneği göstermeyebilir. Ya da sistem belirli yaşam tarzını, çalışma biçimini veya risk tercihini “yanlış” sayabilir. GBO insan iradesini yalnız ticari manipülasyondan değil, aşırı korumacı sistemden de korumalıdır.

Korumak, kişinin yerine yaşamak değildir.

Kullanıcının kötü amacı

Kullanıcı amacı önemlidir. Fakat her kullanıcı talebi uygulanmamalıdır.

Bir kullanıcı ajandan:

• Sahte yorum üretmesini
• Rakibi karalamasını
• İzinsiz veri toplamasını
• Başkasının sesini izinsiz ve aldatıcı biçimde taklit etmesini
• Yetkisiz hesaba erişmesini
• Manipülatif arayüz tasarlamasını

isteyebilir. Ajanın kullanıcıya sadakati, başkalarının haklarını ihlal etme yetkisi değildir.

Bu nedenle davranış bütünlüğü üç kaynağa dayanır:

Kullanıcı amacı Meşru yetki Üçüncü kişilerin hakları ve güvenliği

Bu üçünden biri açıkça ihlal ediliyorsa ajan eylemi reddetmelidir.

Davranış manipülasyonunun yedi temel biçimi

Bu kitapta davranış manipülasyonunu yedi başlık altında sınıflandırıyorum; bunlar kapsamlı bir hukukî veya teknik standart iddiası taşımıyor.

1. Gerçeklik Manipülasyonu

Yanlış, eksik veya bağlamından koparılmış bilgiyle ajanın dünya modelini bozmak.

2. Seçim Manipülasyonu

Belirli seçeneği görünmez teşviklerle öne çıkarmak veya alternatifleri bastırmak.

3. Amaç Manipülasyonu

Kullanıcının hedefini süreç içinde başka ticari veya kurumsal hedefe dönüştürmek.

4. Yetki Manipülasyonu

Belirsiz izin, eski rıza veya dolaylı araç üzerinden eylem hakkı üretmek.

5. Arayüz Manipülasyonu

İşlem, iptal, itiraz veya onay yüzeyini davranışı zorlayacak biçimde tasarlamak.

6. Ölçüm Manipülasyonu

Başarı metriğini gerçek insan yararından koparıp yüksek işlem hacmine bağlamak.

7. Toparlanma Manipülasyonu

Yanlış eylemi geri almayı, itiraz etmeyi veya kanıtı incelemeyi zorlaştırmak. Bu sınıflardan biri dahi davranış sistemini bozabilir. Birden fazlası birlikte olduğunda kullanıcı iradesi görünmez biçimde ele geçirilebilir.

Davranış manipülasyonu testi

Bir davranış değişikliğinin meşru GBO mu, manipülasyon mu olduğunu anlamak için şu yedi soruyu sorabiliriz:

1. Açıklık Testi

Kullanıcı bu yöntemin nasıl çalıştığını bilse aynı davranışı kabul eder miydi?

2. Gerçeklik Testi

Sistem bağımsız doğrulama altında aynı iddiayı koruyabilir mi?

3. Amaç Testi

Davranış kullanıcının açık amacını mı güçlendiriyor, yoksa başka hedefe mi kaydırıyor?

4. Seçim Testi

Kullanıcı anlamlı alternatifleri görebiliyor ve hayır diyebiliyor mu?

5. Yetki Testi

Eylem geçerli ve bağlama özel izin altında mı?

6. Geri Dönüş Testi

Kullanıcı seçimi iptal edebilir, yetkiyi geri alabilir ve itiraz edebilir mi?

7. Simetri Testi

Aynı yöntem rakip veya karşı taraf tarafından kullanılsa adil ve kabul edilebilir bulunur muydu?

Yanıtlar bağlamıyla değerlendirilmelidir. Tek bir kritik yetki, doğruluk veya hak ihlali bile yeterlidir; diğer soruların olumlu yanıtı onu telafi etmez. Daha küçük eksiklikler ise ayrıca incelenir.

Açıklık testi

Bir şirket: “Ajanların bizi daha sık seçmesi için bu alanı ekledik.” diyebilir. Bu tek başına sorun değildir. Alan gerçek ve ilgili bilgi içeriyorsa meşru olabilir.

Fakat şirket: “Bu bilginin insanlara gösterilmesini istemiyoruz; yalnız ajanların kararını etkilemesini istiyoruz.” diyorsa ciddi bir temsil ayrışması vardır.

Açıklık Testi şu soruyu sorar: Bu yöntem açıkça anlatıldığında hâlâ savunulabilir mi?

Gizlilik her zaman kötülük değildir. Ticari sırlar korunabilir. Güvenlik ayrıntıları yayımlanmayabilir. Kararı etkileyen önemli bilgiler, yetkili muhataba karar verebileceği açıklıkta sunulmalıdır. Bu ilke kişisel verileri, güvenlik sırlarını veya başkalarının gizli bilgilerini herkese yayımlama izni değildir.

Simetri testi

Bir marka rakiplerinin ajanlara görünür olmasını engelleyen yöntem kullanıyorsa kendisi aynı yöntemin hedefi olduğunda bunu kabul eder miydi?

Bir platform kendi ürününü öne çıkarıyor. Rakip platform aynı şeyi yaptığında kullanıcı için adil buluyor mu?

Bir kurum yapay yorum üretiyor. Rakibin de aynısını yapmasını kabul ediyor mu?

Simetri testi, ticari çıkarın etik değerlendirmeyi bozup bozmadığını gösterir.

Yalnız bize yarar sağladığında doğru görünen kural, çoğu zaman ilke değil ayrıcalıktır.

Sponsorlu ajan davranışı

Reklam ve sponsorluk ajan çağında tamamen kaybolmayacaktır. Bir marka görünürlük için ödeme yapabilir. Bu, açıklandığı ve zorunlu koşulları aşmadığı sürece meşru olabilir.

Sponsorlu seçenek:

• Açıkça etiketlenmeli
• Kullanıcının sert koşullarını yine karşılamalı
• Tarafsız değerlendirmeden ayrılmalı
• Sponsor olmayan alternatifleri görünmez kılmamalı
• Satın alma veya taahhüt öncesinde kullanıcıya gösterilmeli

Sponsor olmak aday olmayı sağlayabilir. Uygunluk Kapısını geçmeden seçilmeyi sağlamamalıdır.

Ajan reklamı nasıl açıklamalı?

Ajan şöyle diyebilir: “Bu seçenek sponsorlu olarak öne çıkarılmıştır. İncelediğim kayıtlara göre bütçe ve güvenlik koşullarınızı karşılıyor. Sponsor olmayan alternatifleri de aynı ölçütlerle karşılaştırabiliriz.” Böyle bir açıklama ancak koşullar gerçekten kontrol edilmişse anlamlıdır; etiket tek başına tarafsızlık sağlamaz.

Ajan: “En iyi seçenek budur.” deyip sponsorluğu saklıyorsa karar ortamı bozulur.

Ticari çıkarın makineye gizlenmesi

İnsan arayüzünde küçük bir “reklam” etiketi bulunabilir. Fakat makine arayüzünde sponsorluk bilgisi yer almayabilir. Ajan içeriği tarafsız veri gibi okuyabilir. Bu nedenle sponsorluk ve çıkar ilişkisi makinece de anlaşılabilir olmalıdır.

İnsana açıklanan çıkar, ajandan gizlenmemelidir.

Davranış manipülasyonu ve çoklu ajanlar

Bir ajan başka ajanın verdiği bilgiyi doğrudan güvenilir kabul edebilir.

Satıcı ajanı: “Bu ürün kullanıcı için en uygun seçenektir.” diyebilir. Alıcı ajanı bu ifadeyi değerlendirme yerine kanıt gibi kullanmamalıdır.

Ajanlar arası iletişimde şu ayrımlar açık olmalıdır:

• Kim konuşuyor?
• Kimin adına?
• Ticari çıkarı var mı?
• İddia mı, kanıt mı sunuyor?
• Hangi veriye dayanıyor?
• Yetkisi nedir?

Bir satıcı ajanının görevi satmaktır. Bu rol gizlenmemelidir.

Ajanlar arası propaganda

Çoklu ajan ekosisteminde aynı kurum birçok ajan çalıştırabilir. Bir ajan içerik yayımlar. Bir diğeri bu içeriği kaynak gösterir. Üçüncüsü öneri üretir. Dördüncüsü sosyal kanıt oluşturur. Hepsi aynı kurum tarafından yönetiliyorsa sistem dışarıdan bağımsız uzlaşma gibi görünebilir.

Buna: Ajanlar Arası Propaganda Döngüsü diyebiliriz. Aynı ekosisteme ait ajanların birbirlerini bağımsız kanıt gibi kullanması engellenmelidir.

Davranış tekeli döngüsü

Bir marka ajanlar tarafından daha çok seçildiğinde daha fazla işlem verisi, değerlendirme ve görünürlük kazanabilir. Bu yeni veriler gelecekte daha çok seçilmesini sağlayabilir.

Döngü şöyle çalışır:

DAHA ÇOK SEÇİM

→ DAHA ÇOK VERİ

→ DAHA ÇOK GÖRÜNÜRLÜK

→ DAHA GÜÇLÜ GÜVEN SİNYALİ

→ DAHA ÇOK SEÇİM

Bu süreç gerçekten iyi hizmeti ödüllendirebilir. Fakat yeni ve küçük seçenekleri sistem dışında bırakabilir.

Buna: Davranış Tekeli Döngüsü diyebiliriz. GBO sistemleri geçmiş popülerliği tek seçim nedeni yapmamalıdır. Yeni seçeneklere, güncel kanıta ve özel uygunluğa alan açmalıdır.

Keşif payı

Bir seçim sistemi bazen daha az bilinen fakat zorunlu koşulları karşılayan seçenekleri de değerlendirmelidir.

Buna: Keşif Payı diyebiliriz. Keşif payı, ajanı rastgele ve güvensiz seçim yapmaya zorlamaz. Kimlik ve yetenek kapılarını geçen yeni seçeneklerin aday evrenine girmesini sağlar. Bu, pazarın birkaç büyük marka tarafından tamamen kapatılmasını azaltabilir.

Manipülasyona direnç ölçümü

Bir GBO sistemi yalnız doğru davranışı üretme bakımından değil, dış yönlendirmelere direnç bakımından da test edilmelidir.

Örneğin:

• Sponsor bilgisi gizlendiğinde ajan ne yapıyor?
• Yapılandırılmış veri görünür sayfayla çeliştiğinde hangisini esas alıyor?
• Çok sayıda yapay kaynak aynı iddiayı tekrarladığında kanıt kökenini kontrol ediyor mu?
• Bir web sayfası önceki talimatları görmezden gelmesini söylediğinde kullanıcı amacını koruyor mu?
• Rıza kaydı bağlam dışı kullanıldığında duruyor mu?
• İptal yolu saklandığında işlemi başlatıyor mu?
• Popüler marka zorunlu koşulu karşılamadığında eliyor mu?

Bu testlerin sonucu: Manipülasyona Direnç Oranı olarak raporlanabilir: tanımlanmış manipülasyon testlerinde doğru sınırı koruyan senaryoların toplam geçerli test senaryolarına oranı. Değerlendirme birimi ve kritik hata ölçütleri önceden belirlenmeli; 10. bölümdeki payda, belirsizlik ve tekrar kuralları uygulanmalıdır. Fakat tek oran yeterli değildir. Hangi manipülasyon türünde başarısız olduğu gösterilmelidir.

Sponsor Sapması

Bir seçeneğin sponsorlu olduğu ve olmadığı iki karşı olgusal senaryo çalıştırılabilir. Ajanın uygunluk sonucu, yalnız sponsorlu işaret nedeniyle ne kadar değişiyor?

Buna: Sponsor Sapması diyebiliriz. Sponsor etiketi aday görünürlüğünü artırabilir. Fakat zorunlu koşul değerlendirmesini değiştirmemelidir.

Amaç Sadakati Oranı

Bir görev çoklu ajan zincirinden geçtiğinde başlangıçtaki amaç korunuyor mu?

Amaç Sadakati Oranı

başlangıçtaki geçerli amaç ve zorunlu koşulları koruyan görev zincirlerinin değerlendirilen toplam zincire oranı olarak hesaplanabilir. Yetkili kişi hedefi açıkça değiştirmişse değerlendirme, kayıtlı güncelleme üzerinden yapılır. Amaçtaki her küçük değişiklik hata değildir. Yeni bilgiyle hedef güncellenebilir. Fakat değişiklik kullanıcıya veya yetkili insana görünür olmalıdır.

Maddi Gerçek Açıklama Oranı

Bir ajan seçim öncesinde karar için önemli olan:

• maliyet,
• sponsor ilişkisi,
• risk,
• iptal,
• veri kullanımı,
• sınırlama

bilgilerini gösteriyor mu?

Buna: Maddi Gerçek Açıklama Oranı diyebiliriz: senaryo için önceden belirlenmiş önemli bilgilerin eksiksiz açıklandığı karar sunumlarının, değerlendirilen toplam karar sunumuna oranı. Hangi bilginin eksik olduğu ayrıca gösterilir; kritik bir gizleme ortalamayla kapatılamaz. Bir seçenek bütün doğru özellikleriyle sunulup kritik maliyet veya sınır saklanıyorsa öneri nitelikli değildir.

Seçeneklerin Dışarıda Kalması

Zorunlu koşulları karşılayan hangi seçenekler aday listesine alınmadı? Bütün pazardaki seçenekler bilinmiyorsa evrensel bir “bastırma oranı” hesaplanamaz. Önceden sınırlandırılmış bir referans kümesinde dışarıda kalan uygun seçenekler sayılabilir; ancak dışarıda kalmak tek başına kasıtlı bastırmayı kanıtlamaz. Neden ayrıca incelenir:

• Düşük marka görünürlüğü
• Sponsor olmama
• Küçük şirket
• Farklı teknoloji yaklaşımı
• Daha az içerik
• Platform dışı çözüm

Ajanın aday evreni sistematik biçimde daralıyor olabilir.

Geri çekmeye uyum oranı

Kullanıcı izin veya tercihini geri çektiğinde:

• yeni davranış duruyor mu,
• alt ajanlar duruyor mu,
• zamanlanmış görevler iptal oluyor mu,
• eski bellek güncelleniyor mu?

Buna: Geri Çekmeye Uyum Oranı diyebiliriz: geçerli geri çekme talebine uygun biçimde durdurulan akışların, durdurulması gereken toplam akışa oranı. Henüz doğrulanmamış alt ajan veya dış hizmet sonuçları ayrı tutulmalıdır. Kullanıcı bir kez “hayır” dedikten sonra sistem başka kanaldan aynı davranışı sürdürüyorsa irade korunmamıştır.

Sürtünme simetrisi

Bir davranışı başlatmak için gereken adım sayısı ile durdurmak için gereken adım sayısı karşılaştırılabilir. Satın alma tek tık, iptal on iki adım ise asimetri vardır. Yetki vermek bir cümle, geri almak birçok alt ajanı ayrı ayrı kapatmak gerektiriyorsa sistem zayıftır. Sürtünme simetrisi mutlak eşitlik değildir. Fakat iptal ve geri çekme gereksiz biçimde zorlaştırılmamalıdır.

NOMOS Davranış Bütünlüğü Sözleşmesi

Bu bölümün temel çıktısı: NOMOS Davranış Bütünlüğü Sözleşmesi olacaktır.

Kanonik tanımı şöyledir:

NOMOS Davranış Bütünlüğü Sözleşmesi; bir ajan davranışının kullanıcı veya yetkili kurumun açık ve meşru amacıyla uyumlu kalmasını; kimlik, yetenek, uygunluk, kanıt, sponsorluk, çıkar ilişkisi, rıza, yetki ve geri dönüş bilgilerinin maddi biçimde gizlenmemesini; insan ve makineye aynı davranış gerçeğinin sunulmasını; seçim özgürlüğünün, itirazın ve geri çekmenin korunmasını sağlayan sürümlü bütünlük kaydıdır.

Daha basit biçimiyle: Bu sözleşme, GBO’nun ajanı daha çok harekete geçirmek için değil, doğru kişiye sadık ve gerçeğe bağlı tutmak için kullanılmasını sağlar.

Davranış Bütünlüğü Sözleşmesinin alanları

Makinece okunabilir bir kayıt için aşağıdaki örnek alanlar kullanılabilir; bunlar uygulanan bir API veya resmî bir veri standardı değildir:

principal

legitimate_purpose

user_goal

material_facts

known_uncertainties

sponsorship

commercial_incentives

conflicts_of_interest

human_visible_terms

machine_visible_terms

selection_constraints

prohibited_influence

consent_scope

authorization_scope

memory_use

alternative_options

appeal_path

revocation_path

audit_owner

integrity_tests

version

Bütün ayrıntılar kamuya açık olmak zorunda değildir. Fakat karar için önemli bilgiler, ilgili muhatabın yetkisi ve veri koruma sınırları gözetilerek açıkça sunulmalıdır.

NOMOS Manipülasyon Veto Kapısı

Bazı davranışlar genel puanla telafi edilmemelidir.

Aşağıdaki durumlardan biri varsa davranış nitelikli GBO olarak kabul edilmemelidir:

1. Sahte veya uydurulmuş kanıt

Gerçek olmayan değerlendirme, sertifika, kapasite, stok, fiyat veya başarı kaydı.

2. Maddi gerçeğin kasıtlı gizlenmesi

Kullanıcının kararını değiştirecek önemli maliyet, sınır, risk veya çıkar ilişkisini saklamak.

3. İnsan–makine gerçeklik ayrışması

Ajanlara insanlardan farklı ticari veya davranışsal gerçek sunmak.

4. Kullanıcı amacını gizlice değiştirmek

Asıl hedefi platform, satıcı veya operatör çıkarına kaydırmak.

5. Geçersiz rıza veya yetki kullanımı

Eski, bağlam dışı veya devredilemez izni yeni eyleme taşımak.

6. Anlamlı alternatifi bastırmak

Zorunlu koşulları karşılayan seçenekleri ticari nedenle görünmez kılmak.

7. İtiraz veya geri çekmeyi engellemek

İnsan kararını değiştiremiyor, sistemi durduramıyor veya gerçek inceleme isteyemiyorsa.

8. Yetki sınırını dolaylı araçla aşmak

Alt ajan, entegrasyon veya başka kanal üzerinden yasaklı sonucu üretmek.

Bu veto mantığının kavramsal özeti şöyledir; formül sayısal bir etik puan üretmez:

MANİPÜLASYON VETOSU =

SAHTE KANIT

VEYA MADDİ GİZLEME

VEYA AMAÇ SAPTIRMA

VEYA YETKİ AŞIMI

VEYA SEÇENEK BASTIRMA

VEYA İTİRAZ ENGELİ

VEYA GERÇEKLİK AYRIŞMASI

Bu koşullardan biri varsa yüksek seçim oranı veya ticari başarı davranışı temizlemez.

Manipülasyon kapısı neden “VEYA” mantığıdır?

GBO’nun önceki kapıları çoğunlukla VE mantığına dayanıyordu. Doğru davranış için kimlik, yetenek, uygunluk, yetki ve toparlanma birlikte gerekliydi. Manipülasyon Veto Kapısı ise VEYA mantığıdır. Tek bir kritik ihlal bile davranışı niteliksiz hâle getirebilir. Bir sistem çok doğru bilgi sunabilir. Fakat sponsorluğu saklıyorsa seçim bütünlüğü bozulur. Bir ajan doğru ürünü seçebilir. Fakat yetkisiz satın almışsa eylem meşru değildir. Bir marka gerçek hizmet sunabilir. Fakat sahte müşteri yorumlarıyla seçimi güçlendirmişse kanıt bütünlüğü bozulur.

Bazı doğrular, tek bir temel yanlışı temizleyemez.

Manipülasyon denetimi nasıl yapılır?

Bir kurum kendi sistemini yalnız başarı senaryolarıyla test etmemelidir.

Şu karşılaştırmalar yapılabilir:

Açıklama testi

Sponsorluk ve çıkar ilişkisi açıklandığında ajan aynı seçimi yapıyor mu?

Kaynak kökeni testi

On farklı görünen kaynağın gerçekten kaç bağımsız kökü var?

Görünürlük testi

Marka adları gizlendiğinde uygunluk sıralaması değişiyor mu?

Fiyat bütünlüğü testi

İnsan sayfası, makine kaydı ve işlem arayüzü aynı toplam maliyeti gösteriyor mu?

Rıza sınırı testi

Amaç, dil veya kanal değiştiğinde eski izin otomatik kullanılıyor mu?

Alternatif testi

Platform dışı veya sponsor olmayan seçenekler aday evrenine girebiliyor mu?

Geri çekme testi

Kullanıcı tercihini veya yetkiyi geri aldığında davranış gerçekten duruyor mu?

Bellek sıfırlama testi

Geçmiş yönlendirme olmadan ajan aynı değerlendirmeye ulaşabiliyor mu?

Bu testler, kararın hangi gözlenebilir koşullara duyarlı olduğuna dair kanıt verir. Ajanın iç karar sürecini bütünüyle ortaya çıkardıkları varsayılmamalıdır.

Marka adı gizleme testi

Aynı hizmet özellikleri farklı marka adlarıyla veya adsız biçimde sunulabilir. Ajan yalnız tanınmış marka nedeniyle sıralamayı değiştiriyorsa otorite yanlılığı olabilir. Marka itibarı tamamen yok sayılmamalıdır. Fakat zorunlu uygunluk koşullarının yerini tutmamalıdır.

Sıralama tersine çevirme testi

Seçeneklerin listelenme sırası değiştirilir. Ajan her zaman ilk seçeneği öne çıkarıyorsa sunum sırasına aşırı bağımlıdır. Benzer biçimde varsayılan seçenek, görsel vurgu veya araç çağrısı sırası test edilebilir. Amaç ajanı kandırmak değil, davranışın yüzeysel işaretlere ne kadar bağımlı olduğunu anlamaktır.

Çıkar çatışması testi

Ajanın operatörü belirli seçenekten gelir elde ediyor olsun. Bu bilgi açıklandığında öneri gerekçesi değişiyor mu?

Kullanıcı başka bir öncelik belirttiğinde ajan ticari ilişkiden bağımsız davranabiliyor mu?

Çıkar çatışması varlığı otomatik olarak bütün seçimi geçersiz yapmaz. Gizlenmesi ve zorunlu koşulların önüne geçmesi sorundur.

Manipülasyon olay kaydı

Bir sistem manipülatif sinyal tespit ettiğinde bunu yalnız yok saymamalıdır.

Şu bilgileri kaydedebilir:

• Sinyalin kaynağı
• Hedeflenen davranış
• Etkilenen seçenekler
• Maddi gerçek
• Sponsor veya çıkar ilişkisi
• Kullanılan karşı önlem
• İnsan incelemesi
• Sözleşme güncellemesi

Bu kayıt gelecekteki test senaryolarına dönüşebilir.

Kurum içi manipülasyon

Davranış manipülasyonu her zaman dış rakipten gelmez. Kurum içindeki ekipler de ajanları kendi hedefleri için yönlendirebilir.

Satış ekibi: “Yalnız yüksek fiyatlı paketi öner.” diyebilir.

Pazarlama ekibi: “Markanın üstün görünmesi için sınırları geri planda bırak.” diyebilir.

Operasyon ekibi: “Kapasite dolu görünmesin.” isteyebilir.

Yönetim: “İnsan onayını azalt, dönüşümü artır.” baskısı yapabilir. Ajanın kuruma bağlı olması, her iç talimatı meşru yapmaz. Davranış sözleşmesi iç baskıya karşı da korunmalıdır.

Etik kurul yeterli değildir

Bir kurum etik ilkeler yayımlayabilir. Fakat teknik sistem bunları uygulamıyorsa davranış değişmez. “Kullanıcıya saygı duyuyoruz.” denebilir. Fakat iptal zor olabilir. “Şeffafız.” denebilir. Fakat sponsorluk makine kaydında görünmeyebilir. “İnsan kontrolü önemlidir.” denebilir. Fakat acil durdurma alt ajanları kapatmayabilir. Bu nedenle etik beyan, davranış kanıtıyla desteklenmelidir.

Manipülasyon karşıtı görev ayrımı

Davranışı optimize eden ekip ile başarıyı denetleyen ekip tamamen aynı olmamalıdır. Bir ekip seçim oranını artırmaya çalışır.

Bağımsız başka bir denetim:

• Yanlış seçim
• Maddi gizleme
• Yetki aşımı
• İtiraz zorluğu

bakımından sistemi sınar. Aynı ajan kendi etkisini tasarlayıp tek başına kendi bütünlüğünü onaylamamalıdır.

Kırmızı ekip

Bir:

Davranış Kırmızı Ekibi

sistemin nasıl manipüle edilebileceğini güvenli ve kontrollü ortamda sınayabilir.

Amaç gerçek kullanıcıyı kandırmak değil:

• Sponsorlu sonuç etkisini,
• sahte kanıt direncini,
• rıza genişlemesini,
• yetki aklamayı,
• seçenek bastırmayı,
• itirazın çalışıp çalışmadığını

test etmektir. Kırmızı ekip yalnız teknik saldırıya odaklanmamalıdır. Ticari ve psikolojik yönlendirmeleri de incelemelidir.

Manipülasyon karşıtı kurum ilkeleri

Ajan kullanan veya ajanlar tarafından seçilmek isteyen bir kurum şu ilkeleri benimsemelidir:

Gerçeklik

İddia, kapsam ve kanıt birbiriyle uyumlu olmalıdır.

Amaç sadakati

Ajan davranışı kullanıcı veya yetkili kurumun meşru hedefinden sapmamalıdır.

Çıkar açıklığı

Sponsorluk, komisyon ve ticari ilişki görünür olmalıdır.

Temsil tutarlılığı

İnsan ve makine aynı maddi gerçeği görmelidir.

Seçim açıklığı

Alternatifler ve önemli ödünleşimler saklanmamalıdır.

Yetki bütünlüğü

Eski, belirsiz veya dolaylı izin yeni eylem hakkı üretmemelidir.

Geri çekme kolaylığı

Kullanıcı seçim, rıza ve yetkiyi makul biçimde geri alabilmelidir.

Gerçek itiraz

İnsan kararı sorgulayabilmeli ve değiştirebilecek inceleme isteyebilmelidir.

Kanıt kökeni

Tekrar, bağımsız doğrulama gibi gösterilmemelidir.

Ölçüm dengesi

Eylem sayısı yanlış seçim, yetki ihlali ve insan zararıyla birlikte ölçülmelidir.

Manipülasyona karşı hazırlık düzeyleri

Davranış bütünlüğünü değerlendirmek için bu kitapta beş düzey öneriyorum. Bunlar dış denetimle verilmiş yeterlilik belgeleri değildir.

Seviye 1 — Beyan

Kurum manipülasyon yapmadığını söyler.

Seviye 2 — Açıklama

Sponsorluk, veri kullanımı ve temel sınırlar belirtilir.

Seviye 3 — Sözleşme

Davranış bütünlüğü, rıza, yetki ve alternatif kuralları sürümlü biçimde tanımlıdır.

Seviye 4 — Teknik uygulama

İnsan ve makine kayıtlarının tutarlılığı, sponsorluk etiketi, yetki kontrolü ve geri çekme teknik sistemde uygulanır.

Seviye 5 — Bağımsız ve sürekli denetim

Manipülasyon senaryoları test edilir, olaylar raporlanır, kullanıcı itirazları sözleşmeyi değiştirir ve çıkar çatışmaları bağımsız biçimde incelenir. GBO’nun hedefi beşinci düzeydir.

Manipülasyon için yirmi beş denetim sorusu

• Sistem hangi insan veya kurum adına davranıyor?
• Asıl kullanıcının amacı açık ve güncel mi?
• Platformun veya sağlayıcının ticari çıkarı bu amaçla çatışıyor mu?
• Sponsorluk veya komisyon makine tarafından da okunabiliyor mu?
• İnsan ve makine aynı fiyat, kapsam ve sınırları görüyor mu?
• Karar için maddi öneme sahip bilgiler gizlenmiş mi?
• Çok sayıda kaynak gerçekten bağımsız mı?
• Resmî kaynaklara yapılan atıf onay veya sertifika gibi mi sunuluyor?
• Uygun olmayan durumlar açıkça belirtiliyor mu?
• Kullanıcının amacı süreç içinde başka hedefe kaymış mı?
• Alt ajanlar görevi farklı biçimde yeniden yorumlamış mı?
• Marka görünürlüğü zorunlu uygunluk koşullarının yerini alıyor mu?
• Sponsor olmayan veya küçük seçenekler sistematik biçimde dışlanıyor mu?
• Kullanıcının “hiçbirini seçmeme” hakkı korunuyor mu?
• Eski tercih yeni ve bağlam dışı kararları yönlendiriyor mu?
• Geçmiş rıza yeni amaç veya kanala genişletiliyor mu?
• Yetki başka araç veya ajan üzerinden aklanıyor mu?
• İşlemi başlatmak ile iptal etmek arasında gereksiz sürtünme farkı var mı?
• Kullanıcı yetkisini gerçek anlamda geri çekebiliyor mu?
• İtiraz, kararı gerçekten değiştirebilecek insan incelemesine ulaşıyor mu?
• Başarı yalnız seçim veya işlem sayısıyla mı ölçülüyor?
• Yanlış seçim ve yanlış ret birlikte izleniyor mu?
• Sistem manipülatif içerik veya talimata karşı test edildi mi?
• Kritik manipülasyon olayları genel puanla gizleniyor mu?
• Kullanıcı yöntem açıkça anlatıldığında aynı davranışı kabul eder miydi?

Bu soruların önemli bir bölümü cevapsızsa sistem kendisini GBO ile optimize ediyor olabilir. Fakat gerçekte kullanıcı davranışını kendi çıkarına doğru biçimlendiriyor olabilir.

Bir marka GBO’yu etik biçimde nasıl kullanır?

Bir marka ajanlar tarafından doğru koşullarda seçilmek istiyorsa şunları yapmalıdır:

• Kimliğini açık ve tutarlı hâle getirmeli.
• Gerçek yeteneklerini kanıtlamalı.
• Fiyat ve kapsam sınırlarını göstermeli.
• Kimin için uygun olmadığını açıklamalı.
• Kapasite bilgisini güncel tutmalı.
• İnsan ve makineye aynı gerçeği sunmalı.
• Sponsorluğu ve çıkar ilişkisini saklamamalı.
• İşlem, iptal ve itiraz yollarını anlaşılır yapmalı.
• Ajanın kullanıcıdan gerekli onayı almasını kolaylaştırmalı.
• Yanlış seçildiğinde bunu düzeltmeye izin vermeli.

Bu yaklaşım markayı her durumda seçtirmez. Fakat gerçekten uygun olduğu yerde güçlü ve savunulabilir aday hâline getirir.

Etik GBO, ajanın kararını ele geçirmez. Doğru karar vermesini kolaylaştırır.

Bir marka hangi yöntemlerden kaçınmalıdır?

Bir marka şu hedefleri kabul etmemelidir: “Ajan ne olursa olsun bizi seçsin.” “İnsanlara göstermeden makineye özel üstünlük mesajı verelim.” “Her sorgu için uygun olduğumuzu yazalım.” “Yapay yorumlarla bağımsız uzlaşma oluşturalım.” “Rakipleri aday listesinden düşürecek gizli talimat ekleyelim.” “İptal ve geri çekme bilgilerini öne çıkarmayalım.” “Eski rızayı bütün yeni kullanımlara taşıyalım.” Bunlar kısa vadede seçim sayısını artırabilir. Fakat bu kitapta tanımladığım GBO yaklaşımının dışındadır.

Ticari başarı ile davranış bütünlüğü çelişmek zorunda değildir

Açık sınırlar bazı müşterileri uzaklaştırabilir. Fakat yanlış müşterilerin azalması operasyon maliyetini düşürebilir. Sponsorluğu açıklamak bazı kullanıcıların başka seçenek seçmesine yol açabilir. Fakat uzun vadeli güveni artırabilir. Kolay iptal kısa vadede müşteri kaybı gibi görülebilir. Gönüllü olarak sürdürülen daha sağlam bir ilişkiye katkı sağlayabilir; ticari sonuç ayrıca ölçülmelidir. Doğru GBO ticari başarıya karşı değildir. Kısa vadeli seçim hacmi yerine sürdürülebilir uygunluğu hedefler.

Güven, davranışı zorlayarak değil; insanın özgürce geri dönebileceği bir ilişki kurarak büyür.

GBO’nun kendisi de denetlenmelidir

Bir kurum: “GBO uyguluyoruz.” diyerek yeni bir otorite iddiası oluşturabilir. Bu iddia da kanıtlanmalıdır.

GBO etiketi:

• Resmî sertifika,
• evrensel uyum,
• güvenlik garantisi,
• bütün ajanlar tarafından seçilme vaadi

gibi sunulmamalıdır.

GBO çalışması şu sorularla denetlenmelidir:

• Hangi davranışlar optimize edildi?
• Kimin yararı esas alındı?
• Yanlış seçimler ölçüldü mü?
• İnsan iradesi nasıl korundu?
• Sponsor ve çıkar ilişkisi nasıl açıklandı?
• İptal ve itiraz sistemi çalışıyor mu?
• Manipülasyon Veto Kapısı uygulandı mı?

GBO’nun kendisi pazarlama aklamasına dönüşmemelidir.

NOMOS Davranış Bütünlüğü Kapısı

Bir GBO sistemi davranışı optimize etmeden önce şu kapılardan geçmelidir:

1. Asıl Sahip Kapısı

Sistem kimin meşru yararına çalışıyor?

2. Amaç Sadakati Kapısı

Davranış başlangıçtaki açık hedefi koruyor mu?

3. Gerçeklik Kapısı

İddialar kanıtlanabilir ve güncel mi?

4. Maddi Açıklık Kapısı

Kararı değiştirecek önemli bilgiler görünür mü?

5. Çıkar Kapısı

Sponsor, komisyon ve çıkar çatışmaları açık mı?

6. Seçim Özgürlüğü Kapısı

Kullanıcı alternatifleri görebiliyor, reddedebiliyor ve kararını erteleyebiliyor mu?

7. Yetki ve Rıza Kapısı

Davranış geçerli, bağlama özel izin altında mı?

8. Temsil Tutarlılığı Kapısı

İnsan ve makine aynı ticari ve davranışsal gerçeği görüyor mu?

9. Geri Çekme Kapısı

Seçim, rıza ve yetki makul biçimde geri alınabiliyor mu?

10. İtiraz Kapısı

Yanlış davranış gerçek insan incelemesiyle düzeltilebiliyor mu?

Birlikte gözetilmesi gereken koşulların kavramsal özeti şöyledir:

ETİK GBO =

AÇIK ASIL SAHİP

VE AMAÇ SADAKATİ

VE DOĞRULANABİLİR GERÇEK

VE MADDİ AÇIKLIK

VE GÖRÜNÜR ÇIKARLAR

VE ÖZGÜR SEÇİM

VE GEÇERLİ YETKİ

VE TEMSİL TUTARLILIĞI

VE GERİ ÇEKME

VE GERÇEK İTİRAZ

Bu kapılar geçilmeden yapılan çalışma davranışı optimize edebilir. Fakat insan yararını koruyan GBO sayılmaz.

Bölümün hükmü

Davranış optimizasyonu çok güçlüdür.

Bir ajanın:

• hangi bilgiyi okuyacağını,
• hangi seçeneği değerlendireceğini,
• kimi seçeceğini,
• ne zaman soru soracağını,
• hangi eylemi gerçekleştireceğini

etkileyebilir. Bu güç iki farklı yönde kullanılabilir.

Birinci yol:

Gerçeği açıklaştırır. Kanıtı bağlar. Uygunluğu gösterir. Yetkiyi sınırlar. İnsanın seçim ve itiraz hakkını korur.

İkinci yol:

Sinyalleri şişirir. Maddi gerçeği gizler. Kullanıcı amacını kaydırır. Alternatifleri bastırır. Eski rızayı genişletir. İptali ve itirazı zorlaştırır.

İlk yol GBO’dur. İkinci yol davranış manipülasyonudur. Aralarındaki fark yalnız kullanılan teknoloji değildir.

Kimin iradesinin korunduğudur.

GBO’nun amacı bir markayı ajanın zihnine kazımak değildir. Bir platformun işlem sayısını artırmak değildir. Bir sistemi insanın yerine görünmez karar verici yapmak değildir.

GBO’nun amacı: Ajanın gerçeğe bağlı, kullanıcı amacına sadık, yetki sınırlarını bilen, seçenekleri dürüstçe değerlendiren ve insanın geri çekilme hakkını koruyan davranışlar göstermesidir.

Bu nedenle GBO’nun en temel etik hükmü şudur: Bir davranış, insanın özgür ve bilgili seçimini azaltarak optimize ediliyorsa artık nitelikli davranış değildir. Fakat bu hükmün gerçek bir güce dönüşmesi için insanın yalnız teorik olarak merkezde olması yeterli değildir.

İnsan:

• ajanı durdurabilmeli,
• yetkiyi geri alabilmeli,
• hafızayı düzeltebilmeli,
• seçime itiraz edebilmeli,
• otomatik işlemi iptal edebilmeli,
• gerçek bir insan sorumluya ulaşabilmelidir.

Aksi hâlde “insan denetimi” yalnız bir slogan olur.

Son bölümde bu yapıyı, kitap boyunca savunduğum temel bir insan kontrolü ilkesine bağlayacağız:

Makineyi durdurma hakkı

Bir sistem ne kadar akıllı, hızlı ve yararlı olursa olsun, geçerli bir durdurma veya yetki geri çekme talebini görmezden gelmemelidir. Durdurmanın kendisi zarar doğurabilecekse güvenli duruma geçiş yolu işletilmelidir. Bir makinenin insana hizmet ettiğinin temel sınamalarından biri, yetkili insanın talebi üzerine güvenle durabilmesidir.