Yapay Zekâ Operasyon Yönetimi

Yönetilen yapay zekâ operasyonları yalnızca kullanılan modellerin listesiyle kurulamaz. Her canlı süreci tetikleyiciden sonuca kadar izleriz: kim başlatıyor, hangi talimat ve bilgi kaynağı kullanılıyor, hangi model veya sağlayıcı devreye giriyor, hangi araçlara ve hesaplara erişiliyor, veri hangi sınırları geçiyor, insan nerede onay veriyor veya müdahale ediyor ve işin tamamlandığını hangi kayıt kanıtlıyor? İlk tasarımda görünmeyen zamanlanmış görevler, sessiz geri dönüşler, elle yürütülen geçici çözümler ve kopya akışlar da envantere girer.

Her sisteme bir iş amacı, sorumlu kişi, risk seviyesi, kabul edilebilir çalışma koşulu ve durdurma ya da devreden çıkarma yolu atanır. Sabitlenebilen bağımlılıkların sürümü sabitlenir; sabitlenemeyenlerin değişme riski kayda alınır. Devir başlangıç kaydında hata örüntüleri, gecikme, maliyet, insan düzeltme oranı, bilgi güncelliği, yetkiler, sağlayıcı sınırları ve açık olaylar bulunur. Logların göstermediği bir konuda sağlıklı görünmek için sayı üretmeyiz; veri boşluğunu olduğu gibi yazarız.

İşe yarayan yapay zekâ ajan izleme, tek bir API çağrısını değil; model yanıtını, bilgi getirmeyi, araç kullanımını, onayı, yeniden denemeyi ve son iş kaydını aynı çalışma üzerinde birleştirir. Her çalışmaya ilişkilendirme kimliği verilir. Süreç ve sürüm, başlangıç ve sonuç durumu, gecikme, model veya token kullanımı, araç sonucu, tekrar sayısı, politika kararı, insan müdahalesi ve hata sınıfı kaydedilir. Altyapı elveriyorsa izler, ölçümler, loglar ve olaylar ortak adlandırmayla tutulur; böylece bağlayıcı arızası kötü yanıttan, reddedilmiş işlemden veya sağlayıcı zaman aşımından ayrılır.

Gözlemlenebilirlik, her istemi, müşteri belgesini ve araç parametresini süresiz saklama izni değildir. Telemetri tasarımından önce kişisel veri, ticari sır, kimlik bilgisi ve düzenlemeye tabi kayıtlar belirlenir. Ardından veri azaltma, maskeleme, erişim, saklama ve silme kuralları gerçek ortama göre uygulanır. Örnekleme ile sansürleme kararları daha sonra nelerin kanıtlanabileceğini etkilediği için belgelenir. Genel panel sistemin durumunu gösterir; hassas olay kanıtı yalnızca yetkili denetim yolunda tutulur.

Her yönetilen süreç kendi gerçek işinden türetilmiş bir değerlendirme kümesine ihtiyaç duyar. Olağan örneklerin yanında pahalı hatalar, yetki sınırları, belirsiz girdiler, gerekiyorsa dil çeşitleri ve üretimde öğrenilen hata vakaları bulunur. Ölçütler; kesin kuralları, referans yanıtları, iş kontrollerini ve alan uzmanı değerlendirmesini birlikte kullanabilir. Test girdisi, beklenen davranış, değerlendirici, puan mantığı ve bilinen eksikler sürümlenir. Reddetmesi, doğru araca gitmesi, şemayı koruması ve gerektiğinde insana devretmesi gereken bir süreci tek bir genel doğruluk puanıyla yönetmeyiz.

Değişiklik kuyruğunda gerekçe, sorumlu, etkilenen süreç, risk seviyesi ve geri dönüş yolu bulunur. Yayından önce ilgili değerlendirme kümesi mevcut ve aday sürümde çalıştırılır. Risk yükseldikçe sahne ortamında tekrar, gölge çalışma, sınırlı trafik veya açık insan onayı devreye girer. Yayından sonra aynı göstergeler üzerinden gerileme aranır. Sağlayıcının yaptığı model güncellemesi ya da kullanım dışı bırakma da bizim başlatmadığımız hâlde değişikliktir; davranış sabitlenemiyorsa bu belirsizlik karar kaydına girer.

Olay modeli iş etkisine göre kurulur. Geciken bir iç özet ile müşteri kaydı değiştirebilen, mesaj gönderebilen, korunan veriyi açığa çıkarabilen ya da ödeme başlatabilen bir ajanın hatası aynı sırada ele alınmaz. Önem derecesi, tespit yolu, müdahale sahibi, iletişim beklentisi ve hizmete dönüş koşulu yazılı olur. Çalışma talimatları sınırlama ile düzeltmeyi ayırır: araç erişimini iptal etmek, akışı durdurmak, insan incelemesine dönmek, bilgi sürümünü geri almak, modeli kapatmak veya bağımlılık düzelene kadar işi kuyruğa almak farklı adımlardır. Destek saatleri ve müdahale hedefleri ancak sözleşmede varsa geçerlidir.

Önemli olay sonrası inceleme, son cümleyi suçlayıp kapanmaz. Talimat, getirilen bağlam, kimlik ve yetki, araç doğrulaması, entegrasyon davranışı, insan kararı, telemetri eksiği ve sağlayıcı değişikliği birlikte incelenir. Çözüm bazen istem düzeltmesidir; bazen hesabı daraltmak, onay eklemek, araç parametresini doğrulamak, iş kuralını değiştirmek veya süreci tamamen kaldırmaktır. Hukuki ve teknik açıdan mümkünse vaka değerlendirme kümesine eklenir. Bir işlem tekrar deneyince başarılı oldu diye sürekli yaşanan istisna kapatılmaz.

İşletim ritmi gösterişli aylık rapora değil, risk ile kullanım hacmine göre şekillenir. Yüksek etkili uyarılar, sözleşmedeki saatler içinde oluştuğunda ele alınır. Düzenli toplantıda olaylar, değerlendirme hareketi, insan düzeltmeleri, bilgi güncelliği, sağlayıcı değişiklikleri, gecikme, tüketim ve açık riskler incelenir. Karar kaydı neyin değiştiğini, neye bilinçli olarak dokunulmadığını ve gerekçesini gösterir. Dönemsel değerlendirme ise özerkliğin genişletilip daraltılmasını, farklı model veya araç kullanımını ve sürecin hâlâ maliyetini hak edip etmediğini sorgular.

Bu nedenle Yapay Zekâ Operasyon Yönetimi teklifi; kapsanan sistemleri, ortamları, saatleri, kanalları, önem seviyelerini, müdahale ve geri dönüş hedeflerini, dâhil geliştirme kapasitesini, raporlama düzenini, müşteri görevlerini ve hariçleri açıkça yazar. Model, gözlemleme aracı, bulut ve diğer yazılım giderleri yalnızca teklifte belirtilmişse dahildir. Yeni süreç kurulumu, büyük yeniden tasarım, destek saati dışı acil çalışma ve mevzuat sertifikasyonu kendiliğinden pakete girmez. Çıkış planı da yapılandırmaları, kayıtları, açık riskleri ve güvenli devri kapsar.