Canlı bir yapay zeka iş akışını değerlendirmek: değişiklik kapısı

Bu sitede bu ay yayımlanan Hukuki iş akışı otomasyonu pilotlarını ölçmek tek bir soruyu bir kez yanıtlıyor: bu iş işe yaradı mı. Mevcut durumun ölçümü, her hata sınıfı için tolerans, baştan yazılmış bir durdur ya da ölçekle eşiği. O yazı, işin devreye alındığı yerde duruyor. Canlı bir iş akışı ise birkaç haftada bir başka soru sorar: bu hâlâ onayladığımız iş akışı mı. Aradaki boşluğa kimsenin duyurmadığı her model sürümü, her istem düzenlemesi, her bilgi getirme kaynağı güncellemesi ve her entegrasyon yükseltmesi giriyor.

Zemin kendiliğinden kayıyor. Lingjiao Chen, Matei Zaharia ve James Zou, GPT-4'ün Mart 2023 ve Haziran 2023 sürümlerini karşılaştırdı: asal sayıyı bileşik sayıdan ayırma işinde doğruluk yüzde 84'ten yüzde 51'e indi. Hizmetin adı ise hiç değişmedi.

Bu yüzden kapıyı iş akışına değil, değişikliğe kurun. Kendi dosyalarınızdan bir referans küme oluşturun; doğru yanıtı, o işi zaten yapacak olan hukukçu kaydetsin. Andrew Ng haklı: zamanla büyüyen beş örnek, hiç devreye giremeyen eksiksiz bir kümeden iyidir. Kümeyi her model, istem, bilgi getirme veya entegrasyon değişikliğinde çalıştırın ve durdurma yetkisi tanıyın: pilotta tanımladığınız kritik hata sınıfında en ufak bir kayma varsa değişiklik yayına çıkmaz. Devreye aldıktan sonra örneklem de alın, çünkü kapı yalnızca kümedeki durumları görür. Adı belli tek bir hukukçu, sabit sayıda canlı çıktı, her hafta.

Tartışılmaya değer iki görüş. Üç aydır yüzde 100 geçen bir küme güvenli bir iş akışının değil, bayatlamış bir kümenin işaretidir; örneklemin bulduğu hataları o kümeye ekleyin. İkincisi, tedarikçinin kendi değerlendirmesi kapı yerine geçmez: ticari hukuki araştırma araçları üzerine yapılan ilk ön kayıtlı çalışma, o dönemde piyasada olan LexisNexis ve Thomson Reuters araçlarının yüzde 17 ile yüzde 33 arasında halüsinasyon ürettiğini buldu; sağlayıcıların iddialarını da abartılı buldu (Magesh, Surani, Dahl, Suzgun, Manning ve Ho, Journal of Empirical Legal Studies, 2025).

Bunların hiçbiri yeni bir mühendislik buluşu değil. Gönüllü NIST Yapay Zeka Risk Yönetimi Çerçevesi, değişiklik yönetimini zaten devreye alma sonrası izleme başlığının, MANAGE 4.1'in içine koyuyor. Hukuk ekiplerinde eksik olan kavram değil, sahip: değişikliğin imzasını beklediği bir kişi ve o değişikliği geçiren kümenin sürüm numarası.

Yayım 27 Temmuz 2026

Sonraki yazı: Şirket içi hukuk ekipleri için yapay zeka yönetişimi: beş asgari kontrol →