Hukuki iş akışı otomasyonu pilotlarını ölçmek
Yazar Asım Serdar Yılmaz · Yayım · Son güncelleme · 2 dk okuma
Metriksiz bir pilot, bir demodan ibarettir: toplantı odasında etkileyici görünür, herkes başını sallar, üç ay sonra kimse işe yarayıp yaramadığını söyleyemez. Büyük bir şirketin hukuk ekibinde bu pilotların yeterince içinde bulundum; bana kalırsa ölçüm planı araçtan çok daha önemli.
Model iş akışına dokunmadan önce mevcut durumu ölçün. Süreyi baştan sona tutun, işin kaç kişinin elinden geçtiğini ve kaç kez devredildiğini kaydedin, dış harcamayı toplayın: dış avukat saatleri, dosya başı ücretler. Süre, el değiştirme sayısı ve dış harcama asgari başlangıç ölçütüdür; doğruluk, yeniden çalışma ve hataların ağırlığı gibi kalite ölçütlerini de sonradan okunacak bir eke değil, tam bunların yanına yazın.
Sonra her işin üretebileceği hata türlerini tanımlayın. Ben bunları üçe ayırıyorum: hukuki sonucu değiştiren kritik hatalar, ciddi düzeltme gerektiren esaslı hatalar ve yalnızca biçime ilişkin şekli hatalar. Toleransı her sınıf için belirleyin, kritik sınıfta bu tolerans sıfırdır ve rakamları çıktıyı görmeden, pilot başlamadan önce yazın.
Asıl bakılacak sayı, inceleme süresi. Model saniyeler içinde yanıt veriyor; parayı yiyen kısım, bir hukukçunun o yanıtı kontrol edip düzeltmek için harcadığı saat. İnceleme, sağlanan kazancı siliyorsa model ne kadar hızlı çalışırsa çalışsın pilot başarısızdır.
Durdur ya da ölçekle eşiğini önceden belirleyin; sonuçlar geldikten sonra konan eşik, olsa olsa sonuçların tarifi olur. MIT NANDA’nın 2025 tarihli ve çokça tartışılan The GenAI Divide raporu, kurumsal üretken yapay zeka pilotlarının yüzde 95’inin kâr-zarar üzerinde ölçülebilir bir etki göstermediğini buldu. Thomson Reuters ise 2025 raporunda, ankete katılan hukukçuların yalnızca yüzde 20’sinin yapay zekanın getirisini ölçtüğünü tespit etti. Bu iki bulguyu yan yana koyunca ortaya rahatsız edici bir tablo çıkıyor: ölçmüyorsanız, bu ayrımın hangi tarafında olduğunuzu bilemezsiniz.
Başlangıç ölçütü, hata toleransları, inceleme süresi: hepsi tek bir yerde toplanmalı, sahibinin adını, tarihi, durdur ya da ölçekle eşiğini ve kararın dayandığı kanıtı taşıyan bir pilot karar kaydında. Ölçekleme kararını, toplantıdaki baş sallamalarla değil, bu kayıtla tartışın. Bu kayıt soruyu bir kez cevaplar; canlı bir iş akışı ise her değişiklikte yeniden sorar.