Halüsinasyon: yapay zekânın uydurduğu bilgi

Doğrulama denetleyicisi

Bir çıktı tek bir iddia değildir: aynı paragrafta mevzuat atfı, karar atfı, tarih, alıntı ve hukuki değerlendirme yan yana durur ve her birinin doğrulama adımı farklıdır. Elinizdeki cümlenin türünü seçin; fiş, o tür için nereden ve hangi alanları karşılaştırarak doğrulama yapılacağını gösterir.

Halüsinasyon nedir?

Halüsinasyon, bir dil modelinin kaynağı olmayan bir bilgiyi doğruymuş gibi ve tereddütsüz bir dille üretmesidir. Terim üç şeyle karıştırılır ve üçü de değildir:

Yalan değildir

Yalan söylemek, doğruyu bilip başkasını söylemeyi gerektirir. Burada bir kasıt, dolayısıyla bir “doğruyu bilme” hâli yoktur.

Arıza değildir

Bozulan, çöken ya da uyarı veren bir şey yoktur; sistem tam olarak yapmak üzere kurulduğu şeyi yapar. Bu ayrım pratikte önemlidir: arıza düzeltilir, yan ürün YÖNETİLİR.

Algı yanılması değildir

Türkçede yerleşen “halüsinasyon” sözcüğü bir algı bozukluğu çağrıştırır; oysa ortada algı yoktur. Teknik yazında bu yüzden “konfabülasyon” (boşluğu akıcı biçimde doldurma) terimi tercih edilir.

Mekanizması tek cümleyle anlatılabilir: model her adımda metnin en olası devamını yazar. Akıcılık ile doğruluk aynı şey olmadığı için, biçimi kusursuz ama karşılığı bulunmayan bir cümle üretmek hiçbir iç kuralı çiğnemez. Ayrıca “bunu bilmiyorum” diyebilmesi için modelin, bildikleri ile bilmedikleri arasında ayrı bir sınır tutması gerekirdi; böyle bir sınır yoktur. Bilinmeyen bir karar numarası, bilinen bir karar numarasıyla tam olarak aynı hissi verir.

İki tür: evrak varken ve evrak yokken

Altı vaka: iddia, hata, kontrol

Her vaka aynı üç parçadan oluşur ve parçalar hep aynı sırada gelir. Üçüncü vakadan sonra kalıbı tanıyacaksınız — asıl kazanç budur: elinizdeki çıktıya bakarken de aynı üç soruyu sorarsınız.

Uydurma nerede yoğunlaşır?

Altı vakanın ortak paydası şudur: hepsi biçimi öğrenilebilir, içeriği öğrenilemez bir alanda geçiyor. Bir kalıp binlerce metinde tekrar eder ve sağlam öğrenilir; o kalıbın içine girecek olan tekil değer ise çoğu zaman tek bir metinde geçer. Sonuç: biçimi doğru olan her değer aynı derecede akıcı görünür ve doğruyu yanlıştan ayıracak dilsel bir iz kalmaz.

Karşı taraftaki alan da aynı mantıkla bulunur: bir dil modeli, tanımların ve genel anlatımların olduğu yerde belirgin biçimde daha güvenilirdir. Bir kavramı açıklamak, dayanağının numarasını söylemekten çok daha az riskli bir iştir.

Neden inandırıcı görünüyor?

Uydurulmuş bir cümlenin doğru cümleden ayırt edilememesi bir tesadüf değil, aynı mekanizmanın öteki yüzüdür. Aşağıdaki sekiz kalıp, denetimi en çok zayıflatan sebeplerdir; hiçbiri metnin içeriğine bakmaz, hepsi metnin GÖRÜNÜŞÜNE ilişkindir.

1. 1 Biçim doğru, karşılık yok Atıf kalıbı — daire, esas, karar, tarih — kusursuzdur. Kalıp öğrenilebilir bir şeydir; kalıbın içine girecek değer ise değildir. Okuyucu kalıbı tanır ve tanıdıklığı doğruluk sanır.
2. 2 Tereddüt yok Model “emin değilim” demez. Belirsizlik metinde iz bırakmaz; bilinen bir bilgi ile uydurulmuş bir bilgi aynı kararlılıkla yazılır.
3. 3 Doğrunun içine gömülü Dokuz doğru cümlenin arasına yerleşen onuncu cümle, dokuzunun güvenilirliğini ödünç alır. Denetim, paragrafın tamamına aynı gözle bakar.
4. 4 Sizin kelimelerinizle konuşur Sorunuzdaki terimleri aynen kullanır. Kendi cümlenizin geri dönmesi, bir teyit gibi okunur.
5. 5 Aradığınız cevabı verir Soru yönlendirici olduğunda (“bunun geçersiz olduğunu gösteren bir karar var mı?”) üretilen cevap tam da o soruyu karşılar. En çok istediğiniz cevap, en az şüphe duyduğunuz cevaptır.
6. 6 Ayrıntı fazlalığı Gereğinden çok ayrıntı — tarih, daire, sayfa, fıkra — bir emek işareti sanılır. Oysa ayrıntı üretmenin maliyeti sıfırdır; ayrıntı ucuzdur, doğrulama pahalıdır.
7. 7 Israr ya da ani dönüş “Emin misin?” sorusuna verilen iki tipik cevap da doğrulama değildir: ya aynı iddia daha kararlı bir dille tekrarlanır, ya da doğru bir cevap bile geri alınır.
8. 8 Tanıdık isim etkisi Bilinen bir daire adı, bilinen bir kanun adı, bilinen bir kavram. Tanıdıklık, doğruluk hissinin en ucuz kaynağıdır.

Hukuki metinde neden tehlikeli?

Halüsinasyon her alanda sorun çıkarır; hukuki metinde tehlikeli olmasının kendine özgü bir sebebi vardır: bu metinler atıfla ikna eder. Bir dilekçe, mütalaa ya da sözleşme, dayanağını göstererek güven kurar. Uydurulmuş bir atıf da tam olarak oraya, metnin en ikna edici görünen yerine yerleşir — ve orayı metnin en çürük yerine çevirir.

Riski daraltan çalışma biçimi

Halüsinasyon bugünkü üretim biçiminde sıfırlanamaz; ama nerede yoğunlaştığı bilindiği için daraltılabilir. Aşağıdaki altı alışkanlık, riski “her cümleyi kontrol et” gibi uygulanamaz bir kuraldan, uygulanabilir bir düzene çevirir.

1. 1 Soruyu evrağa dayandırın Cevabı evrağın içinde olan bir soru sorulduğunda model ezberinden değil önündeki metinden konuşur. “Bu konuda ne diyorsun” yerine “bu sözleşmenin hangi maddesi bunu düzenliyor” sorusu, aynı işi çok daha düşük riskle yaptırır.
2. 2 Her cümle için kaynak isteyin Çıktının her önemli cümlesi, dayandığı evrağa ve sayfaya bağlanabilmelidir. Kaynağı gösterilemeyen cümle yanlış olmayabilir — ama denetlenmemiştir ve ikisi aynı şey sayılır.
3. 3 İşi bölün: evrak makineye, hukuk insana Makinenin güvenilir olduğu işler evrağın kendisine dayanan işlerdir: madde çıkarımı, künye kurma, sürüm karşılaştırma, benzer madde arama. Nitelendirme, strateji ve atıf seçimi insanda kalır.
4. 4 Denetim bütçesini türe göre dağıtın Bütün cümlelere eşit zaman ayırmak, hiçbirine yetmemek demektir. Önce süreler ve tutarlar (geri alınamaz), sonra atıflar (düzeltilebilir ama pahalı), en sonra genel anlatım.
5. 5 “Bilmiyorum” diyebilen bir akış kurun Boşluğu doldurmak yerine boşluğu bildiren bir cevap daha kullanışlıdır: bir sonraki adımı gösterir. Bunu teşvik etmenin en basit yolu, soruyu evrakla sınırlamak ve evrakta olmayanı istememektir.
6. 6 Denetimi kayıt altına alın Hangi çıktının kim tarafından, neye karşı doğrulandığı yazılı değilse, denetim yapılmış sayılmaz. Kayıt hem tekrar denetlemeyi önler hem de sorumluluk sorusunun cevabını dosyanın içinde tutar.