
Kısa yanıt: Erişimle güçlendirilmiş üretim (RAG, retrieval-augmented generation), sistemin önce sizin belgelerinizde soruyla en ilgili bölümleri bulup bunları soruyla birlikte dil modeline vermesidir. Cevap böylece yalnız modelin eğitimde öğrendiklerine değil, o metne dayanır. Bir asistan RAG’e; cevap vermesi gereken bilgi büyükse, sık değişiyorsa ya da yalnız işletmenize aitse ihtiyaç duyar. Bilginin tamamı isteme (prompt) sığıyorsa RAG’e hiç gerek olmayabilir.
Fikir nereden geliyor?
Terim, Patrick Lewis ve arkadaşlarının NeurIPS’te sunduğu 2020 tarihli makaleden geliyor. Yazarlar, bilgiyi ağırlıklarında tutan bir dil modelini, bir arama bileşeninin içinden bilgi bulduğu ayrı bir belge diziniyle birleştirdi. Bu birleşimin, yalnız dil modeline göre daha belirgin ve daha doğru metin ürettiğini bildirdiler. Ayrı bir dizinin bilgiyi güncellemeyi ve cevabın kaynağını göstermeyi kolaylaştırdığını da savundular; bilgi modelin içindeyken ikisi de zordur.
RAG adım adım nasıl çalışır?
- Belgeler bölünür. Ürün sayfaları, politikalar ve yardım yazıları küçük parçalara ayrılır.
- Dizine eklenir. Her parça sonradan bulunabilecek şekilde saklanır: anlama dayalı arama için gömme (embedding) olarak, BM25 gibi bir anahtar kelime dizininde ya da ikisinde birden.
- Soru geldiğinde bulunur. Sistem soruya en uygun parçaları seçer.
- Bulunan metinden cevap verilir. Parçalar, onlardan cevap verme ve tercihen her cevabın kaynağını belirtme talimatıyla isteme eklenir.
RAG’e ne zaman gerek yoktur?
Anthropic’e göre bilgi bankası yaklaşık 200.000 token’dan, yani kabaca 500 sayfadan küçükse tamamını arama yapmadan isteme koyabilirsiniz. İstem önbelleği (prompt caching) bunu tekrarlamayı hızlandırır ve ucuzlatır.
| Her şey istemde | RAG | |
|---|---|---|
| Bilgi miktarı | Küçük (~500 sayfaya kadar) | Büyük ya da büyüyen |
| Güncelleme | İçerik yeniden gönderilir | Yalnız değişen kısım yeniden dizinlenir |
| Soru başına maliyet | Önbellek yoksa daha yüksek | Yalnız bulunan parçalar gönderilir |
| Ana risk | Bağlam sınırına takılmak | Doğru parçayı kaçırmak |
En sık nerede hata olur?
En yaygın sorun, bağlamını kaybetmiş bir parçadır. Anthropic’in örneği, şirketin adını ve dönemi söylemeden gelirin “önceki çeyreğe göre %3 arttığını” söyleyen bir paragraftır. Tek başına bulunduğunda doğru kullanılamaz.
Anthropic’in Contextual Retrieval yöntemi, her parçayı dizine eklemeden önce ona kısa bir açıklama ekler. Kendi testlerinde, ilk 20 parçada doğru parçayı kaçırma oranı (1 − recall@20) %5,7’den şöyle düştü:
- bağlamlı gömmelerle göreli olarak %35, yani %3,7’ye,
- bağlamlı gömmeler bağlamlı BM25 ile birleşince %49, yani %2,9’a,
- üstüne yeniden sıralama (reranking) eklenince %67, yani %1,9’a.
Bu rakamlar Anthropic’in kendi testlerinden; sizin belgelerinizdeki sonuç içeriğinize ve sorularınıza bağlıdır.
Belgelerinizi kullanan bir asistanda neye bakmalı?
- Kaynağını gösteriyor mu? Hangi politikadan ya da sayfadan geldiğini söyleyen bir cevap kontrol edilebilir.
- Hiçbir şey bulamazsa ne oluyor? Doğru davranış bunu söylemek ya da konuşmayı bir insana devretmektir; genel bilgiden cevap uydurmak değil.
- Güncellemeler ne kadar hızlı yansıyor? Değişen bir fiyat ya da çalışma saati cevaplara çabuk ulaşmalı.
Mobilina portföyündeki yapay zekâ asistanı Agenola bu davranış etrafında kuruludur: İşletmenin kataloğu, politikaları ve eklenen bilgilerden cevap verir; emin olmadığında tahmin etmek yerine ekip için bir talep açar. Bunun kurallı bir chatbottan farkı için Yapay zekâ ajanı ile chatbot arasındaki fark yazısına bakabilirsiniz.
Özet
- RAG, belgelerinizden parçalar bulur ve cevabı onlardan üretir.
- Yaklaşık 500 sayfanın altında her şeyi isteme koymak çoğu zaman daha basittir.
- Hataların çoğu arama hatasıdır; parçalara bağlam eklemek ve yeniden sıralamak işe yarar.
- İyi bir asistan kaynağını gösterir ve bir şey bulamadığında bunu söyler.


