@bberber · 14 gün önce
RAG mimarisi pratikte nasıl kurulur: Belgelerinizle konuşan bir sistem yapmanın adımları
Kurum içi belgelerle çalışan bir soru cevap sistemi, yapay zekânın en çok karşılık bulan kullanım alanlarından biri. Mantığı basit ama iyi çalışan bir kurulum birkaç ayrıntıya bağlı.
Temel akış şöyle işliyor: belgeler parçalara bölünüyor, her parça bir vektöre dönüştürülüp saklanıyor, kullanıcı soru sorduğunda soru da vektöre çevriliyor ve en benzer parçalar bulunuyor, bu parçalar soruyla birlikte modele veriliyor ve model cevabı o parçalara dayanarak üretiyor.
En kritik karar parçalama stratejisi. Çok küçük parçalar bağlamı kaybettiriyor, çok büyük parçalar ilgisiz bilgi taşıyıp modeli şaşırtıyor. Belge yapısına saygılı bölme, yani başlık ve bölüm sınırlarını takip eden bölme, sabit uzunlukta kesmekten çok daha iyi sonuç veriyor.
İkinci kritik nokta arama kalitesi. Sadece vektör benzerliğine dayanan arama, özel isimler ve kod numaralarında zayıf kalıyor. Klasik anahtar kelime aramasıyla birleştirmek belirgin iyileşme sağlıyor.
Üçüncüsü yeniden sıralama. İlk aramada yirmi parça çekip bunları daha hassas bir modelle tekrar sıralayıp en iyi beşini modele vermek, doğrudan beş parça çekmekten daha iyi çalışıyor.
Dördüncüsü kaynak gösterme. Cevabın hangi belgeden geldiğini göstermek, kullanıcının doğrulayabilmesini sağlıyor ve güveni tamamen değiştiriyor.
Beşincisi bilmiyorum diyebilmek. Sistem ilgili belge bulamadığında cevap uydurmak yerine bulunamadığını söylemeli. Bu davranışı istemde açıkça talep etmek gerekiyor.
Son olarak değerlendirme. Gerçek sorulardan oluşan bir test seti hazırlayıp her değişiklikten sonra çalıştırmak, iyileştirme yaptığınızı sanmakla gerçekten yapmak arasındaki farkı gösteriyor.
Temel akış şöyle işliyor: belgeler parçalara bölünüyor, her parça bir vektöre dönüştürülüp saklanıyor, kullanıcı soru sorduğunda soru da vektöre çevriliyor ve en benzer parçalar bulunuyor, bu parçalar soruyla birlikte modele veriliyor ve model cevabı o parçalara dayanarak üretiyor.
En kritik karar parçalama stratejisi. Çok küçük parçalar bağlamı kaybettiriyor, çok büyük parçalar ilgisiz bilgi taşıyıp modeli şaşırtıyor. Belge yapısına saygılı bölme, yani başlık ve bölüm sınırlarını takip eden bölme, sabit uzunlukta kesmekten çok daha iyi sonuç veriyor.
İkinci kritik nokta arama kalitesi. Sadece vektör benzerliğine dayanan arama, özel isimler ve kod numaralarında zayıf kalıyor. Klasik anahtar kelime aramasıyla birleştirmek belirgin iyileşme sağlıyor.
Üçüncüsü yeniden sıralama. İlk aramada yirmi parça çekip bunları daha hassas bir modelle tekrar sıralayıp en iyi beşini modele vermek, doğrudan beş parça çekmekten daha iyi çalışıyor.
Dördüncüsü kaynak gösterme. Cevabın hangi belgeden geldiğini göstermek, kullanıcının doğrulayabilmesini sağlıyor ve güveni tamamen değiştiriyor.
Beşincisi bilmiyorum diyebilmek. Sistem ilgili belge bulamadığında cevap uydurmak yerine bulunamadığını söylemeli. Bu davranışı istemde açıkça talep etmek gerekiyor.
Son olarak değerlendirme. Gerçek sorulardan oluşan bir test seti hazırlayıp her değişiklikten sonra çalıştırmak, iyileştirme yaptığınızı sanmakla gerçekten yapmak arasındaki farkı gösteriyor.
0 2 yorum