retrieval augmented generation

Getirme destekli üretim: büyük dil modelinin, cevabını yalnızca eğitiminde ezberlediği bilgiden değil, o an bir bilgi kaynağından bulup getirilen (retrieve) belgelerden üretmesi mimarisi. Soru gelir, sistem önce şirket dokümanlarında ya da veri tabanında ilgili parçaları arar, bulunanları modelin önüne koyar ve model cevabı bu kaynaklara dayanarak yazar.

Çözdüğü iki büyük dert vardır: güncellik (modelin eğitim tarihinden sonraki bilgiyi kaynak üzerinden verir) ve uydurma (halüsinasyon — model kaynağa bakarak konuştuğu için, kaynak gösterebildiği için denetlenebilir). Kurumsal yapay zeka uygulamalarının fiili standardı bu yüzden rag'dir: 'şirket belgelerimizle konuşan asistan' isteklerinin altyapısı budur.

Teknik omurgası: belgelerin parçalanıp sayısal vektörlere çevrilmesi (embedding), vektör veri tabanında saklanması ve soruya en yakın parçaların benzerlikle bulunması. Girişimci gözünden fırsat da burada: her sektörün kendi belge yığını (mevzuat, teknik döküman, destek geçmişi) bir rag ürününe ham maddedir; fark yaratan model değil, verinin temizliği ve getirme kalitesidir.