RAG | Retrieval-Augmented Generation | 검색증강생성

대규모 언어 모델(LLM)은 뛰어난 능력을 보이지만, 실제 사용을 위해서는 환각이나 느린 지식의 업데이트, 답변의 투명성 부족 등과 같은 문제들을 극복해야 합니다. RAG(Retrieval-Augmented Generation)는 이러한 문제를 해결하기 위해 제안된 기술입니다.

RAG는 대규모 언어 모델(LLM)에서 질문에 대한 답변이나 텍스트를 생성하기 전에 광범위한 문서 집합에서 관련 정보를 검색하고, 이를 이용하여 응답을 생성하는 방법입니다. 이는 LLM의 기존 문제점인 지식의 시대에 뒤떨어짐, 특정 영역에 대한 지식 부족, 그리고 응답의 투명성 부족을 해결하는 데 중점을 두고 있습니다.

이러한 RAG는 답변의 정확도를 크게 향상시키고, 특히 지식 집약적인 작업에서 모델의 환각을 줄이는 데 도움이 됩니다. 사용자가 출처를 인용하여 답변의 정확성을 검증할 수 있으며, 이는 모델 출력에 대한 신뢰를 증가시킵니다. 또한, 지식 업데이트와 특정 분야의 지식 도입에도 용이합니다.

• 대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 1/2편 https://discuss.pytorch.kr/t/rag-1-2/3135
• 대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 2/2편 https://discuss.pytorch.kr/t/rag-2-2/3160
• 대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 번외편 https://discuss.pytorch.kr/t/rag/3255

• 상용 수준의 LLM 애플리케이션을 위한 개발자 가이드 (The Developer’s Guide to Production-Grade LLM Apps)
• How to Find the Best Multilingual Embedding Model for Your RAG
• Fine-Tuning Vs RAG in Generative AI
• 파인튜닝 vs RAG
• RAG 임베딩 테스트 - GitHub