RAG (Retrieval Augmented Generation) 심층 분석

RAG (Retrieval Augmented Generation) 심층 분석: LLM의 한계를 넘어서는 지식 확장 기술의 핵심과 고급 전략1. RAG 파이프라인의 핵심 구성 요소 및 최적화 (Where to Retrieve?)RAG 시스템의 근간은 LLM이 참조할 수 있는 고품질의 외부 지식 기반을 효율적으로 구축하고 활용하는 것입니다. 이 과정은 데이터 수집부터 벡터화, 그리고 검색에 이르기까지 정교한 설계와 최적화가 필수적입니다.로드 (Load):다양한 데이터 소스 수집: RAG는 PDF, JSON, HTML, Markdown, CSV 등 다양한 정적 문서 형식은 물론, GitHub, Notion, Slack, Google Drive와 같은 클라우드 기반 서비스, 그리고 다양한 관계형/NoSQL 데이..

• format_list_bulleted Machine Learning
• · 2025. 7. 26.
• textsms

Re-ranker, Bi-encoder vs Cross-encoder: RAG 시스템을 더 똑똑하게!

RAG Re-ranker, Bi-encoder vs Cross-encoder: 당신의 RAG 시스템을 더 똑똑하게!안녕하세요! 요즘 인공지능 분야에서 가장 뜨거운 키워드 중 하나는 바로 RAG (Retrieval Augmented Generation)입니다. 대규모 언어 모델(LLM)의 환각(Hallucination) 문제를 줄이고 답변의 정확도를 높이는 데 핵심적인 기술이죠. RAG는 크게 세 단계로 나뉩니다: 검색 (Retrieval) - 재랭킹 (Re-rank) - 생성 (Generation).오늘은 이 중에서 '재랭킹(Re-rank)' 단계의 핵심인 Bi-encoder와 Cross-encoder에 대해 자세히 알아보고, 실제 RAG 시스템에서 이 두 가지를 어떻게 활용하면 되는지 상세한 사용 사례..

• format_list_bulleted Machine Learning
• · 2025. 7. 22.
• textsms