아키텍처 · Retrieval-Augmented Generation
RAG
정의
AI가 답하기 전에 내부 문서·DB·FAQ에서 관련 내용을 검색해서 읽고 · 그 내용만 근거로 답하게 만드는 구조. "AI가 아무 말이나 지어내는" 환각을 구조적으로 줄인다.
왜 중요한가
기본 ChatGPT는 훈련 시점 이후 지식을 모르고, 우리 회사 특화 정보도 없다. RAG가 이 둘을 한 번에 해결.
답변에 **원문 출처 링크**를 붙일 수 있어 신뢰도와 감사 가능성이 높아진다.
모델 fine-tuning보다 **싸고 빠르다**. 문서 바뀌면 재학습이 아니라 **인덱스 갱신**만.
실전에 어떻게 쓰나
1. "한 번에 10건" 문서 정리부터
RAG 품질은 문서 품질이 결정. 제목·구조가 엉망이면 결과도 엉망. 핵심 문서 10건을 마크다운으로 먼저 정돈.
2. 청크 단위 설계
문서를 200~500자 단위로 쪼개고(청크) 임베딩 → 벡터 DB(Supabase pgvector 등)에 저장. 청크 경계가 엉성하면 검색도 엉성.
3. 검색 + 답변 분리
검색 엔진이 먼저 관련 청크 3~5개 가져오고, LLM은 그걸 **그대로 읽어 답변 생성**. 프롬프트에 "청크 밖 지식 금지" 명시.
4. 원문 링크 필수
답변 말미에 인용 청크의 원문 링크를 항상 표시. 사용자 신뢰 + 디버깅 동시 해결.