채팅GPT를 사용하다 보면 “이 정보가 맞나?”라는 의심이 든다. AI는 매우 확신에 차 있는 어조로 가짜 정보를 만들기도 한다. 이를 “AI 환각(Hallucination)“이라고 한다. RAG(Retrieval-Augmented Generation)는 이 환각 문제를 해결하려는 기술이다. 이 글은 LLM의 한계와 RAG의 원리를 설명하고, 어떻게 신뢰할 수 있는 AI를 만들 수 있는지 보여준다.
LLM의 치명적인 한계: 학습 데이터의 벽
채팅GPT 같은 LLM은 놀랍도록 자연스러운 답변을 생성한다. 하지만 문제가 있다. LLM은 학습 시점 이후의 정보를 모른다.
학습 데이터의 시점 문제
GPT-3.5는 2021년 데이터로 학습했다. 따라서:
- 2022년 이후의 사건을 모른다
- 최신 뉴스를 알 수 없다
- 최근 연구 결과를 모른다
예시:
질문: 2024년 노벨 물리학상 수상자는 누구인가요?
GPT-3.5: 죄송합니다, 2024년 정보는 학습 데이터에 없습니다.
2021년까지의 정보만 제공할 수 있습니다.더 심각한 것은 LLM이 알지 못하면서도 답을 만들어낸다는 점이다.
환각(Hallucination): 거짓을 만들어내는 AI
환각은 LLM이 사실이 아닌 정보를 생성하는 현상이다.
예시 1: 완전히 틀린 정보
질문: 마틴 루터 킹 주니어가 1995년에 무슨 일을 했나요?
LLM: 마틴 루터 킹 주니어는 1995년에 NASA의 우주비행사로
우주에 다녀왔습니다. (완전히 거짓)예시 2: 믿기 어려운 확신
질문: 저는 이메일을 HTTPS로 보내야 하나요?
LLM: 네, 이메일은 HTTPS로 전송됩니다. 그렇지 않으면
보안 문제가 발생합니다. (부분적으로 틀림: 이메일은 SMTP 사용)도메인 전문 지식의 부족
LLM은 일반적인 지식은 많지만, 특정 분야 전문 지식은 부족하다.
예시:
질문: 저희 회사의 환불 정책은 무엇인가요?
LLM: 일반적으로 전자상거래의 환불 정책은... (회사 고유 정책 모름)법률, 의학, 금융 같은 전문 분야는 학습 데이터에 제한적이다.
한계를 극복하는 방법들
한계를 극복하려는 접근이 있었다:
-
Fine-tuning: 특정 도메인 데이터로 재학습
- 비용이 크고 시간이 오래 걸림
- 데이터 업데이트 시 재학습 필요
-
프롬프트 엔지니어링: 질문만 조절
- 근본적 한계 개선 불가
-
하이브리드 접근: 외부 검색과 결합
- 여기서 RAG가 등장
RAG는 LLM에 외부 정보 소스를 연결하는 것이다.
RAG란 무엇인가?
RAG는 Retrieval-Augmented Generation(검색 기반 생성)의 약자다.
RAG의 핵심 아이디어
일반 LLM:
질문 → LLM → 답변RAG:
질문 → 외부 검색 → 검색 결과 + 질문 → LLM → 답변RAG는 LLM이 답변 전에 관련 정보를 외부에서 찾도록 한다. 비유하면 도서관을 활용해 맥락을 준 뒤 답하는 방식이다.
RAG의 등장 배경
Meta(Facebook)이 2020년 “Retrieval-Augmented Generation”을 발표하며 정식화했다. 기본 아이디어는 명확했다:
- LLM만 사용하지 말 것
- 외부 지식 베이스를 활용할 것
- 검색 후 생성
RAG의 목표
- 최신 정보 반영
- 환각 감소
- 도메인 특화
- 응답 근거 제시
RAG가 작동하는 5단계 과정
RAG는 5단계로 동작한다.
1단계: 사용자 질문 입력
질문: "2024년 올림픽 메달 순위는?"2단계: 임베딩(Embedding): 텍스트를 숫자로 변환
- 임베딩: 텍스트 의미를 벡터(숫자)로 표현
- 의미가 가까울수록 벡터 거리 가까움
- 벡터 DB에 저장
예시:
- “강아지” → [0.8, 0.2, 0.9, …]
- “개” → [0.7, 0.3, 0.8, …]
- “자동차” → [0.2, 0.9, 0.1, …]
“강아지”와 “개”는 가깝고, “자동차”는 멀다.
3단계: 벡터 검색: 유사 문서 찾기
- 질문을 벡터로 변환
- 벡터 DB에서 유사도로 k개 추출
- 코사인 유사도 사용
4단계: Context 강화: 검색 결과를 프롬프트에 추가
RAG는 검색 결과를 프롬프트에 합쳐 전달한다.
다음 문서를 참고하여 답변하세요:
[문서 1] 2024년 올림픽 메달 순위...
- 1위: 미국 (39금, 41은, 33동)
- 2위: 중국 (38금, 32은, 18동)
...
[문서 2] 2024년 올림픽 하이라이트...
- 미국이 종합 우승...
[문서 3] 파리 올림픽 메달 집계...
- 대한민국 6위 (2금, 10은, 10동)
질문: 2024년 올림픽 메달 순위는?5단계: 답변 생성: 검증 가능한 답변 생성
강화된 맥락으로 근거 중심 답변을 만든다.
답변: 2024년 파리 올림픽 종합 메달 순위는 다음과 같습니다:
1위: 미국 (39금, 41은, 33동, 총 113개)
2위: 중국 (38금, 32은, 18동, 총 88개)
...
6위: 대한민국 (2금, 10은, 10동, 총 22개)실제 예시: 회사 정책 챗봇
회사 내부 챗봇으로 RAG 적용을 보자.
문제 상황
- 직원: 회사 내부 정책이 궁금함
- 한계: 공개 데이터 기반 답변이 부정확
- 필요: 회사 문서 기반 답변
RAG 해결 방법
1. 문서 수집 및 임베딩
- 인사규정.pdf → 임베딩 → 벡터 DB 저장
- 휴가규정.pdf → 임베딩 → 벡터 DB 저장
- 복리후생.pdf → 임베딩 → 벡터 DB 저장2. 질문 처리
직원: "연차는 언제까지 사용해야 하나요?"
[검색 결과]
문서 A: "연차는 발생한 다음 해 3월말까지 사용해야 합니다"
문서 B: "미사용 연차는 소멸되며 이월되지 않습니다"
문서 C: "특별한 사유가 있을 경우 최대 5일까지 이월 가능"
[답변]
회사 인사규정에 따르면, 연차는 발생한 다음 해 3월말까지 사용해야 합니다.
미사용 연차는 소멸되며 이월되지 않지만, 특별한 사유가 있을 경우
최대 5일까지 이월이 가능합니다.RAG의 장점
- 업데이트: 새 문서만 추가하면 최신 반영
- 근거: 문서 출처 명시 가능
- 정확도: 문서 기반 답변으로 환각 감소
LLM vs RAG: 정확한 비교
| 구분 | LLM | RAG |
|---|---|---|
| 정보 소스 | 학습 데이터만 | 학습 데이터 + 외부 검색 |
| 최신성 | 학습 시점까지 | 지속 업데이트 가능 |
| 정확도 | 환각 위험 | 근거 기반 높음 |
| 도메인 특화 | 어려움 | 가능 |
| 투명성 | 근거 불명확 | 출처 제공 가능 |
| 비용 | 낮음(재학습 없음) | 중간 |
| 응답 속도 | 빠름 | 느림 |
| 관리 | 쉬움 | 복잡(검색 시스템) |
실제 사용 사례 비교
시나리오: 최신 뉴스 질문
LLM:
질문: 어제 미국 주식 시장이 어땠나요?
답변: 죄송합니다, 실시간 정보는 제공할 수 없습니다.
또는 학습된 일반 정보만 제공 (부정확 가능)RAG:
질문: 어제 미국 주식 시장이 어땠나요?
[RAG 작동]
1. 뉴스 API 검색
2. 어제 뉴스 기사 찾음
3. 답변 생성
답변: 어제 다우존스는 0.5% 상승했습니다.
주요 이슈는 금리 인하 기대감이었습니다.
[출처: Bloomberg, 2024-10-25]RAG의 구성 요소
RAG는 다음으로 이루어진다.
1. 벡터 데이터베이스(Vector Database)
- 임베딩 저장, 유사도 검색, 확장성
- Pinecone, Weaviate, Chroma, Milvus, Qdrant
2. 임베딩 모델(Embedding Model)
- 텍스트를 벡터로 변환
- OpenAI, Sentence-Transformers, BGE
3. LLM
- 최신 모델일수록 좋음
4. 검색 시스템
- 유사도 계산, 필터, 재랭킹
- BM25, Dense, Hybrid 검색
실무 적용 사례
1. 고객 상담 챗봇(E-commerce)
문제: 고객 질문에 최신 상품·정책 기반 답변 필요 해결: 상품 정보, FAQ, 최신 공지·정책을 RAG에 반영 효과: 80%+ 자동 처리, 고객 만족 상승
2. 교육 플랫폼
문제: 강의 질문에 맞춤형 답변 필요 해결: 강의자료, PPT, 강의노트를 RAG에 반영 효과: 개인 맞춤 답변·학습 가이드 제공
3. 법률 자문 시스템
문제: 판례·조문 기반 정확성 필요 해결: 법률 DB(판례, 법령, 해석)를 RAG에 반영 효과: 근거 제시로 신뢰 향상
4. 의료 정보 시스템
문제: 최신 치료 가이드라인·논문 기반 답변 필요 해결: 논문, 가이드라인을 RAG에 반영 효과: 진단·치료 추천의 신뢰도 향상
5. 기업 내부 지식 관리
문제: 내부 지식 접근성 부족 해결: 기술 문서, 회의록, 보고서를 RAG에 반영 효과: 온보딩·역할 전환 시간 단축
RAG의 한계와 극복 방법
한계
- 검색 품질 의존
- 초기 구축 비용과 유지
- 응답 지연
- 부분 일치 처리 어려움
- 맥락 보존 한계
개선
- 지적 검색(KG, 하이브리드)
- 점진적 구축
- 캐싱·비동기 최적화
- 청크·후처리 개선
- 긴 컨텍스트 모델 도입
RAG의 미래
Hybrid Search
- Dense·BM25 결합
- 재랭킹
Fine-tuning + RAG
- 도메인 특화 임베딩
- 검색+생성 향상
Reranking
- 교차 인코더 등으로 재랭킹
- 정확도·노출 개선
Long Context
- 긴 맥락 모델 도입
- 청크 기술 고도화
결론: 신뢰할 수 있는 AI는 만들 수 있다
LLM은 한계가 있다. RAG는 외부 검색으로 맥락을 보강하고 근거 중심 답변을 만들어 신뢰를 높인다.
RAG는 완벽하지 않다. 구축·운영은 복잡하고, 성능은 검색 품질에 달렸다. 성장 중이며, 적용 사례가 확산되고 있다.
올바르게 구현하면 실용적이고 신뢰할 수 있는 AI를 배포할 수 있다. RAG는 LLM의 단점을 보완하는 실용적 접근이다.
