B2B RAG 챗봇 시스템 (DKaffeine)
기업 내부 지식 베이스를 활용한 LangGraph 기반 정밀 답변 챗봇 플랫폼
주요 기능
기업용 메신저인 카카오워크(KakaoWork) API와 연동하여 임직원들이 별도의 서비스 접속 없이 실시간으로 사내 규정을 조회할 수 있는 환경을 구축했습니다.
AWS Bedrock과 LangGraph를 활용하여 사내 문서를 시맨틱 검색하고 답변을 생성합니다. 문서의 구조적 특성을 고려한 Chunking 전략과 Hybrid Search를 통해 답변 정확도를 극대화했습니다.
관리자가 지식 베이스를 손쉽게 관리하고, 챗봇 답변 이력을 모니터링하며, FAQ 데이터를 수동으로 교정할 수 있는 전용 Backoffice 관리자 페이지를 구축했습니다.
사용자 질문 중 빈도가 높은 항목을 LLM이 분석하여 FAQ 후보를 제안하고, 관리자 승인 시 지식 베이스에 자동으로 반영되는 지식 선순환 구조를 설계했습니다.
시스템 아키텍처
RAG 파이프라인과 엔터프라이즈 인터페이스가 결합된 통합 지식 서비스 구조
본 시스템은 FastAPI 기반의 백엔드 서버를 중심으로 AWS Bedrock Knowledge Base를 검색 엔진으로 사용합니다. 보안을 위해 기업 내부 문서의 외부 유출을 차단하는 Data Guardrail을 적용했으며, 대량의 비동기 작업을 위해 Redis/Celery를 도입했습니다.
트러블슈팅 (Lessons Learned)
대규모 사내 규정 문서에서 정확한 정보를 추출하기 위해 임베딩 모델 최적화와 Similarity Threshold를 정밀 튜닝했습니다. 근거가 없는 질문에는 답변을 거부하도록 설계하여 신뢰도를 높였습니다.
민감한 인사 규정 등이 외부로 유출되지 않도록 API 통신 구간을 암호화하고, Pll(개인 식별 정보) 마스킹 로직을 도입하여 보안 요구사항을 충족했습니다.
메신저 플랫폼의 응답 시간 제한(5초) 내에 답변이 생성되지 않는 문제를 해결하기 위해, 비동기 응답 처리(Immediate Response + Async Edit) 방식으로 워크플로우를 개선했습니다.