3D 공간에 AI를 연결하다
Unity WebGL 가상 공간과 LLM·벡터 DB라는 이질적인 두 스택을, 렌더링 부하 속에서도 실시간으로 대화하게 이어야 했습니다.
- 3 연결한 계층Unity WebGL ↔ React ↔ Spring Boot

구조
직접 설계·구현 함께 쓴 스택
- 공간
- Unity WebGL 클라이언트
- 브리지
- React 웹 프론트
- Web ↔ Unity 통신 API
- 서버
- Spring Boot
- CMS
- 지능
- Qdrant 임베딩
- GPT API
개요
경일대 씨온 IP 캐릭터에 텍스트로 성격을 부여하고, Qdrant와 GPT API를 연동해 캐릭터마다 고유한 AI 페르소나를 만드는 WebGL 메타버스 서비스입니다. 유저가 가상 공간에서 캐릭터를 만나면 그 캐릭터의 세계관과 설정을 기억한 채 대화합니다.
핵심 설계
- 페르소나 생성 시퀀스. 관리자가 CMS에 성격·배경지식·말투를 입력하면 임베딩으로 바꿔 Qdrant에 적재하고, 대화 시 컨텍스트를 추출해 GPT에 넘깁니다.
- WebGL 인터랙션 통합. 웹과 Unity 사이의 동적 통신 API로, 가상 공간에서 캐릭터와 마주친 순간 벡터 DB 기반 대화가 자연스럽게 이어집니다.
- 전 과정 리딩. 기술 검토부터 프론트엔드, 백엔드, AI 연동 설정, 캐릭터 관리 CMS까지 2인 팀에서 설계했습니다.
결과
- 캐릭터가 자기 설정을 잊지 않고 일관되게 답하는 컨텍스트 유지 로직을 완성했습니다.
- WebGL 렌더링 부하와 실시간 LLM·벡터 DB 조회가 겹치는 네트워크 환경을 최적화해 실시간 인터랙션을 확보했습니다.