1) 프로젝트 소개 AI 기반 2.5D 실시간 아바타 서비스 개발 오픈소스 딥러닝 모델을 추가학습 시켜 음성 또는 대화 흐름에 맞춰 자연스럽게 말하고 움직이는 2.5D AI 아바타를 개발했습니다. 실제 GPU 서버를 구성하고 오픈소스를 다운 받은 후 요구사항에 맞게 모델을 재학습 시켜 구현하였습니다. 기존 정적인 캐릭터나 단순 이미지 기반 챗봇을 넘어, 사용자가 실제 인물형 아바타와 대화하는 듯한 경험을 제공하는 것을 목표로 했습니다. 주요 타깃은 AI 튜터, 언어 학습 서비스, 상담형 챗봇, 가상 캐릭터 서비스 등에서 실시간 인터랙션이 필요한 사용자입니다. 특히 음성 기반 학습 서비스나 대화형 콘텐츠에서 몰입감을 높일 수 있는 AI 아바타 엔진 구현에 중점을 두었습니다. 2) 작업 범위 오픈소스 기반 2.5D 아바타 렌더링 구조 개발 고정 아바타 이미지 기반 얼굴 애니메이션 구현 음성 또는 대화 응답에 맞춘 입모양 및 표정 제어 구조 설계 아바타 렌더링 파이프라인 구성 실시간 서비스 적용을 고려한 서버 기반 렌더링 구조 설계 아바타 모션 템플릿 및 립싱크 제어 방식 적용 지원 환경 AI 아바타 렌더링 서버 실시간 음성 대화 서비스 연동 구조 모바일 앱 또는 웹 클라이언트 연동 가능 구조 GPU 기반 아바타 렌더링 환경 3) 주요 업무 오픈소스를 활용한 2.5D 인물형 아바타 구현 단일 또는 소수의 기준 이미지를 기반으로 자연스러운 얼굴 움직임 생성 말하기 상황에 맞는 입모양, 눈 깜빡임, 고개 움직임, 표정 변화 처리 아바타의 기본 대기 상태, 말하기 상태, 반응 상태를 구분한 모션 구성 립싱크 품질 개선을 위한 입모양 제어 파라미터 설계 실시간 대화 서비스에서 사용할 수 있도록 렌더링 로직을 모듈화 아바타 이미지 전처리, 얼굴 정렬, 모션 적용, 프레임 생성 흐름 구성 추후 음성 합성 결과와 아바타 영상이 자연스럽게 동기화될 수 있도록 구조 설계 4) 주안점 개발 시 가장 중점적으로 고려한 부분은 영상 품질과 실시간성의 균형이었습니다. Hedra와 유사한 자연스러운 2.5D 아바타 표현을 목표로 하되, 실제 서비스에서 사용할 수 있도록 지연시간과 운영 구조를 함께 고려했습니다. 또한 사용된 오픈소스가 기본적으로 driving video 기반의 portrait animation에 강점을 가진 구조이기 때문에, 이를 실시간 대화형 아바타 서비스에 맞게 활용할 수 있도록 아바타 렌더링, 모션 제어, 립싱크 구조를 분리하여 설계했습니다