AI요약

이미지와 텍스트가 쌍으로 구성된 대용량 데이터를 구축하려면 막대한 비용과 시간이 소요되며 기존 멀티모달 학습은 서버 부하가 높다는 한계가 있습니다. 본 기술은 입력 문장에서 외부 데이터베이스와 매칭 가능한 키워드를 검색하여 이미지 정보와 직접 연결하는 혼합 문맥 분산 표현 학습 방식을 제안합니다. 매칭된 구간은 이미지 표현으로 변환하고 나머지는 텍스트 표현으로 통합하여 데이터 쌍 없이도 학습이 가능하도록 구현되었습니다. 이를 통해 서버 용량과 훈련 비용을 절감하는 동시에 시각 질의응답 및 추론 성능을 최적화할 수 있습니다.