Chain-of-Visual-Thought (CoVT) 기술 분석
이미지 속 물체의 앞뒤 관계를 잘못 읽었다면, 그다음 설명을 아무리 논리적으로 길게 써도 답은 틀릴 수 있습니다. 시각 과제에서는 추론의 길이보다 추론에 필요한 시각 정보를 제대로 붙잡고 있는가가 먼저인 경우가 있습니다.
Chain-of-Visual-Thought(CoVT) 논문 v1은 이 문제를 연속적인 시각 토큰으로 다룹니다. 전문가 시각 모델의 단서를 학습 중에 전달하고, 추론 시에는 VLM이 압축된 시각 표현을 직접 생성하도록 하는 접근입니다. 프롬프트에 “시각적으로 생각하라”를 추가하는 기법이 아니라, 별도 학습과 구조가 필요한 방법입니다.
논문의 CoVT 개요. 이미지에서 얻은 단서를 연속적인 시각 표현으로 생성해 답변에 활용합니다.
기존 VLM도 이미지를 직접 받는다
먼저 ‘언어 병목’이라는 말을 정확히 쓸 필요가 있습니다. 기존 VLM이 반드시 이미지를 문장으로 먼저 변환한 다음 그 문장만 읽는 것은 아닙니다. 이미지 인코더의 시각 특징을 입력으로 받는 구조도 있습니다. 논문 역시 이를 기본 VLM의 입력으로 설명합니다.
CoVT가 문제 삼는 부분은 중간 추론과 학습 신호가 텍스트에 치우치면 세밀한 시각 단서를 충분히 보존·활용하지 못할 수 있다는 점입니다. “A가 B보다 가깝다”는 문장에 한 번 잘못 정리해 놓으면, 이후의 텍스트 추론만 늘리는 것으로 앞단의 인식 오류를 고치기 어렵습니다.
따라서 CoVT의 질문은 “이미지를 읽게 만들 수 있는가”보다 “답을 내는 과정에 깊이·경계·영역 정보를 담은 표현을 학습시킬 수 있는가”에 가깝습니다. 논문 3.1–3.2절
시각 토큰은 작은 이미지 파일이 아니다
여기서 ‘연속적’은 시간적으로 끊기지 않는다는 뜻이 아닙니다. 단어 ID처럼 이산적인 기호 대신 실수 벡터 형태의 잠재 표현을 다룬다는 의미입니다. 사용자가 그대로 볼 수 있는 그림이 아니라, 학습된 디코더를 통해 마스크나 깊이 맵 등의 표현으로 연결할 수 있는 내부 표현입니다.
논문의 대표 설정은 네 종류의 신호를 사용합니다.
| 시각 신호 | 학습에 쓰는 전문가 | 대표 설정의 토큰 수 |
|---|---|---|
| 물체 영역과 형태 | SAM | 8 |
| 상대적 깊이 | DepthAnything v2 | 4 |
| 경계와 구조 | PIDINet | 4 |
| 패치의 시각 특징 | DINOv2 | 4 |
합계는 20개입니다. 논문 표의 ‘4 Visual Tokens’는 네 유형을 뜻하는 표기로 읽어야 하며, 전체 추론이 벡터 네 개로 끝난다고 이해하면 안 됩니다. 논문 Figure 3과 3.3절
이 구분은 효율을 평가할 때 중요합니다. 텍스트 토큰 수와 생성된 잠재 벡터 수, 입력 이미지 토큰 수를 한 가지 숫자로 섞으면 어떤 비용이 줄었는지 알 수 없기 때문입니다.
학습 중의 전문가와 추론 중의 모델
학습할 때는 생성한 토큰이 전문가의 출력이나 특징을 잘 재구성하도록 정렬합니다. 영역·깊이·경계 같은 과제의 출력에 맞추는 정렬과, DINOv2 특징 공간을 맞추는 정렬을 구분합니다. 텍스트 응답 손실과 시각 정렬 손실을 함께 사용합니다.
학습은 시각 토큰 이해, 생성, 답변 추론에 활용, 일부 토큰을 생략한 효율적 활용의 네 단계로 구성됩니다. 일반적인 답변 추론에서는 외부 전문가를 매번 호출하지 않고, 필요할 때 시각화용 디코딩을 별도로 사용할 수 있습니다. 논문 3.3–3.4절
다만 이 장점은 외부 도구 호출 비용을 피할 수 있다는 뜻입니다. 추가 토큰 생성과 학습 비용까지 사라진다는 뜻은 아닙니다. 실제 운영 지연은 같은 하드웨어, 입력 크기, 출력 길이에서 비교해야 합니다. Appendix B.3는 실험에서 기반 모델보다 전체 시간 비용이 상당히 높았으며, 더 긴 답변 생성이 주요 원인이었다고 설명합니다.
얼마나 좋아졌나: 기반 모델과 비교하기
아래는 Qwen2.5-VL-7B에 네 유형의 CoVT를 적용한 논문 v1 표 2의 일부입니다. 개선 폭은 퍼센트포인트(%p)입니다.
| 벤치마크 | Qwen2.5-VL-7B | CoVT | 변화 |
|---|---|---|---|
| CV-Bench 전체 | 74.5% | 79.8% | +5.3%p |
| MMVP | 56.0% | 56.7% | +0.7%p |
| RealWorldQA | 68.6% | 71.8% | +3.2%p |
| CV-Bench Count | 65.0% | 66.1% | +1.1%p |
| CV-Bench Depth | 72.8% | 89.2% | +16.4%p |
이 표에서 가장 눈에 띄는 것은 깊이 과제의 개선입니다. 개수 세기와 MMVP의 변화는 훨씬 작습니다. 따라서 “시각 추론이 전반적으로 16% 좋아졌다”는 요약은 부정확합니다. Count와 Depth는 CV-Bench의 하위 과제이므로, 전체와 하위 점수를 독립된 벤치마크처럼 다시 평균 내서도 안 됩니다.
또한 같은 표에서 세 유형을 쓴 설정의 CV-Bench 전체 점수는 80.0입니다. 네 유형을 모두 넣은 79.8보다 약간 높습니다. 정보 종류를 추가하면 모든 과제에서 단조롭게 좋아진다는 결과도 아닙니다. 이 차이가 반복 실험에서도 안정적인지는 별도로 봐야 합니다.
‘해석 가능’과 ‘생각을 전부 설명함’은 다르다
시각 토큰을 깊이 맵이나 영역 마스크로 살펴볼 수 있는 것은 유용합니다. 예컨대 틀린 답이 잘못된 깊이 단서와 함께 나타났다면 오류를 조사할 출발점이 됩니다.
하지만 보기 좋은 깊이 맵이 나왔다고 최종 답이 실제로 그 표현 때문에 결정됐다고 확정할 수는 없습니다. 인과적인 설명을 하려면 해당 표현을 바꾸거나 제거했을 때 답이 어떻게 달라지는지 같은 검증이 필요합니다. 이는 논문의 결과를 읽으며 추가로 요구할 수 있는 검증 조건입니다.
특히 Appendix C는 자유로운 텍스트 추론과 시각 토큰을 완전히 교차하는 추론은 아직 구현하지 않았음을 명시합니다. 개요 그림의 지향점과 현재 구현이 달성한 범위를 나눠 읽어야 합니다.
제품에 가져온다면 무엇부터 확인할까
제 적용 관점에서는 먼저 실패를 두 종류로 나눌 것 같습니다. 같은 이미지를 올바르게 설명해 주었을 때는 답을 잘하는지, 아니면 정확한 시각 정보가 있어도 이후 추론을 틀리는지입니다. 전자라면 지각 단서 개선이 도움이 될 여지가 있습니다. 후자라면 다른 병목일 수 있습니다.
문서나 화면을 읽는 제품을 가정하면 다음 정도의 작은 평가부터 시작할 수 있습니다.
- 실제 실패 사례를 OCR·개수·영역·앞뒤 관계 등으로 구분합니다.
- 기반 VLM, 단순한 입력 개선, 필요한 전문가 도구, CoVT를 같은 문제로 비교합니다.
- 정답률과 함께 호출당 비용·지연, 잘못 확신한 답, 시각화의 진단 가치를 기록합니다.
- 개선이 큰 과제에 한정해 도입할지 판단합니다.
이는 직접 구현·측정한 도입 사례가 아니라 검증 제안입니다. 논문의 자연 이미지 결과만으로 문서 OCR이나 UI 이해의 개선을 보장할 수는 없습니다.
CoVT의 매력은 추론 문장을 더 길게 만드는 대신, 추론에 필요한 시각 표현 자체를 학습 대상에 넣었다는 점입니다. 어느 과제에서 이 표현이 도움이 되고, 추가 비용을 감수할 만큼 차이가 나는지를 따져볼 만한 연구입니다.