AI는 영상을 어떻게 이해할까?

우리는 영상을 보면서 특별히 의식하지 않아도 많은 정보를 동시에 받아들입니다.

화면에 누가 등장했는지, 어디에서 촬영했는지, 무엇을 하고 있는지 확인하면서 대화까지 듣습니다. 앞 장면과 다음 장면을 연결해 이야기의 흐름도 자연스럽게 이해합니다.

그렇다면 AI는 어떨까요?

최근에는 1시간짜리 영상의 내용을 요약하고, 특정 인물이 등장하는 순간을 찾거나, 원하는 장면을 자연어로 검색하고, 긴 영상에서 주요 구간을 추출하는 AI 서비스가 등장하고 있습니다.

그래서 AI가 사람처럼 영상을 처음부터 끝까지 ‘보고 이해한다’고 생각하기 쉽습니다.

하지만 실제 과정은 조금 다릅니다.

AI가 영상을 이해한다는 것은 하나의 영상 파일을 통째로 보는 것이 아니라, 영상 안에 포함된 화면·시간·음성·텍스트·인물·객체 등의 정보를 분석하고 서로 연결하는 과정에 가깝습니다.

실제로 Microsoft의 Azure AI Video Indexer는 영상을 분석하면서 대본, OCR, 얼굴, 객체, 주제 등 다양한 정보를 추출하고 각 정보가 영상의 어느 시간대에 등장했는지를 함께 구조화합니다. Google의 Video Intelligence 역시 샷 전환, 객체 추적, 사람·얼굴 감지, 음성 전사, 텍스트 감지 등을 별도의 영상 분석 기능으로 제공합니다.

그렇다면 이 정보들은 어떻게 하나의 ‘영상 이해’로 이어지는 걸까요?

1단계. 영상부터 잘게 나눈다

영상 분석의 가장 기본적인 단위는 프레임(Frame)입니다.

영상은 사실 수많은 정지 이미지가 시간 순서대로 이어진 형태입니다. 따라서 컴퓨터는 영상의 시각 정보를 분석할 때 프레임을 처리할 수 있습니다. 하지만 1시간짜리 영상 전체를 단순히 수많은 이미지의 집합으로만 취급한다면 문제가 생깁니다.

예를 들어 카메라가 발표자를 비추다가 발표 자료 화면으로 전환됐다고 해보겠습니다.

사람은 즉시 “장면이 바뀌었구나.” 라고 판단합니다.

영상 분석 시스템 역시 프레임 사이의 시각적 변화 등을 이용해 이러한 경계를 탐지할 수 있습니다.

여기서 등장하는 개념이 샷(Shot)과 장면(Scene)입니다.

Microsoft는 샷을 같은 카메라에서 촬영된 연속 프레임으로 설명하고, 장면은 의미적으로 연관된 여러 연속 샷으로 구성되는 하나의 이벤트 단위로 구분합니다. Google의 Shot Change Detection 역시 앞뒤 프레임의 시각적 차이를 분석해 급격한 샷 변화를 찾고 각 샷의 시작·종료 시간을 반환합니다.

즉, 프레임 → 샷 → 장면 순으로 영상을 구조화하면 AI가 긴 영상에서 ‘어디서부터 어디까지가 하나의 구간인가’를 판단할 수 있는 기반이 만들어집니다.

2단계. 화면 안에 무엇이 있는지 찾는다

장면을 나눴다면 다음에는 화면에 무엇이 등장하는지 분석할 수 있습니다.

예를 들어 한 장면에

• 사람
• 노트북
• 스마트폰
• 자동차
• 제품
• 음식

등이 등장할 수 있습니다.

여기서 사용되는 대표적인 기술이 객체 탐지(Object Detection)와 객체 추적(Object Tracking)입니다.

객체 탐지는 화면 안에 특정 물체가 있다는 사실과 위치를 찾아내고, 객체 추적은 그 물체가 영상이 진행되는 동안 어디로 이동하는지 시간에 따라 추적합니다.

Google Video Intelligence의 객체 추적 기능을 예로 들면 검출된 객체에 라벨을 부여하고, 프레임 안의 위치를 Bounding Box로 표시하며, 해당 객체가 나타나는 시간 정보도 함께 반환합니다.

이게 중요한 이유는 영상 검색 방식 자체를 바꿀 수 있기 때문입니다.

파일명이 VID_0824_final_03.mp4이라고 되어 있어도, AI가 영상 속 객체와 장면을 분석해 놓았다면 이론적으로는 “노트북을 들고 설명하는 장면”처럼 영상의 내용에 기반한 검색 시스템을 구성할 수 있습니다.

3단계. 화면 속 글자도 읽는다

영상에서 의미를 전달하는 것은 사람과 사물만이 아닙니다.

프레젠테이션 화면, 제품명, 간판, 자막, 가격표처럼 화면에 직접 등장하는 문자도 중요한 정보입니다.

이때 사용하는 기술이 OCR(Optical Character Recognition), 즉 광학 문자 인식입니다.

예를 들어 제품 리뷰 영상에서 화면에 MacBook Air M4라는 제품명이 등장했다면 OCR을 통해 이 텍스트를 추출할 수 있습니다.

Microsoft는 OCR을 활용해 영상의 이미지에 포함된 문자 정보를 추출하며, 이렇게 얻은 텍스트를 미디어 검색이나 브랜드 탐지 등에 활용할 수 있다고 설명합니다.

즉 영상 속에서 말하지 않았지만 화면에는 존재하는 정보까지 검색 가능한 데이터가 될 수 있는 것입니다.

4단계. 사람이 무엇을 말했는지 분석한다

여기까지는 화면을 분석하는 과정이었습니다.

하지만 인터뷰, 강의, 웨비나, 리뷰처럼 사람이 말하는 영상에서는 음성 정보가 오히려 내용 이해의 핵심이 됩니다.

영상 분석 시스템에서는 음성을 텍스트로 변환하고, 언어를 식별하거나 화자를 구분한 뒤, 전사된 문장에서 키워드·주제·개체 등의 정보를 추가로 추출할 수 있습니다.

Microsoft의 Video Indexer도 음성을 전사하는 것에 그치지 않고 화자, 키워드, 고유명사, 주제 등의 정보를 분석할 수 있습니다.

예를 들어 인터뷰에서 출연자가 “저희가 올해 가장 중요하게 보고 있는 시장은 일본입니다.”

라고 말했다면, 단순히 음성을 텍스트로 바꾸는 것에서 끝나는 것이 아니라

• 주제: 해외시장
• 지역: 일본
• 화자: 출연자 A
• 발화 시점: 12분 31초

처럼 다른 정보와 연결할 수 있습니다.

이때부터 영상은 단순히 재생해야 내용을 알 수 있는 파일에서, 내용 자체를 검색할 수 있는 데이터로 바뀌기 시작합니다.

5단계. 얼굴을 찾는 것과 ‘누구인지 아는 것’은 다르다

영상 속 사람을 분석하는 과정에서도 구분해야 할 것이 있습니다.

얼굴 감지(Face Detection)와 얼굴 식별·인식(Face Recognition/Identification)은 같은 개념이 아닙니다.

얼굴 감지는 화면 안에서 사람의 얼굴이 존재하는 위치를 찾는 작업에 가깝습니다.

반면 특정 얼굴이 누구인지 알아내려면 이미 알고 있는 얼굴 정보와 비교하는 별도의 식별 과정이 필요합니다.

예를 들어 Azure AI Video Indexer는 영상에서 얼굴을 찾고 유사한 얼굴을 그룹화할 수 있으며, 사전에 학습된 사용자 정의 얼굴 모델 등을 이용해 특정 인물을 식별할 수도 있습니다.

따라서 AI가 영상에서 사람 얼굴을 발견했다고 해서 곧바로 “이 사람은 김OO이다.”라고 알고 있는 것은 아닙니다.

이 구분은 영상 검색이나 인물별 아카이브를 설계할 때도 중요합니다.

여기까지는 ‘분석’이다. 그렇다면 언제 ‘이해’가 될까?

지금까지 설명한 기술은 사실 각각 오래전부터 존재했습니다.

• 장면 구분
• 객체 탐지
• OCR
• 음성 인식
• 얼굴 감지

그런데 최근 AI 영상 기술에서 중요한 변화는 이 정보를 각각 따로 사용하는 데서 그치지 않는다는 점입니다. 예를 들어 한 영상의 3분 20초 구간에서 다음 정보가 동시에 발견됐다고 해보겠습니다.

화면

여성이 스마트폰을 들고 있음

객체

스마트폰

화면 속 텍스트

NEW CAMERA

음성

“이번 모델은 카메라가 가장 많이 달라졌습니다.”

각 정보만 따로 보면 단편적입니다. 하지만 이 정보를 같은 시간대에 연결하면

‘출연자가 새로운 스마트폰의 카메라 기능을 설명하는 장면’

이라는 훨씬 풍부한 의미를 만들 수 있습니다.

Microsoft의 Video Indexer 역시 주제를 추론할 때 전사된 음성뿐 아니라 OCR로 얻은 화면 속 텍스트와 얼굴 인식 정보 등을 함께 활용합니다. 최근에는 이렇게 추출된 객체·OCR·대본·화자·얼굴 등의 정보를 LLM이 사용할 수 있는 형태로 구조화해 영상 요약이나 자연어 검색에 활용하는 기능도 제공하고 있습니다.

그리고 Gemini와 같은 멀티모달 모델은 영상 자체를 입력으로 받아 내용을 설명하거나, 특정 정보를 추출하고, 영상에 대한 질문에 답하거나 특정 타임스탬프를 참조하는 방식의 영상 이해 기능을 제공하고 있습니다.

결국 최근의 영상 이해는 ‘보는 AI’와 ‘듣는 AI’가 따로 존재하는 것에서, 서로 다른 정보를 함께 해석하는 멀티모달 방식으로 확장되고 있다고 볼 수 있습니다.

그래서 AI는 영상에서 무엇까지 할 수 있을까?

여기까지의 분석 결과가 쌓이면 우리가 실제 서비스에서 접하는 기능으로 연결됩니다.

예를 들어 Microsoft Video Indexer는 영상에서 추출한 인사이트를 기반으로 특정 키워드가 등장하는 정확한 순간을 검색하고 해당 시점으로 이동하는 기능을 제공합니다.

그래서 AI 영상 분석의 활용 범위를 ‘자동 편집’만으로 이해하면 상당히 좁습니다.

영상 분석 결과는 검색, 아카이빙, 콘텐츠 관리, 요약, 편집, 재가공 등 여러 작업의 기반 데이터로 활용될 수 있습니다.

그렇다면 AI는 영상을 정말 사람처럼 이해하는 걸까?

여기서는 조금 조심해야 합니다.

현재 AI가 영상에서 상당히 많은 정보를 추출하고 연결할 수 있다고 해서 사람과 동일한 방식으로 영상의 모든 의미를 이해한다고 보기는 어렵습니다.

예를 들어 객체 탐지 시스템은 화면에 아주 작게 등장하는 물체를 놓칠 수 있습니다. Google 역시 Video Intelligence의 객체 추적에서 매우 작은 객체는 탐지되지 않을 수 있다고 명시하고 있습니다.

또한

• 풍자와 반어
• 오래전 장면을 다시 언급하는 대화
• 화면에는 없지만 이전 맥락을 알아야 이해되는 표현
• 여러 사람의 발화가 겹치는 상황
• 영상 전체의 서사를 알아야 의미가 생기는 장면

등은 단순한 객체·음성 분석만으로 판단하기 어렵습니다.

따라서 AI가 ‘사람을 발견했다’와 ‘그 사람이 왜 그런 행동을 하는지 이해했다’는 전혀 다른 수준의 문제입니다.

최근 멀티모달 모델이 이 간극을 빠르게 좁히고 있지만, 분석 결과를 절대적인 사실처럼 사용하는 것보다 어떤 정보를 근거로 나온 결과인지 함께 확인하는 것이 중요합니다.

결론: AI가 영상을 ‘이해한다’는 말의 진짜 의미

AI 영상 분석을 이해할 때 가장 먼저 버려야 할 이미지는 AI가 사람처럼 모니터 앞에서 영상을 보고 있다는 생각입니다.

실제 과정은 훨씬 구조적입니다.

AI는 영상에서 프레임과 장면을 구분하고 → 객체와 인물을 찾고 → 화면 속 문자를 읽고 → 음성을 텍스트로 변환하고 → 각 정보가 언제 등장했는지 연결합니다.

그리고 최근 멀티모달 AI는 여기서 한 단계 더 나아가 이렇게 추출된 여러 정보를 함께 활용해 영상의 내용을 설명하거나 질문에 답하고, 특정 구간을 찾아내는 방향으로 발전하고 있습니다.

그래서 ‘AI가 영상을 이해한다’는 것은 단순히 영상을 보는 것이 아니라, 영상 속 정보를 검색하고 분석하고 활용할 수 있는 데이터로 바꾸는 과정이라고 이해하는 편이 더 정확합니다.

이 관점에서 보면 AI 영상 분석의 활용 범위도 달라집니다.

자동으로 영상을 자르는 기술을 넘어, 수백·수천 개의 영상 속에서 원하는 장면을 찾고, 내용을 요약하고, 인물별로 분류하고, 필요한 순간을 다시 콘텐츠로 활용하는 기반 기술이 되는 것입니다.

영상이 계속 쌓이는 시대일수록 중요한 것은 단순히 더 많은 영상을 저장하는 것이 아니라, 그 안에 무엇이 들어 있는지 AI가 얼마나 정확하게 구조화하고 필요할 때 다시 찾을 수 있게 만드는가일지도 모릅니다.