top of page

가상현실, 증강현실, 혼합현실 그리고 360도 동영상의 이해

2016.11월호 '장자의 꿈'일까? CG가 만든 세상. 신문과 방송

실감미디어란 사실감, 현장감, 몰입감 등을 극대화하는 미디어를 뜻한다. 용어 그대로 인간의 감각기관을 통해 실제로 느껴지는 것과 같은 경험을 가능하게 만드는 미디어 란 뜻이다. 그동안 실감미디어는 HD, 3D, UHD 등으로 발전되어왔고 가상현실 그리고 궁극적으로는 홀로그램 등을 통해 현장에서 실제로 느끼는 감정을 고스란히 담아낼 수 있도록 기술공학적인 발전에 인간공학적인 요인들을 병합함으로써 경험의 실재성을 높이고자 했다. 실감미디어가 갖는 가장 큰 특징은 마치 내가 그 경험을 하는 것처럼 느끼게 해준다는 것이다. 내가 느끼는 수준에 따라 실감미디어의 ‘실감성’이 결정되기 때문에 실감미디어는 상대적인 미디어일 수밖에 없다. 고성능의 네트워크가 연결되고, 화소가 일정 수준이 되어야 하며, 정교한 디스플레이가 필요하기도 하지만, 몰입경향성이 높은 사람은 책을 보며 주인공의 상황에 공감되어 눈물을 흘리기도 하고 며칠간 마음 아파하며 지내기도 한다. 그래서 실감미디어는 기술공학적이면서도 인간공학적인 관점을 유지해야 한다. 3D 영상에 대한 갑작스러운 관심과 또한 갑작스러운 3D 영상산업의 몰락은 많은 시사점을 준다. 실감미디어가 생각처럼 쉽게 사용자의 만족감을 부여하지 못하는 것은 이러한 종합적인 판단을 고려하지 못한 데에서 기인한다.

가상현실

최근 가상현실이 이러한 실감미디어의 핵심 미디어로 소개되고 있다. 3D 미디어에 대한 전례가 있기 때문에 매우 조심스럽기는 하지만, 단지 한번의 유행으로 끝날 것 같지는 않다. 아직 개선해야할 점이 적지 않지만, 기술공학적이면서도 인간공학적인 관점에서 꽤나 매력적인 미디어라는 것을 부인하기 어렵다. 그러나, 너무나 갑작스럽게 대중의 관심을 받아서일까? 사용하는 용어와 정의, 그리고 이를 포괄하는 범주가 제각각이다. 가상현실(virtual reality: VR), 증강현실(augmented reality: AR), 혼합현실(mixed reality: MR) 등 유사하게 보이는 용어가 부적절하게 사용되는 경우를 심지어 뉴스 기사나 전문가의 글에서도 볼 수 있다. 가령, 360도 동영상을 가상현실이라고 언급하거나, 혼합현실을 증강현실과 가상현실보다 발전된 단계로 설명하는 것이 대표적인 예이다. 이렇게 잘못 정의된 정보는 일반 사용자를 혼란스럽게 하고, 이는 추후 시장 확산에도 걸림돌이 된다. 예를 들어, 가상현실의 한 사례로 스마트폰 기반의 360도 동영상을 본다면, 몰입은 커녕 피로감만 느끼다가 시청을 그만둘 수 있기 때문이다. 이에 따라 이 글에서는 현재 가장 많이 언급되고 있는 가상현실과 관련된 몇가지 용어를 정리하고 한다.

먼저, 가상현실은 말 그대로 현실과 비슷하게 가상의 것을 만들어 낸 환경을 의미한다. 가상현실은 컴퓨터 그래픽으로 만들어진 세계(synthetic world)와 몰입하고 상호작용(interaction)할 수 있는 환경을 의미한다. 밀그램과 키시노(Milgram & Kishino, 1994)는 가상현실에 대한 가장 일반적인 정의를 사용자가 완전한 상태로 몰입하고 상호작용할 수 있는, 100% 가상으로 만들어진 세계라고 언급했다. 가상의 것을 만들어내는 것이기 때문에 그 재현물이 얼마나 현실과 유사하느냐의 여부에 따라 사용자는 긍정적 또는 부정적 경험을 하게 된다. 기술의 발달은 가상세계를 단지 보는 것에 그치는 것이 아닌, 가상현실 속에 구현된 것들과 상호작용을 가능하게 만든다. 가상현실은 사용자와 상호작용이 가능하고, 사용자가 새로운 경험을 창출할 수 있다는 점에서 일방적으로 구현된 시뮬레이션과는 구분된다. 또한 가상현실은 사용자를 가상세계에 완전히 몰입시킨다는 점에서 증강현실 혹은 혼합현실과 구분된다. 증강/혼합현실은 가상환경(virtual environment)의 한 예이긴 하지만, 현실세계에 가상의 대상물(object)을 나타낸다는 점에서 가상현실과 차별점을 보인다.

이러한 이유로 가상현실과 증강/혼합현실을 즐길 수 있는 헤드마운트 디스플레이(head mounted display: HMD)의 종류가 구분된다. 먼저 가상현실을 즐길 수 있는 몰입형 HMD는 크게 세 종류로 나누어 볼 수 있는데, 스마트폰 기반의 몰입형 HMD(smartphone-based immersive VR HMD), 콘솔 기반의 몰입형 HMD(console-based immersive VR HMD), 그리고 컴퓨터 기반의 몰입형 HMD(PC-based immersive VR HMD) 기기이다.

이들 기기는 디스플레이를 지원하는 하드웨어의 종류에 따라 구분된 것이며, 각 HMD의 예를 살펴보면 스마트폰 기반은 삼성전자의 기어 VR(Samsung GEAR VR), 콘솔 기반은 PS4 VR, 그리고 컴퓨터 기반은 오큘러스 리프트(Oculus Rift)가 대표적인 제품이다. 그리고 증강/혼합현실의 경우는 투시형 HMD(see-through HMD)로 호칭할 수 있는데, 이는 증강/혼합현실의 특성상 현실을 기반으로 하기 때문에 투과 형식을 띄는 것이다. 이에 속하는 대표적인 제품은 마이크로소프트 홀로렌즈(Microsoft HoloLens)를 들 수 있다. 그러나 최근에 나온 기기 가운데 HTC 바이브의 경우는 가상현실과 혼합현실을 모두 즐길 수 있게 설계되었는데, HTC 바이브는 비록 외부와 완전히 차단된 완전 몰입형 기기이지만 기기의 외부에 카메라가 있어 이를 통해 현실을 촬영하여 몰입형 디스플레이에 띄움으로써 가상현실용이지만 혼합현실을 함께 즐길 수도 있게 개발되기도 했다.

증강현실과 혼합현실

밀그램과 키시노(Milgram & Kishino, 1994)는 1994년에 가상현실과 증강현실을 포함한 혼합현실을 소개하며 현실에서 가상현실에 이르는 다양한 기술적 분류를 시도한 기념비적인 글을 발표했다. 현실과 가상현실 사이에는 가상성의 정도에 따라 현실과 더 가까울 수도 가상현실과 더 가까울 수도 있는데, 이러한 구분을 위해서 제시한 것이 ‘가상성의 연속성(virtuality continuum)’이란 개념이다. 즉 가상성이라는 개념은 어느 단계를 구체적으로 단절시킬 수 있는 것이 아니라, 현실에 더해서 가상의 대상물(object)이 얼마나 많이 더해지는가에 따라 가상현실에 가까워진다는 연속체적인 속성을 띈다는 주장을 한 것이다.

가상성이라는, 즉 컴퓨터 그래픽을 통해 제공되는 대상물이 더 많으면 많을수록 증강현실 그리고 증강 가상(augmented virtuality), 그리고 궁극적으로 오로지 컴퓨터 그래픽으로만 제공된 환경일 때 가상현실이라는 용어를 사용할 수 있음을 제안한 것이다. 그리고 현실과 가상현실이라는 양극단 사이에 존재하는 모든 것이 바로 혼합현실이라고 주장한다. 따라서 우리가 가장 빈번하게 사용하는 증강현실이라는 용어는 혼합현실의 한 부류인 것이고, 디스플레이에 구현되는 현실 환경에 비해서 컴퓨터 그래픽의 활용이 상대적으로 적은 환경을 의미한다.

반대로 증강가상이라는 것은 디스플레이에 구현되는 현실보다 컴퓨터 그래픽의 활용이 상대적으로 더 많은 단계를 의미하는데, 가상환경 기반에서 현실이 부분적으로 더해진 것으로 이해하면 된다. 짐작하다시피 가상의 대상물이 많다 또는 적다는 기준은 주관적이기 때문에 증강된 현실의 수준을 절대적 단위로 나누는 것은 불가능하므로, 혼합현실은 결국 증강현실이든 증강가상이든 현실 세계에 컴퓨터 그래픽으로 만들어지는 가상의 대상물이 함께 존재하는 모든 것을 칭한다.

밀그램과 키시노 이후 증강현실에 대한 가장 많은 인용을 할 정도로 보편적으로 받아들이는 연구는 아즈마(Azuma, 1997)의 논문이다. 그가 정의한 증강현실은 가상환경의 한 예로써, 가상현실은 이용자를 가상세계에 완전히 몰입하게 하지만, 증강현실은 현실 세계에 가상의 대상물을 구현하게 함으로써 실재(reality)를 대체(replace)하는 것이 아니 실재를 보완(supplement)하는 역할을 한다. 그는 증강현실을 정의하는 세 개의 특징을 기술하는데 현실과 가상이 결합되어야 하고, 실시간으로 상호작용이 가능하며, 가상의 대상물이 현실 세계에서 정확하게 배치되어야(registration) 한다고 주장한다. 이후 아즈마는 다른 연구자들과 함께 증강현실의 새로운 적용사례와 중요성에 대해 정리한 논문(Azuma, Baillot, Behringer, Feiner, Julier, & MacIntyre, 2001)을 출판했지만, 증강현실에 대한 정의는 초기 연구의 그것과 동일하게 유지하고 있다.

증강현실의 바이블 격인 이 두 논문은 증강현실의 정의를 각기 다르게 해석하고 있어 증강현실을 이해하는 것이 다소 혼란스러워진다. 그 차이를 구체적으로 구분해보면 크게 두 개로 정리할 수 있는데, 먼저 가장 큰 차이는 증강현실이 포괄하는 범주의 차이로써, 밀그램과 카시노의 정의에서 증강현실은 현실과 가상현실 사이에 존재하지만 현실에 가까운 낮은 차원의 가상현실이란 의미가 강한 반면, 아즈마의 정의에서는 그 양에 상관없이 실시간으로 상호작용할 수 있는 가상의 대상물이 존재하기만 하면 이는 증강현실이 되는 것이다. 즉, 아즈마는 증강현실의 정의를 밀그램과 키시노가 정의한 혼합현실과 동일하게 사용하는 것이다(밀그램과 키시노의 혼합현실 = 아즈마의 증강현실). 또 다른 차별점은 상호작용성의 존재 유무이다. 밀그램과 키시노의 정의에서는 혼합현실(아즈마의 증강현실)은 가상의 대상물이 더해지는 정도가 중요하지만, 아즈마의 경우는 상호작용성이 반드시 요구되어 진다. 따라서 아즈마의 정의에 따른다면 가상의 컴퓨터 그래픽이 제공되었다는 것만으로는 증강현실이라고 부를 수 없게 된다.

360도 동영상

앞에서 이미 정의한 것처럼, 가상현실, 증강현실, 그리고 혼합현실은 컴퓨터 그래픽의 사용 정도에 따라, 몰입 정도에 따라 각각 정의된다. 그러나 360도 동영상을 만드는 영상 제작사와 영상 플랫폼, 360도 카메라를 판매하는 기업 그리고 언론사와 방송사에서도 360도 동영상을 가상현실이라고 얘기하며 사용자를 헷갈리게 한다. 당장 스마트폰에서 360도 동영상을 제공하는 앱을 살펴보면, 국내에서는 대표적으로 MBC가 ‘MBC VR’, 해외에서는 뉴욕타임스의 ‘NYT VR’, 디스커버리의 ‘Discovery VR’ 등이 360도 동영상을 제공하지만 ‘VR’이라는 용어를 사용한다.

360도 동영상이란 말 그대로 한대 또는 몇 대의 동영상 카메라를 이용하여 360도 각도로 동시에 촬영한 영상을 말한다. 일반적인 영상과의 유일한 차이점은 기존에는 카메라 한대로 전면부만 촬영이 가능했다면, 360도 동영상은 말 그대로 360도를 촬영한 영상이라는 점뿐이다. 따라서 360도 동영상은 가상현실이 아니다.

이와 같이 가상현실과 관련된 실감미디어에 포함되는 몇 개의 미디어 환경을 비교해보았다. 360도 동영상이 가상현실이 아니라고 해서 의미가 없다는 것이 아니다. 오히려, 요즘 가상현실이 크게 유행한 이유는 가상현실보다는 360도 동영상의 영향이 크다. 실제로 시장에 가상현실을 즐길 수 있는 기기라고 해봐야 스마트폰 기반의 몰입형 HMD가 거의 유일하기 때문이다. 그러나 이렇게 부정확한 용어사용으로 사용자에게 잘못된 평가를 이끌 수 있다는 우려도 있다. 360도 동영상으로는, 요즘 소개되는 스마트폰 기반의 몰입형 HMD만으로는 가상현실의 진면목을 즐기기에 부족함이 많다. 가상현실 관련 산업 예측은 거의 대부분 장밋빛이다. 하드웨어와 소프트웨어 그리고 콘텐츠를 포함한 생태계의 분명한 시장획정으로 과대평가되지 않도록 주의가 필요하다.

광운대학교 미디어영상학부 교수 정동훈

참고문헌

Milgram, P., & Kishino, F. (1994). A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems, 77(12), 1321-1329.

Azuma, R. T. (1997). A survey of augmented reality. Presence: Teleoperators and virtual environments, 6(4), 355-385.

Azuma, R., Baillot, Y., Behringer, R., Feiner, S., Julier, S., & MacIntyre, B. (2001). Recent advances in augmented reality. IEEE computer graphics and applications, 21(6), 34-47.

Recent Posts
Archive
bottom of page