4. 고속구동의 오류 및 그 해결방안

지난 모션블러에 관한 포스팅에서 사람 눈에 기인한 잔상을 해결하기 위하여 LCD에서는 120Hz, 240Hz의 고속구동을 한다고 말씀드렸습니다. 프레임 전환 속도가 빨라지면 프레임의 지속 시간이 줄어들고, 사람 눈에 들어오는 영상의 지속시간이 짧을수록 그 기억 또한 짧아지기 때문이죠. 이런 고속구동 방식을 사용하면서 LCD는 상당 부분의 모션블러 이슈를 개선해 오늘날 세상에서 가장 많이 팔리는 디스플레이가 되었습니다.

그렇다면, 120Hz/240Hz의 고속구동을 하면, 우리가 TV를 1초에 120개/240개의 다른 영상을 볼 수 있는 것일까요? 먼저 대답을 하자면, 대부분의 경우, ‘아니요’입니다.

TV Set는 120개/240개의 다른 영상을 보내줄 준비가 되어 있습니다. 고가의 영상처리 IC를 사용하고 있고, 고속구동을 위해 2배/4배의 데이터 전송속도를 높였죠. 이 스펙을 맞추기 위해 패널/드라이버 IC/T-Con 및 각종 연결 케이블까지 수정되었습니다.

그렇다면 ‘아니오’의 원인은 어디에 있을까요? 바로 영상 데이터 자체에 있습니다. 이번 포스팅에서는 120fps/240fps의 오류가 왜 발생하는지 다루고 이를 개선하기 위한 해결 방법에는 어떤 것들이 있을지 다뤄보도록 하겠습니다.

* 참고 : 본 포스팅에서 ‘Hz’는 디스플레이의 구동 속도를, ‘fps’(Frames Per Second)은 원본 영상의 초당 프레임 수를 의미합니다.

120Hz, 240Hz의 오류에 관해

1) 멀티미디어 기기에서 TV로의 전송은 60Hz 포맷을 따른다.

TV가 영상을 보여주기 위해선 먼저 영상을 받아야 합니다. 집에 있는 TV에 어떤 케이블이 있나요? 또 무슨 기기에 연결되어 있나요?

동축케이블로 안테나와 연결될 수도 있고 그 중간에 U+ TV G와 같은 셋탑박스와 연결되어 있을 수도 있습니다. 그리고 블루레이나 DVD 플레이어와 HDMI로 연결될 수도 있습니다. TV와 연결되는 이러한 기기들을 멀티미디어 기기라 부르고, 원본 영상을 TV에 전달하는 역할을 합니다. 이때, 모든 기기들은 TV에 영상을 전달할 때 공통된 포맷을 사용합니다. 60Hz의 전송속도로 프레임을 전달하는 것이죠. 우리나라는 미국의 NTSC 포맷을 채용하여 60Hz의 전송속도를 가지고, 그리고 유럽이나 일본은 50Hz의 전송속도를 가지는 PAL 포맷을 사용 중입니다. 재미있는 건, 60Hz와 50Hz 포맷을 사용하는 나라들을 살펴보면 모두 전력선 주파수(우리나라는 220V, 60Hz 교류 전원)와 동일하다는 것인데요. 아날로그 방식으로 영상 전송 시 교류 전원 주파수에 의한 노이즈를 최소화하기 위해 채택한 방식이 디지털로 넘어온 지금도 동일하게 유지되고 있는 것이죠. 이제는 굳이 그럴 필요가 없지만 이미 모든 시스템이 60Hz/50Hz에 맞춰져 있기 때문에 호환성을 위해 쉽게 변할 수가 없습니다. 이렇게 정해진 틀을 벗어나지 못하는 것을 ‘경로 의존성’이라는 부르곤 하는데요, TV 영상 전송의 대부분은 다른 산업군끼리 연결되어있어 이 법칙이 강하게 적용됩니다. 이 때문에 과거 정해진 불필요한 부분까지도 모두 호환할 수밖에 없는 구조가 되는 것이죠.

2) 원본 영상은 1초에 24 Frame이다.

중요한 부분은 멀티미디어 기기에서 TV로 전달되는 것은 60Hz지만 실제 영상 포맷은 초당 24프레임입니다. 영사기는 필름을 초당 24프레임으로 통과시키되 각 프레임을 두 번씩 보여줌으로써, 매초 스크린에 48개의 프레임을 스크린에 보이게끔 합니다. 이는 인간의 눈이 45Hz 이상을 구분 못 하는 것을 가까스로 만족하는 수치네요(2장 참조)

왜 24프레임일까요? 위에서 언급한 대로 플리커나 잔상을 최소화하는 프레임으로 정했다는 얘기도 있고 사운드의 해상도 때문에 정해졌다는 얘기도 있습니다. 이미 100년이 넘어가는 이 포맷은 아직도 TV에 적용되고 있습니다. 경로 의존성 때문인데요, 이미 세상에 나온 너무나 많은 원본 영상들이 이 포맷을 사용하고 있기 때문에, 쉽게 바꿀 수가 없습니다. 이것을 바꾸려면, 영상 측정장비부터, 멀티미디어 기기까지의 모든 포맷이 바뀌어야 하죠.

3) 오류의 이유는 60Hz가 1초의 60장의 다른 이미지가 아니기 때문이다.

문제는 여기서 발생합니다. TV는 60Hz의 영상을 받지만, 원본데이터는 24프레임이죠. 즉 60Hz로 전송을 하더라도 결국 동일한 영상을 3-2 Pull Down 방식으로 반복적으로 보내고 있는 것입니다. 즉, 120Hz로 만들기 위해 보간법을 사용해서 프레임 간 새로운 영상을 만들고 싶어도 이미 같은 영상끼리의 반복으로 의미가 떨어집니다. 결국, 24프레임의 사이에만 새로운 프레임이 추가될 뿐이죠.

위 그림은 원본 영상(DISC)을 멀티미디어 기기(PLAYER)에서 24fps로 읽고 TV에 60fps로 전달하는 모습과 TV가 60fps로 영상을 받은 후 디스플레이로 120fps로 프레임을 전달하는 모습을 상세히 보여주고 있습니다.

각 프레임의 테두리 색깔과 축구공의 위치로 따라가 보세요. 60fps라고 생각하고 전송하고 있지만 3-2 Pull Down으로 결국 24fps로 TV에 전달되고, TV에서는 120fps로 영상을 전달한다고 생각하지만 동일한 영상의 반복으로 결국 새로 만들어지는 영상을 합하더라도 48fps죠.

4) 120Hz/240Hz로 했을 때 발생하는 문제점

다시 말씀드리면, 60Hz의 속도로 전달받는다고 생각했던 TV의 입력이 사실 초당 24프레임의 입력이었고, 120Hz는 1초에 48장, 240Hz는 1초에 96장 정도의 다른 프레임이 디스플레이에 전달됩니다. 처음 생각했던 것처럼 120/240장의 다른 영상이 들어오는 것과는 차이가 있죠?

물론 입력만 제대로 들어와 준다면 TV는 120fps/240 fps 구동을 할 수 있습니다. 하지만 위에 원본 영상 자체가 24프레임일 경우는 생각보다 못 미칠 정도의 프레임이 전달되는 것이죠. 반면에, 이러한 고속 구동 주파수를 구현하기 위해 TV가 치뤄야 할 대가들이 있습니다.

고속 구동 주파수를 구현하기 위해 TV가 치뤄야 할 대가들

– MEMC 지더 노이즈 (영상 추출 오류로 인한 노이즈)

– MEMC Chip 가격/메모리/발열

-인터페이스 전송 Bandwidth 2배/4배. (속도 증가 시, T-Con IC 가격/발열/노이즈 증가)

( IO 증가 시, IC 사이즈 증가, 케이블 증가)

– T-Con 내부 로직사이즈 증가.

– D-IC Spec/Cost 증가 Noise 취약

– Panel Spec 증가

고속구동이 모션블러를 해결하기 위해 너무나 좋은 방법인 것은 사실이지만, 원본 영상의 프레임 수로 인해 투자한 것만큼 많은 효과를 못 보고 있는 것 같습니다.

고속구동 오류의 해결방안

이러한 문제를 해결할 수 있는 방법에는 어떠한 것들이 있을까요? 이미 자리 잡은 포맷과 호환성을 유지하면서 바꾸기는 쉽지 않아 보입니다. 그중 가능성 있는 부분에 대해 정리해 보겠습니다.

1. 애초에 24 Frame이 아닌 48/60 Frame의 영상

이 부분의 변화는 정말 굉장히 힘든 부분입니다. 우선 영상 자체를 만들기 힘듭니다. 거기에 맞는 영상장비들이 필요하고 저장하는 새로운 포맷이 필요하기 때문이죠. 더 큰 문제는 영상을 읽을 수 있는 기존기기들이 없다는 것입니다. 결국, 새로운 기기가 출현해야 하고 이 기기는 기존 24 frame도 호환하며 48 frame도 읽을 수 있어야겠죠.

이렇게 누구도 쉽게 변화를 생각하지 못하는 구조에서 변화를 외치고 실행에 옮긴 이들이 있습니다. 먼저 아바타를 만든 제임스 카메론 감독입니다. 그는 아바타를 제작할 때 영상 촬영 포맷을 48 frame으로 해야 한다고 강하게 주장했습니다. 제대로 된 3D영상 구현을 위해 24 frame으로는 플리커 및 잔상에 너무 취약하다는 게 그의 생각이었습니다.

이처럼 영상자체를 높은 주파수로 찍는 것을 HFR (High Frame Rate)라고 합니다. 그리고 2013년 HFR을 실영화에서 실행에 옮긴 감독이 나타납니다. ‘호빗’을 제작한 피터 잭슨 감독이 그 주인공인데요, 아래의 그림은 피터 잭슨이 실제 호빗을 찍을 때, 48fps로 촬영되었다는 것을 보여줍니다. 그의 실험정신에는 박수를 보냈지만, 비판의 여론도 상당했습니다. 호환성과 투자 대비 효율성이 비판의 큰 이유였죠. 우리나라에서도 서울의 몇 군데 IMAX관에서 HFR로 상영을 했었습니다. 물론 더 비싼 값으로요. 이러한 시도들이 언젠가는 시장의 흐름을 바꿀 수 있다고 생각합니다. 하지만 넘어야 할 산이 너무나 많아 보이네요.

2. 멀티미디어 기기에서. 24Frame -> 60Frame 변경 시 MEMC

다음으로 가능성 있는 방법은 24fps 에서 60fps로 변경 시 영상 보간법을 상용하는 것입니다. 제가 생각하기에는 이 방식에는 큰 장점이 있습니다. 느린 주파수를 사용하기 때문에 60Hz /120Hz보다 동일시간 내 데이터처리량이 훨씬 적기 때문인데요, 이는 더 적은 메모리의 사용과 더 적은 IC의 Logic Size를 의미합니다. 거기다, 원본 영상은 MPEG로 압축이 되어있고, 이 방식은 영상의 벡터를 저장하는 방식으로 벡터의 경로를 예측하여 보상하는 MEMC의 방식을 구현하는데 더 쉬워 보입니다. 24fps/60fps로 변환 시 보간법을 사용하면, 기존 60fps/240fps 부분과 호환하여 240개의 다른 영상도 표현할 수 있습니다.

하지만 왜 사용이 안 될까요?

몇 가지 문제가 예상되는데, 가장 큰 문제는 멀티미디어 기기의 다양성과 다양한 TV Set와의 호환의 문제입니다. 예를 들어, 내가 산 블루레이가 리얼 60fps로 변환한다고 하더라도, 다른 멀티미디어 기기나 방송국에서 송출하는 영상이 24fps면 TV는 60fps 를 보여줄 수가 없죠. 그것은 TV가 리얼 60fps라고 광고하는 것이 제한됨을 의미합니다. 기기의 영역이 다르기 때문이죠. 또 예상되는 문제는 완벽한 영상 보간법은 존재하지 않기 때문에 발생합니다. 멀티미디어 기기에서 수행한 영상 보간법에 의해 발생할 수 있는 노이즈를 영상입력을 받는 TV Set 업체에서 믿을 수 있을까요? 여기에 표준 방식이 없고, 공용 IC가 없기 때문에 다른 TV Set 업체에서도 이 기기에 대해 추천할 수가 없는 거죠. 결국, 더 비싼 값을 주고 블루레이를 구매했으나, 그만큼의 장점을 소비자가 인지하기 힘든 구조이기 때문에 구현이 어렵습니다.

3. 480Hz

결국 더 높은 프레임을 가지기 위해서는 더 높은 프레임 레이트를 사용하는 방법인데, 이는 앞서 말했던 것처럼 너무나 많은 비용적/구조적 손실을 가져옵니다. 또, 결국 24frame의 3-2 Full Down 구조에서 발생하는 것처럼 3Frame 연속 동일한 데이터 일 경우 약 50ms 정도 동일한 영상을 보여주는 케이스가 발생하여 (짧을 때는 2ms) 동일한 fps라도 동일한 비율을 가지는 방식보다 잔상에 취약할 수 있습니다.

4. TV Set에서 24fps -> 120/240fps 변환

그 중 가장 가능성 있고 현실화 되고 있는 부분은 TV가 24fps로 데이터를 받아 120fps/240fps로 직접 변환해주는 것입니다. 최근 UHD/3D 등 고해상도의 요구로 멀티미디어 기기 인터페이스의 스펙에 많은 변화가 일어나고 있습니다. 기존 60fps 전송으로는 고해상도의 전송속도가 불가능하여 주파수 자체를 24fps로 낮추는 것인데요, 이는 멀티미디어 기기에서 3-2 Full Down등의 반복보간법을 사용하지 않고 원본 그대로 TV에 전달하는 것을 의미합니다.

아바타를 기점으로 3D 영상 포맷에 대한 수요가 폭발적으로 증가하였고, HDMI 1.4버전이 나오며 3D를 위한 고해상도 영상 포맷을 지원하기 시작했습니다. 기존 60Hz 포맷에서 벗어나 24p (24 progressive frame/s)를 지원하기 시작한 거죠.

이제 이후부터는 TV Set 업체의 영역입니다. 24fps를 이용하여 어떻게 처리할지 결정하는 것은요. HDMI 1.4가 나왔을 초기에는 24fps를 3-2 Full Down으로 60fps로 변환하여 기존과 호환성을 유지하는 방법을 사용했습니다. UHD TV가 개발 되고, HDMI 2.0을 바라보는 지금은, TV Set 업체에서 MEMC IC를 새로운 포맷에 맞게 제작하여 24fps 영상을 사용해 120Hz/240Hz 영상을 만드는 방법을 개발하고 있습니다. 이렇게 되면 적어도 24p/30p로 원본 영상이 바로 TV Set에 들어가는 경우는 120/240 개의 다른 영상으로 보여줄 수 있는 거죠. 물론 60fps로 반복되어 들어오는 기존 영상에는 적용하기 힘들겠지만요.

* 참고 : HDMI 2.0은 UHD영상의 24p뿐만 아니라 60p까지 지원합니다. 이는 UHD에서 고해상도의 3D 영상의 수신 (기존 프레임의 2배)와 HFR의 지원이 가능하다는 것을 의미합니다. 관련된 많은 것들이 바뀌어야 가능하겠지만, UHD 방송규격 또한 이와 동일한 포맷으로 가기 때문에 머지않아 HDMI 2.0을 지원하는 많은 기기들을 볼 수 있겠네요.

마무리하며

지금까지 120Hz/240Hz의 고속구동에서 발생하는 오류와 해결 가능성이 있는 방법에 대해 알아보았습니다. 생각해보면 굳이 디지털 시대에 60Hz로 전송될 필요도 없는 거고, 영상 자체를 24fps로 촬영할 필요도 없는 것일 수 있습니다. 하지만 그렇게 하지 못하는 것은 기본적으로 기존 방식과 호환이 되어야 하기 때문이고 이는 카메라/원본 영상/멀티미디어 기기/TV Set 까지 각 분야에 너무나 많은 업체가 연결되어 있어 동일 표준을 사용하기 때문입니다.

새로운 표준이 되는 것은 강력한 힘을 발휘합니다. 가장 앞서서 산업을 선도할 수 있기 때문이죠. 하지만 표준이 되기 위해서는 기존 제품/콘텐츠와의 호환성이 굉장히 중요합니다. 새로운 표준의 앞단과 뒷단에 있는 기기들을 만드는 업체들을 모두 끌어들일 수 있어야 하기 때문입니다. 이런 호환성을 무시하면 결국 도태되고 맙니다. 게다가 새로운 표준으로 이끌기 위해서는 하드웨어/소프트웨어 개발이 불가피한데, 표준 경쟁에서 밀려버리면 많은 금전적 피해를 감수할 수밖에 없죠.

그래서, 새로운 영상포맷의 구현은 어렵습니다. 이 포스팅에서 다룬 120/240fps의 오류가 발생했던 원인도 그리고 개선이 어려운 원인도 모두 이런 표준에 의존할 수 밖에 없는 산업적 구조 때문입니다.

앞으로 어떤 변화가 있을까요? 더 높은 해상도, 더 빠른 전송속도, 더 많은 계조를 표현하는 방향으로 디스플레이가 발전하고 있습니다. 계속되는 새로운 요구가 디스플레이의 방향을 결정하곤 하는데요, 지금은 어려워 보이는 변화들이 앞으로 어떻게 개선되는지 지켜보는 것도 재미있을 것 같습니다. 디스플레이의 더 많은 발전을 바라며 이번 포스팅을 마치겠습니다. 좋은 하루 보내세요 ^^