SCIENCE to the Future #9 현실과 상상의 인터랙션으로 새로운 즐거움을 창조하다, 이제희

‘즐거움으로 연결된 새로운 세상’을 만드는 원천으로 과학과 기술을 바라보는 시리즈 ‘SCIENCE to the Future’. 아홉 번째 주인공은 엔씨의 이제희 CRO(최고연구책임자)입니다. 이제희 CRO는 서울대학교 컴퓨터공학부 교수로 재직하며, 사람이 어떻게 움직이고 그 움직임을 어떻게 컴퓨터로 재현할 수 있을지를 연구해왔습니다. 그와 함께 컴퓨터 그래픽스의 무한한 매력이 무엇인지 이야기합니다. 또한 오랫동안 연구자의 길을 걷고 엔씨의 CRO로 합류한 그의 비전과 꿈, 목표는 무엇인지 들어봅니다. 이제희 엔씨소프트 최고연구책임자(CRO)   컴퓨터 그래픽스 및 애니메이션 분야 석학으로 2003년부터 서울대학교 컴퓨터공학부 교수로 재직했다. 물리 기반 동작 제어, 데이터 기반 동작 학습 및 생성, 사실적인 인체 모델링 분야에서 세계적 수준의 연구 결과들을 발표했고, 한국컴퓨터그래픽스학회 회장 및 SIGGRAPH Asia 2022 Technical Papers 위원장 등을 역임했다. 2019년에는 세계 최초로 딥러닝 기술을 활용해 사람의 근골격계 움직임을 구현하는 데 성공했다. 2022년 4월 엔씨 최고연구책임자(CRO)로 임명되어 애니메이션 및 AI 연구개발(R&D) 조직을 이끌고 있다. 애니메이션 기술, 터닝 포인트 앞에 서다 서울대학교 컴퓨터공학부 교수로 오랜 기간 재직했다. 주요 연구 분야는 무엇이었는가?컴퓨터 그래픽스를 전공했다. 어릴 때부터 그림 그리는 것을 좋아했는데 재능이 없었다. 그림 그리는 것을 좋아하지만 재능은 없는 사람은 무엇을 해야 할까 고민하다 컴퓨터 그래픽스를 선택했다. 컴퓨터 그래픽스는 크게 모델링, 렌더링, 애니메이션 3개 분야로 나뉘는데, 나는 초창기부터 애니메이션 분야를 연구한 멤버 중 한 사람이었다. 처음에는 모션 캡처한 데이터로 어떤 새로운 것을 만들 수 있는지를 고민했고, 그다음에는 두 발로 걷는 사람이 어떻게 넘어지지 않고 균형을 유지하며 걸을 수 있는지를 고민했다. 이후에는 사람의 모델을 깊이 연구하며 해부학적 구조를 파헤치기 시작했다. 뇌에서 시작해 근육과 뼈를 움직이는 시그널을 연구하고, 이를 기반으로 컴퓨터에서 걷고 뛰고 움직이는 복잡한 움직임을 구현했다. 약 30년간 다양한 연구를 수행해왔는데, 그 본질은 결국 ‘사람이 어떻게 움직이나’라는 주제에 대한 탐구였다. 딥러닝 등 AI 기술을 활용해 다양한 연구를 진행했다고 들었다.내가 수행했던 연구 중 사람의 해부학적 구조와 걸음걸이 간의 관계를 학습한 사례가 있다. 사람을 해부학적으로 모델링하여 각 뼈의 길이부터 틀어짐, 근육 하나하나의 길이와 발휘할 수 있는 힘을 전부 풀어내면 파라미터(parameter)가 몇천 차원이 나오는 굉장히 긴 벡터 스페이스(vector space)로 표현할 수 있다. 이때 딥러닝은 그 몇천 차원과 사람의 걸음걸이 간의 매핑(mapping)을 학습하는 것이다. 오랫동안 수없이 많은 학습 과정을 반복하면 사람의 움직임을 사전 학습한(pretrained) 대형 네트워크를 얻을 수 있다. 이 프리 트레인드 네트워크를 활용하면 머신러닝 전문가가 아니더라도 의사나 재활의학 분야 종사자, 바이오 메카닉스 분야 등에서 무궁무진한 일을 수행할 수 있게 된다. 2019년에는 딥러닝 기술을 통해 근골격계 움직임을 재현하는 데 성공했다는 기사를 접했다. 어떤 연구였는가?간단히 설명하면 움직이는 인간의 각 동작에 따라 근육이 어떻게 움직이는지를 가상의 환경에서 시뮬레이션한 것이다. 사람이 걷거나 뛸 때 또는 물건을 들어올릴 때 사용하는 근육들이 모두 다를 텐데, 이렇게 동작하는 상황에서 근육이 어떤 세기로 어떻게 움직이는지를 눈으로 볼 수 있도록 구현했다. 당시 346개의 골격근을 구동해서 전신의 주요 관절을 모두 사용하는 신체 움직임을 재현하는데 성공했다. 방대한 계산량을 해결하는 것이 관건이었는데 딥러닝 기술로 해결할 수 있었다. 연구를 수행하는 과정에서 어려움은 없었는지?당시 프로젝트는 많은 사람이 도전했지만 20년 동안 풀지 못한 난제였다. 내가 그 프로젝트에 도전한다고 하니 주변 사람들 모두가 만류했다. 그럼에도 불구하고 그 프로젝트에 도전한 요인 중 주요하게 작용한 것은 바로 ‘용기’였다. 물론 어느 정도 성공 가능성을 엿본 인사이트도 있었다. 내가 이 프로젝트에 발을 들이면 10년 동안은 계속 매진해야 할 텐데 결과가 좋지 않으면 어떡하지? 나에게 뭐가 남지? 같은 생각과 두려움 속에서도 뛰어들 용기가 생겼다. 연구자의 길을 걸어오면서 인사이트와 지식도 물론 중요하지만, 거듭되는 실패에도 포기하지 않고 끊임없이 도전하는 용기가 정말 중요하다는 것을 느꼈다. 애니메이션 기술은 게임에서도 활발하게 연구되고 적용되고 있다. 게임 애니메이션은 어떻게 발전할 것이라고 생각하는가?앞서 컴퓨터 그래픽스는 크게 3개 분야로 나뉜다고 이야기했는데, 게임에서 모델링과 렌더링 분야는 지난 몇십 년간 꾸준히 새로운 기술을 도입하며 퀄리티가 계속 높아졌다. 반면 애니메이션 분야는 지난 20년간 기술이 크게 진전되지 않았다. 캐릭터를 움직이는 애니메이션은 메인 로직과 직접적으로 연결되어 있기 때문에 한 번 시도했다가 백업하는 것도 불가능하다. 그렇기에 기술적으로 새로운 시도를 하기가 어려웠다. 하지만 딥러닝을 포함한 AI 기술이 발전해서 게임에 적용되는 애니메이션 기술도 큰 변화를 앞두고 있다. 지금은 움직임(motion)을 캡처한 데이터를 애니메이터들이 하나하나 연결해서 움직임을 구현하고 있지만 앞으로는 머신러닝 기술을 통해 데이터를 수집하고 컴퓨터에서 구현하는 일련의 과정을 효율화할 수 있을 것이다. 이제 혁신의 바로 직전까지 도달했다. 그 터닝포인트에서 누가 먼저 도전을 시작하느냐가 문제인데, 내가 엔씨의 CRO로 온 만큼 엔씨가 변화를 이끄는 선두 주자(pioneer)가 되지 않을까 생각한다. 우리가 체감할 수 있는 가장 큰 변화는 무엇일까?메인 캐릭터의 물리 시뮬레이션(physics simulation)이 가능해짐에 따라 과거에 보지 못했던 새로운 비주얼을 마주하게 될 것이다. 물리 시뮬레이션이란 물리 법칙에 기반하여 애니메이션을 재현하는 것이다. 우리가 현실에서 경험하는 다양한 물리적 법칙들을 가상의 환경에도 그대로 적용하는 것이다. 지금까지 게임에서 물리 시뮬레이션은 무너지는 건물 벽이나 굴러가는 물건 등 주변 물체를 시뮬레이션하는 데 주로 사용되었고 메인 캐릭터에는 활용하지 못했다. 하지만 딥러닝 기술이 발전하고 있으니 조만간 게임에서 완전히 물리 시뮬레이션되는 캐릭터들을 볼 수 있을 것이다. 현실과 상상의 인터랙션, 보다 실감나는 모험의 세계 연구자에서 기업의 최고연구책임자(CRO)로 도전하기까지 많은 고민이 있었을 것 같다.엔씨에 갔다고 하면 의외라며 놀라는 주변 사람이 많다. 그동안 내가 수행한 연구가 게임과 관련 없다고 생각하기 때문인 것 같은데 나는 오히려 관련이 많다고 생각했기에 큰 이질감이 없었다. 연구자로서 학계에서 해볼 수 있는 것들은 다 해봤다고 생각했고 앞으로 새로운 도전을 해보고 싶었기에, 엔씨로 오겠다고 결정하는 일이 크게 어렵지는 않았다. 엔씨의 비전 중에서 어떤 부분에 공감하였는지?컴퓨터 그래픽스를 공부해온 지난 29년간 나의 꿈이자 화두는 ‘사람을 어떻게 컴퓨터로 표현하고 재현할 수 있는가’라는 주제였다. 엔씨의 AI 센터는 내가 연구자로서 가져온 꿈과 동일한 목표를 가진 곳이기에 그 비전에 공감하고 결정을 내릴 수 있었다. 엔씨에서는 주로 어떤 업무를 수행할 것인가?대학 교수로 있을 때보다 할 수 있는 일의 범위가 넓어졌다. 대학 연구실에서는 학문적 배경이 비슷한 사람들이 모여서 연구를 수행했다. 엔씨는 AI 센터만 하더라도 게임 AI, 스피치 및 비전 AI 등 여러 분야 연구를 수행하고 있고, 그 작업을 연구 레벨에서 하는 사람, 그 연구 결과를 프로듀싱하는 사람 등 다양한 구성원이 모여 있다. 대학에서는 아이디어를 내고 그 가능성을 보여주는 것에 그쳤다면, 엔씨에서는 여러 사람의 능력과 수없이 많은 아이디어를 모아서 ‘디지털 휴먼’처럼 하나의 완성된 결과물을 만들어가려고 한다.R&D 기술의 관점에서 엔씨의 미래 성장 동력을 확보하는 데 중요한 분야 또는 키워드가 무엇이라고 생각하는지?게임은 현실을 가상 환경에서 사실적으로 재현하고 그 위에 우리의 창조적 상상력을 덧붙인 세계라고 할 수 있다. 지난 20년 동안 게임에서 중요했던 이슈는 캡처, 스캔 같은 재현 기술을 통해 현실의 세계를 얼마나 사실적으로 모델링하느냐였다. 하지만 앞으로의 20년은 가상 환경에 구축한 현실 세계와 그 위에 덧붙이는 상상력의 세계가 어떻게 상호작용할 수 있을지, 즉 어떻게 ‘인터랙션’을 모델링하느냐가 중요하다고 생각한다. 인터랙션은 게임이 가진 가장 큰 특징이다. 이 말인 즉, 인터랙션이라는 개념이 새롭진 않아 보인다. CRO 님이 구현하려는 인터랙션은 무엇인가.어떤 대상이 단순히 화면 속에만 존재하는 것이 아니라 서로 대화하고 교감하고 물리적으로 상호작용하는 대상이 되고 현실과 상상의 결합이 중요해질 것이다. 인터랙션은 가상과 가상의 존재 간에, 또는 현실과 가상의 존재 간에 일어날 수도 있다. 인터랙션의 본질은 ‘불확실성’에 대한 자연스러운 반응이다. 예측하지 못한 수많은 변수에 자연스럽게 대응할 수 있는 것, 그것이 엔씨가 추구하는 인터랙션이다. 그러한 인터랙션을 구현하는 것 자체가 굉장한 일이 될 것이다. 가령 디지털 휴먼은 인터랙션의 정점이라고 할 수 있다. 진정한 의미의 디지털 휴먼은 사람의 외형을 닮고 고정된 화면 속에 존재하는 정도를 넘어서 ‘나’와 소통할 수 있고 나의 표정을 읽고 반응하며 나를 기억하고 인터랙션할 수 있는 대상이어야 한다고 생각한다. ‘디지털 휴먼’은 현재 산업계에서 가장 화두가 되는 키워드이다. 디지털 휴먼을 구현하는 데 가장 중요한 것은 무엇인가.디지털 휴먼을 구현하기 위해서는 단순히 한두 가지 기술에 집중하기보다는 여러 기술을 유기적으로 연결하는 시스템적 사고방식이 가장 중요하다. 딥러닝, 물리 시뮬레이션, 컴퓨터 비전, 음성 합성, 음성인식, 챗봇 등 다양한 기술을 복합적으로 구성하고 하나의 시스템으로 구축하는 과정이 기술적 도전이 될 것이다. 지난 몇 년 사이에 디지털 휴먼을 만드는 데 필요한 컴포넌트들이 엄청나게 발전했다. 딥러닝 기술이 가져온 영향 덕분이다. 이제는 ‘나’와 소통하고 교감할 수 있는 디지털 휴먼을 만들 수 있는 세상이 되었다고 믿고 있다. 엔씨가 만드는 디지털 휴먼은 어떤 모습일까?단순히 디지털 휴먼의 상에 대한 담론보다는, 디지털 휴먼 기술 자체가 엔씨 안에서 시사하는 바가 크다고 생각한다. 드라마를 예시로 든다면 출연하는 배우의 역량이 뛰어날수록 전체적 퀄리티가 높아지고 제작하는 데 드는 비용과 노력이 적어질 것이다. 게임 안의 캐릭터와 게임 간의 관계도 마찬가지다. 한마디로 말해서 고도화한 디지털 휴먼을 만들어낸다는 것은 곧 엔씨에서 만드는 모든 서비스의 퀄리티가 높아지고 비용과 노력은 절감된다는 것을 의미한다. 디지털 휴먼 기술은 엔씨의 미래 비전이자 중요한 기반 기술이 될 것이다. 상상의 경계를 확장해가는 선구자 게임과 관련된 질문을 하지 않을 수 없을 것 같다. 게임을 즐겨했는지, 게임과는 어떤 인연이 있었는지?어릴 때부터 게임을 즐겼고, 컴퓨터도 게임 덕분에 처음 접했다. 서울대학교 교수로 임용된 후 처음 맡은 강의도 컴퓨터 게임과 관련된 과목이었다. 컴퓨터 그래픽스를 연구하기 때문에 직업적으로 게임 콘텐츠를 관심 있게 지켜봐왔고, 연구 내용들을 게임에 적용해보려고 수없이 시도했다. 게임 콘텐츠의 가능성에 대해서 어떻게 생각하는지?게임은 앞으로 절대 없어지지 않을 콘텐츠고 우리 사회에 꼭 필요하다고 생각한다. 게임 콘텐츠의 가능성은 무궁무진하다. 엔씨의 최고연구책임자로서 게임 콘텐츠가 어디까지 확장될 수 있을지를 끊임없이 탐구하고 그 경계를 넓히는 것이 AI 센터의 역할이라고 생각한다. 그럼 ‘게임의 한계를 넓히는 역할’이 R&D 조직의 비전인가?R&D 부서는 엉뚱한 일을 벌이는 곳처럼 보이기도 하지만, 결국 궁극적으로는 다른 팀들에 영감(inspiration)을 주는 일을 한다. 단순히 게임 개발 프로세스를 효율화하는 것이 주요 목적은 아니다. 게임 개발 과정에서 가능할 것이라고 생각하지 못한 것을 보여주는 곳, 새로운 비전을 끊임없이 보여주고 개발 부서의 상상력을 한 차원 더 높여주는 역할을 수행하는 곳이 R&D 부서라고 생각한다. 게임 회사들 중에서 R&D 조직을 제대로 유지하고 있는 곳은 별로 없다. 국내 게임 회사들 중에서는 엔씨가 유일하지 않을까 싶다. 그것이 엔씨에 오게 된 이유 중 하나이기도 하다. 그 과정에서 CRO의 역할이 중요해 보인다.큰 도약을 이루기 위해서는 많은 시행착오를 거듭할 수밖에 없다. 그런 측면에서 R&D 조직에서 일하는 사람들에게 가장 필요한 것은 인내심이다. 도전을 격려하고, 무슨 일이 생겨도 괜찮으니 계속하라고 말해주는 것이 CRO의 임무라고 생각한다. 직원들이 더 길게 더 멀리 볼 수 있도록 여유와 용기를 주는 응원단장 같은 사람이 되려 한다. 마지막으로 엔씨에서 이루고 싶은 목표가 있다면?서울대학교에서 교수로 재직하며 아쉬웠던 점이 있다면 새로운 아이디어를 내고 연구한 결과가 논문을 내는 단계에서 끝난다는 것이었다. 엔씨는 그다음 단계까지 마음껏 도전할 수 있다는 점에서 기대하는 바가 크다. 현실의 문제를 해결하고 이로부터 가치를 창출하는 단계까지, 끝까지 가보고 싶다. * 본 인터뷰에서 언급되는 내용은 인터뷰 당사자의 개인적 견해이며, NCSOFT의 공식 입장이 아님을 밝힙니다.