2019.05.31 AI

게임과 AI #9 게임 개발의 효율을 높여주는 이미지 생성 기술

게임 AI에 대한 R&D 연구를 선도해오고 있는 엔씨.

엔씨는 AI센터 내에 비전(Vision) AI랩을 설립, 컴퓨터 비전 기술과 게임 개발 과정의 접점을 찾기 위해 다양한 연구 개발을 진행하고 있습니다.

게임과 AI’ 9편에서는 AI 기술을 이용해 특정 이미지를 만들거나 변환하는 이미지 생성 기술(Image Generation)의 개념을 알아보며, 이러한 기술이 게임 제작 과정에서 어떻게 활용될 수 있는지 살펴보겠습니다.


게임과 AI #9 게임 개발의 효율을 높여주는 이미지 생성 기술

이미지 생성 기술은 GAN(Generative Adversarial Networks) 기술의 등장 이후 최근 들어 많은 컴퓨터 비전 연구자들에게 관심을 받고 있습니다.

영상 내의 정보를 인식하거나 객체를 검출하는 등 전통적인 문제를 해결하는 기술들에 비하여 성숙도는 낮지만, 그 발전 속도는 상당히 빠릅니다. 특히, GAN에 의해 생성된 사람의 얼굴 이미지는 실제 얼굴 이미지와 구별이 어려울 정도로 날로 개선되고 있습니다. (관련 링크)

GAN 기반 얼굴 생성 기술의 발전.

GAN 기반 얼굴 생성 기술의 발전.

또한 Image-to-Image Translation 기술도 다양한 분야에서 그 활용 가치가 높아지고 있습니다.

이는 특정 사진을 고흐나 모네와 같은 특정 작가 스타일의 그림으로 바꿔주거나, 흑백 사진을 컬러 사진으로, 낮 영상을 밤 영상으로 변환하는 등 입력된 이미지를 전혀 다른 도메인의 이미지로 변환하는 기술입니다. (관련 링크 1, 관련 링크 2)

이미지 변환 기술.

이미지 변환 기술.


게임 분야 내 이미지 생성 기술의 활용 가능성

그렇다면 이미지 생성 및 변환 기술은 게임 분야에서 어떻게 활용될 수 있을까요?

하나의 게임은 캐릭터와 배경의 원화부터 UI 및 아이콘 이미지, 3D 모델링까지 수많은 그래픽 리소스들의 집합체입니다. 또한 대부분의 리소스들은 기획자와 아티스트, 디자이너들이 많은 시간과 노력을 들여 만들어낸 결과물입니다.

만약 AI 기술이 이러한 창작의 과정 일부를 대신해준다면 게임 개발 과정의 효율화에 큰 도움을 줄 수 있을 것입니다.

실제로 최근 딥러닝 기술의 발전에 힘입어 결과물의 품질이 개선됐는데요. 이러한 이미지 생성 및 변환 기술이 던전의 맵이나 아바타 제작과 같은 다양한 게임 분야에 적용될 수 있음을 보여주는 연구들이 속속 공개되고 있습니다. (관련 링크 1, 관련 링크 2)

<둠>의 던전 맵 생성 기술(좌)과 페이스북의 아바타 변환 기술(우).

<둠>의 던전 맵 생성 기술(좌)과 페이스북의 아바타 변환 기술(우).

하지만 이미지 생성 및 변환 기술의 결과가 아티스트의 최종 창작물의 수준에는 미치지 못합니다.

실사 이미지에 비하여 게임 아트나 그래픽 리소스와 관련한 양질의 데이터베이스가 부족해 딥러닝 기술을 충분히 활용하기 어렵기 때문입니다. PC나 콘솔 게임에 사용되는 리소스들이 매우 높은 화질의 이미지라는 점도 생성 결과를 바로 사용하기 어렵게 만드는 요인 중 하나입니다.

결국 게임 개발 과정에서 아티스트의 역할을 대신하는 것이 아니라, 아티스트의 작업을 보조하거나 단순 반복 작업을 줄여주는 방향으로 AI 기술이 활용되고 있습니다.

그 예로, 입력된 이미지를 다른 아트 스타일로 쉽게 변환할 수 있는 기술이 어도비(Adobe)의 포토샵에 적용됐습니다. 최근에는 사람의 스케치를 실제 풍경 사진처럼 바꿔주고 이를 인터랙티브하게 수정할 수 있는 기술도 공개됐습니다. (관련 링크 1, 관련 링크 2)

어도비의 Character Style Transfer 기술.

어도비의 Character Style Transfer 기술.

엔비디아의 이미지 변환 기술.


실사 이미지를 게임 이미지로

엔씨에서는 게임 제작 과정의 효율화를 목표로 이미지 생성 및 변환 기술에 관한 다양한 연구를 진행하고 있습니다. 그 중에서도 입력된 실사 이미지를 특정한 게임 스타일의 이미지로 변환하는 기술 개발에 주력하고 있습니다.

특히 동일한 콘텐츠에 대하여 서로 다른 도메인의 이미지가 쌍으로 존재하지 않더라도 학습이 가능한 Unsupervised Image-to-Image Translation을 기반으로, 실사 얼굴 또는 자연물의 이미지를 게임 캐릭터 또는 아이콘 이미지로 변환하는 기술을 연구하고 있습니다.

먼저 아이콘 변환 프로젝트는 돌, 나무, 금속과 같은 다양한 재질을 표현하는 기능과 더불어, 모바일 캐주얼 게임부터 실사형 PC MMORPG까지 다양한 장르의 게임 스타일을 반영하는 아이콘 이미지 변환을 목표로 하고 있습니다.

앞서 언급한대로, 아이콘 제작의 최종 결과물을 생성하는 것이 목표가 아니라 대량의 샘플들을 제시함으로써 작업자들에게 초기 작업에서 소요되는 시간을 줄여주고, 다양한 스타일을 빠르게 생성하여 창작을 위한 영감을 주는 것이 목표입니다.

아이콘 이미지 변환 기술 연구.

아이콘 이미지 변환 기술 연구.

아이콘 이미지 변환 결과(위: 실사, 아래: 변환 결과).

아이콘 이미지 변환 결과(위: 실사, 아래: 변환 결과).

최신 하이엔드 MMORPG나 콘솔 게임에서 캐릭터의 얼굴 표현력은 실사 얼굴과 견줄 수 있을 만큼 높은 품질을 보여주고 있습니다.

게임 제작 과정에서 그러한 고품질의 캐릭터를 만드는 데에는 당연히 많은 시간과 노력이 필요할 것입니다. 또한 캐릭터 커스터마이징의 자유도가 높아짐에 따라, 동시에 게임 유저가 원하는 모습의 캐릭터를 만드는 과정도 함께 복잡해지고 있습니다.

캐릭터 변환 프로젝트는 연예인이나 유저의 사진을 게임 캐릭터 3D 모델로 변환하여 특정 인물과 유사한 NPC를 제작하거나, 유저가 원하는 외형을 반영하는 캐릭터를 쉽게 생성하는 것을 목표로 하고 있습니다.

프로젝트의 최종 결과물이 2D 이미지가 아닌 게임 클라이언트에서 사용되는 3D 모델의 파라미터라는 점이 아이콘 변환 프로젝트와의 차이점이라 할 수 있습니다.

사용자의 다양한 입력에 대응하기 위하여, 얼굴 영역을 검출(Face Detection)하거나 정면화(Face Frontalization)하는 기술도 함께 연구하고 있습니다.

캐릭터 이미지 변환 기술 연구.

캐릭터 이미지 변환 기술 연구.

캐릭터 이미지 변환 결과(위: 실사, 아래: 변환 결과로부터 생성된 모델).

캐릭터 이미지 변환 결과(위: 실사, 아래: 변환 결과로부터 생성된 모델).

이미지 변환 기술이 실제로 게임 제작에 활용되기 위해서는 결과물에 대한 아티스트의 정확한 피드백이나 게임 아트 리소스 공유와 같은 개발 부서와의 긴밀한 협업이 필수적입니다.

캐릭터 변환 프로젝트의 경우, 개발 부서에서 제공한 자동화 툴을 사용하여 효과적인 데이터 수집을 할 수 있었습니다.

또한 아이콘 변환 프로젝트의 경우에는 정기적인 회의를 통하여 기술의 한계와 아티스트의 요구 사항을 공유함으로써, 연구의 결과가 단순한 프로토타이핑에 그치지 않고 활용 가치가 높은 AI Assistant 툴의 형태로 구현할 수 있었습니다.


내가 원하는 캐릭터를 AI가 만들어 줄 수 있을까?

만약 AI가 기획자나 게임 유저들의 머릿속에 있는 느낌과 분위기를 반영하는 캐릭터를 자동으로 생성해 준다면 어떨까요?

마음에 드는 사진을 게임 캐릭터로 변환하는 것도 좋겠지만, 그 실사 사진을 검색하는 것도 꽤나 많은 시간과 노력이 필요한 과정입니다. 또한 게임 속 스토리에서 중요한 역할을 하는 메인 캐릭터가 아닌 마을 주민이나 상인과 같이 일반적인 NPC의 대량 제작은 보다 빠른 제작 프로세스가 요구됩니다.

추상적 키워드 기반의 캐릭터 생성 프로젝트는 성격이나 분위기를 나타내는 키워드로부터 캐릭터의 얼굴 이미지를 생성하는 것을 목표로 하고 있습니다.

입력값이 실사 이미지가 아니라 자연어로 된 형용사 키워드라는 점과 키워드를 labeling하는 과정에 주관적인 판단이 반영되어 학습용 데이터베이스를 구축하기 힘들다는 점에서, 앞서 소개한 이미지 변환 프로젝트들보다 조금 더 난이도가 높다고 할 수 있습니다.

최근에 발표된 딥러닝 기반의 실사 얼굴 생성 기술들은 대량의 고화질 얼굴 이미지를 활용하고 있고, 학습에 사용된 데이터베이스를 함께 공개하고 있습니다. 하지만 현재까지 공개된 데이터베이스들은 성별이나 연령대, 피부나 머리카락의 색과 같은 얼굴의 외형적인 특징 정보들 외에, 인물의 성격이나 분위기와 같은 추상적인 특징은 제공하지 않습니다.

엔씨의 Vision AI Lab Generation팀에서는 사람의 얼굴 외형과 추상적인 키워드의 연관성을 찾고 주관적인 키워드를 자동으로 labeling하여 양질의 데이터베이스를 구축하는 초기 단계의 연구를 진행하고 있습니다. 또 구축된 데이터베이스를 활용하여 키워드 기반으로 다양한 게임 캐릭터를 생성하는 모델을 개발하는 것을 목표로 연구 범위를 확장할 계획입니다.

추상적 키워드 기반의 캐릭터 생성 기술 연구.

추상적 키워드 기반의 캐릭터 생성 기술 연구.


이미지 생성 기술의 미래, AI Creativity

이미지 생성 기술은 딥러닝 기술의 발전에 힘입어 창작 기술로서의 무한한 활용 가능성을 지니고 있습니다.
최근 생성 결과의 품질이 개선되면서, AI가 그린 미술품에 가치를 매기는 사례(OBVIOUS)가 있는가 하면, 사람과 AI가 함께 작업하여 새로운 콘텐츠를 제작하기도 합니다. (관련 링크)

또한 유수 대학과 글로벌 기업들은 아티스트에게 영감을 주는 도구로서 이미지 생성 기술을 활용하는 연구를 활발히 진행하고 있습니다. (예: Microsoft, MIT, Metropolitan Museum of Art의 공동 연구) (관련 링크)

경매로 낙찰된 최초의 AI 미술품(좌)과 AI가 그린 초상화(우).

경매로 낙찰된 최초의 AI 미술품(좌)과 AI가 그린 초상화(우).

AI가 그린 유화(좌)와 사람이 그린 유화(우).

AI가 그린 유화(좌)와 사람이 그린 유화(우).

게임과 디지털 아트 분야에서 이미지 생성 및 변환 기술의 활용은 이제 2D를 넘어서 3D 콘텐츠 제작으로 확장되고 있습니다.

AI 기술을 이용하여 한 장의 사진으로부터 자동으로 3D 콘텐츠를 생성하고, 빛에 대한 효과를 손쉽게 제거(Delighter)하는 기능이 최근 아티스트의 작업 툴에 적용되었습니다. 한편 언리얼(Unreal)이나 유니티(Unity)와 같은 게임 개발 플랫폼에서도 창작 도구로서의 AI 기술로 더 멋진 게임 속 가상 공간을 만들기 위해 적극적인 연구와 투자를 진행하고 있습니다.

과연 상상은 상상일 때만 아름다울까요? AI 기술이 그저 단순 반복 작업을 줄여주는 것이 아니라, 아티스트에게 새로운 영감과 상상을 위한 휴식을 제공하고 AI의 창작물에 아티스트가 생명을 불어넣어 준다면, 상상이 곧 현실이 되는 날도 그리 멀지 않을 것입니다. (관련 링크 1, 관련 링크 2)

알레고리드믹(Allegorithmic)사의 Substance Alchemist.

언리얼 엔진과 엔비디아의 비디오 변환 기술을 활용한 렌더링.

다음 편에는 엔씨에서 진행하고 있는 이미지 인식 관련 프로젝트에 대해서 소개해드리도록 하겠습니다.


김민재

김민재

AI Center Vision AI Lab Generation팀.
영상 처리와 컴퓨터 비전을 공부하고
자율 주행 기술과 관련한 일을 하다
딥러닝과 GAN의 매력에 빠져 이미지를 연구 중입니다.
게임 제작자와 유저 모두에게 새로운 가치를 제공하는
기술을 만들기 위해 노력하고 있습니다.

TOP