2016.01.29 AI

블소와 AI #1 AI와 블소의 만남, 무한의 탑

엔씨소프트 AI Lab에서는 AI(인공지능)를 게임에 활용하기 위한 R&D를 하고 있습니다. 1월 27일에 새로이 선보인 Blade & Soul(이하 ‘블소’)의 신규 콘텐츠 ‘무한의 탑’은 기계학습 기반의 AI 기술이 MMORPG에 최초 적용된 사례라 할 수 있죠~!

1년 여의 개발 기간 끝에 탄생한 무한의 탑, 그 중심에 놓인 AI 기술 뒷이야기를 엔씨소프트 게임AI팀 이경종 팀장, AI Lab Technical Director 이준수 차장, 장한용 과장이 전합니다~. ^ㅁ^//



MMORPG에 AI를 도입하다

AI 개발자가 생각하는 AI란 무엇일까? 사람이 하는 것처럼 사람의 일을 대신 처리해 주는 것이다. 이는 게임에도 마찬가지로 적용된다.

블소의 비무는 플레이어들이 1:1 로 맞붙어 싸우는 전투 경기 콘텐츠다. 이번에 새로 업데이트된 무한의 탑은 총 100층으로 구성돼 있으며, 사람 대신 1층부터 실제 플레이어와 흡사한 플레이를 펼치는 AI들이 난이도 별로 배치돼 사용자 입장에서 다채로운 1:1 비무 플레이를 즐길 수 있다.

무한의 탑 소개 영상 

“기존 게임AI 기술은 체스나 바둑처럼 1:1 대결에서 사람을 이기는 게 주된 연구 방향이었어요. 사실 AI 기술을 MMO 같은 방대한 가상 세계에 접목시키기엔 어려운 점들이 많죠. 그런데 블소의 비무는 사람과 사람이 1:1로 대결하는 콘텐츠라서, 여기에 AI기술을 적용하면 잘 맞겠구나 싶었어요.” (이경종 팀장)

게임AI팀 이경종 팀장

게임AI팀 이경종 팀장

“이전에 저희가 진행했던 게임AI 연구는 팩맨 같이 규칙이 단순한 게임이나, 연구를 위한 간략한 환경이 제공되는 게임을 대상으로 했었어요. 현재 서비스 중인 자사 게임들은 그런 게임에 비해 훨씬 복잡하죠. 이 정도 규모의 게임에 AI기술을 적용하는 것은 저희에게 큰 도전이었고, 거기서 색다른 보람과 재미를 느낄 수 있었어요.” (이준수 차장)

AI Lab Technical Director 이준수 차장

AI Lab Technical Director 이준수 차장

비무는 블소 플레이에 어느 정도 숙달된 사용자들을 위한 콘텐츠다. 플레이어와 플레이어가 맞붙는 일종의 경연 대회이므로, 조작법이 익숙하지 않은 사용자들은 쉽게 도전하기 힘든 게 사실이다. 이는 AI를 비무에 적용시킨 또 하나의 이유가 되었다.

“PvP를 해 보고 싶지만 도전을 주저하는 사람들이 PvP를 경험하게끔 하고 싶었어요. 본격적인 PvP를 경험하기에 앞서 최대한 비슷한 상황을 재연한 ‘수련의 장’을 만들면 좋겠다 싶었죠. 여러 난이도의 AI를 상대하면서 실제 비무장의 상황을 예측하고 연습할 수 있도록요.” (이경종 팀장)

“무한의 탑 저층은 PvP 초보 사용자들도 부담 없이 도전할 수 있는 난이도예요. 숙련자 분들은 상대적으로 쉽다고 느낄 수도 있는데, 1:1 격투에 자신이 없는 분들은 무한의 탑 저층만 돌아도 격투에 어느 정도 자신감이 붙을 거예요.” (장한용 과장)


무한의 탑 AI는 공략집이 없다

MMORPG의 NPC는 주변 상황을 고려하지 않고 정해진 패턴대로 움직인다. 하지만 무한의 탑의 AI들은 각각의 상황에 맞게끔 최적의 선택을 하며 다양한 상황을 연출해 낸다.

“AI는 NPC에 비해 행동이 훨씬 다양하죠. 기존 NPC는 서너 개의 스킬을 정해진 순서대로 사용해요. 하지만 무한의 탑의 AI들은 일반 사용자들처럼 4~50개의 스킬을 사용하면서 동시에 이동도 가능하죠. 이런 조합을 통해 수백 가지 상황이 만들어져요.” (이경종 팀장)

대결 중 하나가 죽으면 바로 부활(!)해서 다시 전투를 하는 AI vs AI 영상 

공격 패턴이 정해져 있어 공략집을 보고 ‘공부’를 해서 깰 수 있는 NPC와 달리, 무한의 탑 AI는 정해진 공격 패턴이 없어 별도의 공략집을 만드는 게 어렵다. 플레이 상황마다 그때그때 다른 반응을 보이기 때문이다.

“다양한 행동을 할 수 있는 AI를 만들기 위해 기계학습(강화학습)을 이용했어요. AI 1개마다 10만 번 이상의 플레이를 통해 반복 학습을 시켰고, 또 나의 직업과 상대의 조합에 따른 별도 학습을 시켰죠. 잠깐, 그럼 우린 대체 총 몇 번이나 플레이를 시킨 거죠?(웃음)” (이준수 차장)

위의 과정을 10배속으로 돌려서  AI를 반복 학습시키는  영상 

AI의 목표는 이기는 게 아니다. AI 개발진들은 게임 내 AI에게 주어진 역할은 ‘(사용자와)잘 놀아 주는 것’ 그리고 ‘잘 져 주는 것’이라고 말한다. AI는 사용자에게 심적인 부담을 주지 않는다는 점에서 NPC와 비슷한 면도 있다.

게임AI팀 장한용 과장 

게임AI팀 장한용 과장 

“스트레스 풀려고 게임하는데, 상대(사람)에게 계속 지면 기분 나쁘잖아요. 그런데 상대가 기계이면 사람을 상대하는 것보다 부담이 적고, 져도 기분이 덜 나쁠 거예요. 아닌가? 기계한테 지면 기분이 더 나쁘려나?(웃음) 무한의 탑은 비무와 달리 재도전이 가능해서, 한 번 져도 몇 번이고 플레이할 수 있다는 장점이 있어요.” (장한용 과장)

이것들이 보자 보자 하니까

AI에게 계속 진다면 이럴 지도…?

“앞으로 더 발전시켜 나갈 부분은  AI가 사용자와의 대결 결과를 바탕으로 온라인 학습을 하도록 하는 거예요.  AI가 A라는 스킬을 썼을 때 상대가 잘 막아 내면 B라는 스킬로 교체해야 하는데, 아직 그 단계까진 못 갔거든요. 현재는 ‘X라는 상황에 처하면 A라는 스킬을 쓰는 게 가장 좋다.’ 까지 학습된 단계예요.” (이준수 차장)

“저희가 지향하는 건 AI와 사용자가 팽팽한 경기를 하는 거예요. 상대가 좀 못하는 거 같으면 AI가 알아서 난이도를 낮추는 식으로 경기의 긴장감을 유지하는 거죠. 사용자에게 역전승 같은 짜릿한 경험을 줄 수도 있고요.” (이경종 팀장)


난이도 조절의 어려움

총 100개의 층으로 구성된 무한의 탑. 층마다 다른 난이도를 설정하고, 그에 맞게끔 각 층에 배치된 AI들의 실력을 조절하는 게 관건이었다.

“콘텐츠 제목이 ‘무한의 탑’이잖아요. 말 그대로 난이도가 ‘무한’으로 올라가는 거죠. 최고 레벨의 AI를 만들고, 동시에 100층으로 나뉘어진 세분화된 난이도를 만드는 게 어려웠어요.” (이경종 팀장)

“처음엔 100층이라는 말을 듣고 ‘그럼 AI를 100개나 만들어야 돼?’ 하며 좌절했어요(웃음). 현재는 10층을 기준으로 AI의 난이도가 달라지게끔 해 놨죠. 10층 대에서 20층 대로 올라가면 난이도가 올라가는 게 느껴지도록요.” (장한용 과장)

콘텐츠 제목이 ‘무한의 탑’이잖아요. 말 그대로 난이도가 ‘무한’으로 올라가는 거죠.

목표는 100층 정복! 

“난이도를 층마다 다르게 한다는 게 실험의 측면에서 기술적으론 가능해요. 하지만 그걸 실제 사용자들이 몰라 주면 아무 의미가 없죠. 사용자들이 층을 하나하나 오르면서 난이도가 달라지는 걸 피부로 느꼈으면 했어요. 선형적으로 자연스럽게 올라가는 난이도가 저희 목표였죠.” (이준수 차장)

무한의 탑은 40층에서 패배한 사용자가 재도전을 하면, 1층부터 다시 시작하는 게 아니라 중간 층인 20층에서부터 게임이 다시 시작된다. 고층까지 정복한 사용자에게 ‘처음부터 다시’라는 미션이 주어지면 박탈감을 느껴 재미가 반감될 것을 고려한 설계다.

‘처음부터 다시’ 하면 슬프잖아요 

‘처음부터 다시’ 하면 슬프잖아요 

“처음 몇 번 플레이하고 나면, 다시 시작할 때 이전 플레이에서 도달했던 최고 층의 절반 즈음에서 플레이를 시작할 수 있어요. 80층까지 올라갔다가 죽으면 다음 판에선 40층에서부터 게임이 시작되는 거죠. 중간 도달 과정을 최대한 생략시킨 거죠.” (이경종 팀장)


블소와 AI에 대한 첫 번째 이야기, 재미있게 보셨나요?

흥미진진한 게임AI 기술 이야기는 2편에서 계속됩니다~!  。゚+.( °∀°)゚+.゚

TOP