알파고와 게임 AI를 말하다

3월 22일 오후, 엔씨소프트 R&D센터 컨벤션 홀로 엔씨인이 삼삼오오 모여든 이유는?

바로바로 요 며칠 전세계를 뜨겁게 달군 화제의 알파고를 발 빠르게 다루는‘알파고의 알고리즘’ 강연을 듣기 위해서였습니다!

IMG_1682 copy

드넓은 컨벤션 홀이 꽉꽉 들어찼습니다!

IMG_1701 copy

알파고의 알고리즘을 분석해 주신 소프트웨어정책연구소 김석원 박사님

소프트웨어정책연구소 김석원 박사님의 강연이 끝난 뒤, 엔씨소프트 AI CENTER의 게임 AI 전문가들과 함께 알파고, AI 그리고 엔씨소프트의 AI에 대해 자유롭게 질문하는 시간이 이어졌습니다!

시종일관 유쾌한 분위기에서 진행된 엔씨소프트 AI CENTER의 게임 AI Q&A, 우주정복 블로그가 정리해 보았습니다!


# AI CENTER가 바라본 알파고

이재준 AI 부센터장 (이하 이재준) 알파고 대국 이후 게임 AI팀 팀원들과 이야기를 많이 했는데 너무 재미있는 거예요! 우린끼리만 이런 재미난 이야기를 할 게 아니라 여러분과도 의견을 나눠 보고 싶어서 이런 자리를 마련하게 되었습니다.

이경종 팀장 (이하 이경종) 첫 대국 때 ‘심쿵’했어요. 오후 4시인지 5시인지, 여기저기서 “이겼다 이겼다” 소리가 들려서 저는 당연히 이세돌 9단이 이긴 줄 알았는데(웃음).

이준수 TD (이하 이준수) 저희도 블레이드 & 소울 컨텐츠에 강화학습을 적용하면서도 반신반의한 부분이 있는데, 이번 알파고 이벤트를 계기로  AI 뿐아니라 강화학습이 널리 알려졌다는 점이 인상 깊었습니다.

정지년 차장 (이하 정지년) 알파고가 이세돌 9단을 이겼을 때 기분이 묘했어요. 이게 꿈인가 생시인가 싶고…AI가 세상 밖으로 나온 하나의 역사적 이벤트죠. 저희가 그 이벤트의 주인공이 되지 못한 게 아쉽지만, 딥마인드가 첫 발을 디뎌준 덕분에 그 뒤를 따르는 연구자들이 많은 기회를 가지게 될 겁니다. 저희도 더 발전된 AI 기술을 만들기 위해 노력할 거고요.

장한용 과장 (이하 장한용) 딥마인드에서 바둑으로 이렇게 큰 화제를 일으켜 주어서 게임 AI 연구자로서 너무 감사할 따름입니다. 사실 우리 모두 감사해야 하는 것 아닌가 싶은데요(웃음). 게임 시장이 더 커지는 계기가 될 것 같습니다.

AICENTER

엔씨소프트 AI CENTER(라 쓰고 어벤저스라 읽고 싶다)

왼쪽부터 이경종 팀장, 이준수 TD, 이재준 AI 부센터장, 정지년 차장, 장한용 과장

 

Q1. 경기 초반 알파고의 악수로 평가됐던 수들이 후반에는 묘수 혹은 포석으로 평가된 경우가 있었습니다. 알파고의 실수가 계산된 수라는 의견과, 실제로는 악수였지만 해당 악수를 이용하는 쪽으로 진행하다 보니 묘수가 된 것이라는 의견이 대립 중인데요. 기술적으로 보았을 때 어떤 의견이 더 신빙성 높은가요? 

김석원 박사 (이하 김석원) 알파고는 그냥 제일 점수가 높은 수를 둔 것입니다. 일단 돌은 두었으니 그 상황에서의 변수는 들어가 있었을 것이고, 그때 둘 수 있는 최선의 수를 둔 것이 아닐까요? 작전을 짰다고 보기는 조금 어려울 것 같습니다.

이준수 동의합니다. 그냥 마지막에 이길 가능성이 높은 수를 계산된 대로 두는 것이지요. 다만 두 번째 주장은 특정한 상황에서라면 맞는 이야기가 될 수도 있습니다. 예를 들어, 갑자기 정전이 나서 시뮬레이션이 끊기는 바람에 돌을 한 번 잘못 둘 수 있겠죠. 그럼 알파고는 그 상태에서 최선의 수를 찾는 것입니다. 일부러 함정을 팠다고 하는 것은 해석의 문제라고 봐야죠.

장한용 사람들은 AI가 ‘계산적으로’ 행동한다는 걸 알고 있지만, 엄연히 사람의 시각에서 그 행동을 해석하게 됩니다. 블소 AI도 마찬가지라서 무작정 잘 싸우는 AI를 만들면 사람같지 않아서 굉장히 어색하게 느껴져요. 그래서 저희는 ‘사람이 예상한’ 범위 내에서 똑똑하게 구는 AI를  만들려고 해요. 그런 의미에서 알파고의 경우 저희보다 조금 더 쉬운 개발을 하는 셈이죠. 왜냐면 이기기만 하면 되니까…(일동 폭소) 농담입니다!

이재준 게임은 사람에게 즐거움을 주기 위한 것이니까요. 그래서 게임 AI 개발에서는 ‘사람 같은’ , 사람이 납득할 수 있는 AI를 만드는 게 매우 중요하다고 생각합니다.

사람이랑똑같이생겼네

사람같은 AI의 예(…)

Q2. AI를 훈련시킬 때 보상을 승/패로 나누기 때문에  1집승과 10집승은 큰 차이가 없는 것으로 알고 있습니다. 만약 +1, +10 과 같이 집 수에 가치를 차등적으로 둬서 훈련시키면 더 강력한 알파고가 될까요? 

김석원 가치를 디테일ㅎ하게 부여하면 학습량이 늘어나서 오히려 퍼포먼스가 떨어질 가능성이 있어요.

장한용 만약 집을 많이 지으라는 리워드를 주고 학습을 시키면 AI는 어떻게든 집만 지으려고 할 겁니다. 하지만 바둑은 단순히 집만 많이 만들어서 이길 수 있는 게임이 아니죠. 벽을 쌓고 세력을 키우는 액션도 필요하니까요.

badduk3

바둑은 집만 많이 만든다고 다가 아니라능  (´д`)

장한용 블소 AI를 예로 들어 보겠습니다. 데미지 위주의 학습을 하면 AI는 데미지량이 높은 스킬만 계속 사용하겠죠? 하지만 비무에서는 상태 이상기나 회피기도 상당히 중요합니다. 그런데 이 액션들을 학습시킬 때 상태 이상기는 몇 점, 회피기는 몇 점 이런 식으로 액션마다 보상을 하나하나 넣기 시작하면 굉장히 복잡해집니다. 그래서 승패에만 보상을 주는 것이 요즘의 개발 추세입니다.

이재준 기계학습에 대해 많이들 하시는 오해 중 하나는 내버려 두면 ‘알아서’ 학습할 거라고 생각하는 건데, AI 기계학습은 자동이 아닙니다. 어찌 보면 예술의 영역이라 표현할 수 있을 만큼 엔지니어의 공력이 소모되죠. 왜, 공밀레라고들 하잖아요(웃음). 딥마인드도 저기까지 이르는 데 굉장히 많은 노력을 했을 거고요.

눈물이안나는사람인데

AI가 왜 이렇게 정교한가 했더니 연구자 가루가 들어갔네 허허허

Q3. 하사비스가 다음 대결 종목은 스타크래프트라고 하던데, 실시간으로 상황에 대응하면서 무한한 경우의 수를 컨트롤을 해야 하는 게임에도 알파고의 현재 알고리즘을 적용할 수 있을까요? 

이경종 바둑은 수학적으로 잘 정리된 하나의 문제와도 같습니다. 스타크래프트의 경우 복합적으로 풀 문제가 많아서 바둑과는 다른 해결법이 필요할 것 같아요. 사람이 직접 스타를 할 때만 해도 트리부터 공격 타이밍, 포메이션까지 성격이 다른 여러 가지 문제들을 고민해야 하죠. 그래서 알파고 알고리즘을 그대로 붙이는 건 어려울 것 같고, 스타크래프트의 문제를 잘게 쪼개서 명확하게 정의해야 할 것 같습니다. 국지상황에서의 5:5 컨트롤 싸움이라면 바둑 문제와 비슷하게 풀어볼 수도 있을 것 같네요.

정지년 바둑과 스타크래프트는 완전히 다른 게임이니 다른 방법론이 필요하겠죠. 하지만 복잡한 문제의 변이에 제한을 주어서 최적화된 솔루션을 찾을 수 있도록 한 아이디어는 스타크래프트에도 동일하게 적용할 수 있을 것 같아요.

이재준 스타크래프트 관련 기사 중에 제일 당황스러웠던 게 뭐였는지 아세요? 구글에서 스타크래프트용 AI를 만들 때 맞닥뜨릴 가장 큰 난제가 키보드를 컨트롤할 수 있는 정밀한 로봇팔을 개발하는 것이라는 기사였습니다. (일동 폭소!!)

로봇팔

마린 한 마리로 럴커 잡는 ‘신컨’을 구현할 수 있는 로봇팔의 개발이 핵심?! (아님)

 

Q4.알파고로 인해 AI 연구의 성배가 하나 깨진 셈인데, AI 연구자들의 다음 굵직한 목표들을 해 주신다면요?

이재준 굵직한 목표라 말씀하시니 갑자기 부담이 밀려오네요(웃음). 역시 가장 큰 목표라면 ‘사람 같은’ AI 겠죠. 사람에게 도움을 주는 약인공지능도 포함해서요. 굉장히 어려운 문제라고 생각합니다.

김석원 암 등의 질병을 분석하는 분야나, 개인 비서 등을 포함한 인텔리전스 사무보조 업무에 대한 대안으로서의 AI 개발도 과제가 될 것입니다.

이재준 언어 문제도 빼놓을 수 없죠. 언어 인식이나 받아쓰기, 통번역의 경우 시장 수요가 많기 때문에 빠르게 시도되지 않을까 합니다.

 

Q5. AI로 사라질 직업에 대한 이야기가 많은데요, 게임 개발 직군 중 가장 먼저 사라질 직군은 무엇일까요? (전원 대폭소) 마지막까지 살아남을 직군이 무엇일지도 궁금합니다

김석원 외부인인 제가 대답하는 게 제일 안전하지 않을까요?(일동 웃음) 최근 다보스 포럼에서 ‘향후 5년간 직업 생태계에 가장 큰 영향을 주는 요소가 무엇일까’ 라는 설문조사를 했는데, 의외로 AI는 매우 낮은 순위를 기록했습니다. 재택근무, 원격회의, 개발도상국 중산층 부상, 여성 권위 신장 등등의 요소가 상위권을 차지했고요. 2020년 즈음에는 외려 AI보다는 디지털화, 자동화로 인해 사무보조직이 큰 비중으로 줄어들 것이라고 예측했습니다.

러다이트 운동

AI고 뭐고 내 직장을 뺏는다면 제2의 러다이트를 맛보게 될 것이다!

 

Q6. 블소에도 AI가 적용되어 있는데요, 알파고와 직접적인 비교는 어렵겠지만 장단점은 무엇인가요? 이와 관련된 엔씨소프트의 관심 영역 및 기술도 궁금합니다

이경종 블소에서는 30~40개 가량의 스킬을 사용할 수 있는데요, 그 스킬 중 하나를 선택하는 기술을 연구하고 있습니다. 블소는 바둑에 비해 게임 규칙이 훨씬 복잡하고 불확실성 요소가 많죠. 바둑은 수를 한 번 두면 결과가 명확하지만, 블소는 상대방을 타격했을 때 이게 치명타가 될 수도 있고, 빗나갈 수도 있고, 예상했던 것보다 데미지를 덜 줄 수도 있고, 여러 개의 액션이 동시 실행될 수도 있으며 자의 또는 타의로 액션이 취소될 수도 있으니까요.

복잡한길블소의 문제는 생각보다 더 복잡하답니다

이경종 이런 복잡한 상황이 학습모델을 만들기 어려운 이유 중 하나죠. 또 바둑은 최소 몇 십초 가량의 선택 시간을 주는데, 블소는 실시간으로 1미리세컨 이내에 답이 나와야 되니까요. 바둑과는 여러모로 다릅니다.

이재준 AI CENTER는 현재 ‘디시전 메이킹’에 집중하고 있습니다. 무한의 탑도 그 맥락에서 생각하시면 되고요. 지금 상황에서 최선의 선택이 무엇인지를 찾는 것이고, 방법론 차원에서는 강화학습과 기계학습에 관심을 가지고 있습니다.

Q7. 블소에 적용된 AI의 경우 유저를 이기기만 하면 오히려 유저에게 부정적인 요소를 줄 수 있을 것 같은데, 그런 부분까지 고려돼 있나요? 

이준수 사실 저희가 개발 시작할 무렵에는 이 부분을 신경 쓰지 못했어요. 그러다가 내부적으로 진행한 평가에서 상당히 안 좋은 피드백을 받았고, 이에 대해 많은 게임 전문가의 도움을 받아 말씀 주신 부분을 추가하는 형태로 구현하려 노력 중입니다.

페이스팜

AI에게 지기만 하는 고객님 마음 미처 생각치 못했다는…하지만 지금은 정말 신경 쓰고 있다는…

 Q8. 엔씨의 게임들이 딥러닝에 적절한 양과 질의 빅데이터를 확보하고 있다고 보시나요?

정지년 딥러닝에서 제일 중요한 건 모델의 발전입니다. 새 구조가 제안되어야 비로소 그 뒤에 데이터와 컴퓨팅 파워, 그리고 학습 기법이 따라오는 것이죠. 데이터는 물론 중요합니다. 무한의 탑도 유저 데이터를 활용할 거고요. 하지만 이 문제를 어떻게 구조화할 지 고민하고 설계하는 것이 가장 중요하다고 생각해요. 많은 연구와 시도가 있고, 그 위에 데이터가 합쳐졌을 때 만족할만한 결과를 얻을 수 있겠죠.

 

Q9.게임은 재미라는 가치가 가장 중요한데, 재미는 주관적이어서 점수화하기도 어렵고 똑똑한 AI가 재미있다고 볼 수도 없을 것 같아요 

이경종 저희도 재미라는 부분에 대한 숙제를 풀었다고 보지는 않습니다. 지금은 플레이테스트를 통한 정성평가에 의존하고 있는 상황이고요. 이에 대해서는 계속 고민하고 있어요. 게임에 나타나는 정량적 지표들과 사용자 플레이에서 나오는 정성적 지표들 간의 관계를 분석한다든지 하는 것들을 구상 중입니다.

재미(수정)재미가 무엇인지 명확하게 나타낼 수만 있다면, 만들 수도 있는 것 아닐까요!+ㅂ+

 

Q10. 무한의 탑 이후 게임 내 AI적용 계획이 궁금합니다 

이준수 바둑도 그렇고 무한의 탑도 그렇고, 사람 대 AI가 문제로서는 재미있는데 서비스로 내놓았을 때 재미가 좀 떨어지는 것 같습니다. 그래서 AI와 유저가 함께 싸우는 문제를 고민하고 있어요. 유저의 동료나 부하로서 함께 싸우는 AI, 이런 것을 구현하기 위해 애쓰고 있습니다.

소환수고양이

지금보다 더 강력하고 더 믿음직한 소환사 고양이를 만날 수 있게 되겠죠!


진지하면서도 유쾌한 분위기 속에서 진행된 알파고 강연과 AI 대담, 두 시간이 언제 갔는지도 모를 만큼 흥미진진한 내용들로 가득했습니다 >_<

구글의 알파고가 모두를 놀라게 했듯, 엔씨의 AI가 블소로 세상을 깜짝 놀라게 하며 게임시장의 새로운 지평을 개척할 그 날이 오기를 기대해 봅니다. 😀