2020.06.01 SCIENCE to the Future

SCIENCE to the Future #5 변치 않는 진리를 찾는 수학자, 최영주

과학자들의 순수한 열정과 호기심은 새로운 세상으로의 도약을 이끌어 왔습니다. 그들은 세상에 없던 문제를 만들기 위해 상상력을 발휘하고, 문제를 해결하기 위해 탐구하고 인내합니다. 그렇게 발견한 새로운 진리는 혁신적인 기술의 토대가 되어왔습니다. 과학자들이 혁신을 이끌어 왔다면, 그럼 이들의 상상력과 열정은 모두 어디에서 샘솟은 것일까요.

사회의 다양한 문제를 과학의 힘으로 해결하는 연구자들의 이야기 <SCIENCE to the Future>. 다섯 번째 인터뷰는 포항공과대학교 수학과 최영주 교수입니다. 그는 대통령 직속 국가 과학기술자문회의 심의 위원, ‘닮고 싶은 과학기술인’ 상 수상, 미국 수학회 펠로우 등 수학계 일선에서 활발하게 활동하는 정수론의 대표 수학자이자, 아직까지 난제를 풀기 위해 밤새워 애타하는 연구자입니다.

그와 함께 불변하는 수학의 아름다움을 이야기해봅니다. 평생을 연구하고도, 아직 짝사랑 상대라는 수학의 매력이 무엇인지 같이 들어봅니다.

SCIENCE to the Future #5 변치 않는 진리를 찾는 수학자, 최영주


최영주
포항공과대학교 수학과, 엔씨소프트 사외이사
(http://yjchoie.postech.ac.kr/)

정수론을 전공하고, 보형 형식의 주기 이론을 통한 산술의 근본 이해와 정수론 연구를 바탕으로 정보 통신과 암호 이론의 응용에 기여했다. 2018년 대한수학회 학술상 수상, 2008년 닮고 싶고 되고 싶은 과학기술인 선정, 한림원 정회원 선정, 한국여성수리과학회 회장 역임 등 수학 분야의 일선에서 활동하며 그 공로를 인정받았다. 또한 <국제 정수론 저널>의 초대 편집위원, 미국 수학회 Fellow 선임 등 국내외 활발한 연구 활동으로 국내 연구 그룹의 국제 인지도 향상에 기여했으며, 인재 양성에도 힘쓰고 있다. 올해 2020년 3월부터는 엔씨소프트의 사외이사로 활동하고 있다.



수학의 여왕, 정수론


전공 분야인 정수론은 어떤 학문인가.
수학에서 가장 근본이라고 할 수 있는 ‘수’를 이해하려는 학문이다. 즉, 수의 패턴이나 성질을 연구하는 순수수학의 한 분야다. 우리가 흔히 접하는 정수를 비롯해 소수, 유리수가 각각 어떤 성질을 가지고 있는지, 디오판토스 방정식에서 해를 구하는 방법이 무엇인지 등이 정수론의 주요 주제이다.

예를 들어, 정수는 일반적으로 소수들의 곱으로 쓰인다. 150이란 수를 보자. 이 숫자는 3 곱하기 50으로, 50은 다시 10 곱하기 5로, 그다음에 10은 2 곱하기 5로. 이렇게 쪼개다 보면 모두 소수의 곱으로 나타낼 수 있다. 그렇다면 150보다 훨씬 큰 수는 얼마나 많은 소수로 나타낼 수 있으며, 소수들 사이에는 어떤 규칙이 있을까. 수는 무한한데 소수 또한 무한한 것일까. 정수론은 이렇게 수에 관한 궁금증을 풀어나가면서 그 성질을 연구한다.

2018년 보형 형식의 주기 이론을 개발·정립해 ‘미국수학회 메므와즈’에 발표했고, 이를 통해 정수론의 최대 난제로 알려진 L-함수 연구의 새로운 방향을 제시했다고 들었다.
많은 수학자들이 풀고 싶어 하는 문제 중 오랫동안 해결되지 않은 문제들을 난제라고 한다. 아직 수학계에는 난제들이 많고, 세계의 수학자들이 이 문제들을 증명하기 위해 도전하고 있다.

이 연구의 아이디어는 어떤 특정 값을 이해해야 할 때, 그 값을 극한 값으로 이해하는 방법을 제시한 것이다. 예를 들면, 어떤 값이 5라는 걸 알기 위해서는 5에 근접한 수들을 공부한다. 그래야 5의 특성을 알 수 있기 때문이다. 이런 방향으로 연구하면 난제를 풀 수 있지 않을까 하고 제시한 거다.

수학은 푸는 과정이 굉장히 중요하다. 정수론의 문제를 해결하려면 수학의 여러 방법이 동원된다. 그 과정에서 정수론과 연관이 없을 것만 같은 새로운 방법을 연결하는 게 중요하다. ‘코끼리의 몸을 알기 위해서는 쥐의 간을 연구하면 된다’는 말이 엉뚱하게 들리지만, 이런 새로운 연결 속에서 문제 해결의 실마리를 찾는 것이 수학자들의 창의성이다.

정수론은 수학은 물론 다양한 분야에 응용 가능한 학문이라고 한다. 일상 속에서 수학이 어떻게 활용되는지 우리가 체감할 수 있는 예가 있을까.
대표적으로 최첨단 암호 응용에 정수론이 사용된다. 정수론에서는 답을 알면 쉽고, 모르면 어려운 문제들이 많다. 예를 들면, 여러 복잡한 식들을 주고 식을 모두 만족하는 해를 찾는 일은 어렵다. 하지만 답을 주고 그 답이 식들을 만족하는지 확인하는 작업은 쉽다. 이런 것을 트랩도어 일방향함수라 하는데, 이런 쉽고 어려움을 공개키 암호 알고리즘에 적용하는 것이다. 여기에 최첨단 정수론 이론을 응용하면 암호의 보안 유지와 경비 문제를 동시에 해결할 수 있다.

또, 오류 정정 부호라는 게 있다. 우리가 인터넷 통신이나 전화, 또는 화상으로 대화를 할 때, 잡음이나 오류가 섞인다. 그런 잡음을 거르고 원래의 메시지만 들어가도록 하는 것에도 정수론이 쓰인다. 고급 정수론을 사용하면 이런 오류들을 경제적, 효율적으로 걸러낼 수 있다.

정수론과의 또 다른 융합을 기대할 수 있을까.
그런 연결 고리를 찾는 게 우리 수학자들의 연구 과제다. 90년대 초까지만 해도 정수론은 완전 순수 수학으로 여겨져 다양하게 응용할 수 있다고 생각하는 사람들이 드물었다. 독일의 수학자 가우스는 정수론을 “Queen of Mathematics.” 수학의 여왕이라 칭했다. 왜 왕이 아니라 여왕이라고 했을까? 왕이라 하면 ‘Power’가 떠오르는데, 여왕은 ‘Charming, Shining’ 이런 아름답고, 우아한 매력이 떠오른다. 그런 의미로 “수학의 여왕”이라는 표현을 존재 자체가 아름답다는 뜻으로 해석했고, 난 이 말에 매우 공감한다.

현재 대학에서 가르치는 미적분학은 나온 지 벌써 300년이 지난 이론이지만, 공학에서는 뺄 수 없는 기본 이론이다. 이 말은 수학은 그만큼 실생활에 직접적인 응용이 더디다는 것이다. 그럼에도 불구하고 수학이란 언어가 없으면 과학은 발전할 수 없다. 어려운 수학을 우리가 이해하기 쉽게 만들 수만 있다면, 새로운 연결 고리들이 더 많이 나올 것이다.


“영원히 변치 않는 진리”는 나를 아직도 가슴 뛰게 한다


수학자의 길을 걷게 된 계기는.
수학이란 과목이 너무 좋아서 ‘수학자가 되어야겠다.’라는 생각이 있었던 건 아니다. 직업에 대한 관심보다는 ‘영원히 변치 않는 진리가 있을까’라는 궁금증으로부터 시작되었다. 중학생이 되어 처음 맞은 어느 가을날, 인생의 모든 것이 변한다는 생각에 마음을 온통 빼앗겼다. 모든 일에는 절대적 진리가 없다는 깨달음에 인생이 참 허무하다는 생각도 들었다. ‘시간이 지나도 변하지 않는 진리는 없을까?’라는 질문에 거듭 고민했고 그 끝에 내린 대답이 ‘수학’이었다.

어릴 적 그 마음이 오랜 기간 수학계에 몸담게 한 것 같다.
아직도 나는 ‘불변의 진리’를 찾는다. 그리고 그 과정이 아직 설렌다. 대학원 때 전공 강의를 들으면서, 이론이 아름답게 전개되는 것에 홀딱 반해 ‘정수론’ 연구에 평생을 바치고자 결심했다. 단지 일이기 때문에 연구한다면 밤을 새우며 하지 못할 것이다. 수학을 연구하는 친구들 모두 같은 설렘을 가지고 ‘오늘은 이 문제가 풀릴까’ 애를 태우며 밤새워 연구한다.

우리는 많은 난제들의 답을 예측한다. 그것을 어떻게 수학적으로 증명할 것인가의 문제이다. 미해결된 난제들은 아직 무수히 많고, 오랫동안 연구해도 99%는 풀리지 않았다. 그래도 설레는 가슴을 안고 매일 도전한다. 최근에 쓴 논문은 20년 동안 꼭 풀고 싶었던 문제였다. 맞았다고 생각했는데 틀렸다. 하지만 ‘길이 있겠지.’ 그런 희망과 좌절의 반복으로 연구했고, 마침내 해결되어 참 기뻤다.

수학은 특별한 재능이 필요한 학문이라고 생각될 때가 있다.
물론 이 분야에는 천재들이 있다. 하지만, 그렇게 많지는 않다. 타고난 재능보다는 수학을 좋아하고, 애닮 파하는 마음이 있으면 된다. 30여 년 전 세기의 천재 수학자로 알려진 교수님의 연구실에서 포닥(Post Doctor)을 했었다. 그분도 언제 잠을 자나 할 정도로 연구에 많은 시간을 투자하셨다.

사랑도 계기가 있어야 하듯, 수학도 좋아하는 계기가 있는 게 중요하다. 나는 수학을 떠올리면 가슴이 설렌다. 아직도 목마름이 많다. 가까이 가기에는 너무나 먼 당신 같다. 그런 짝사랑 같은 마음이 나를 연구실에 붙잡아 두는 것 같다.

수학이 사회에 미치는 영향을 실감한 적이 있는지.
수학은 공기와도 같다. 현대 사회의 모든 것에 영향을 미친다. 인터넷의 보안, 건물의 전기나 정보부터 성큼 온 무인 자동차 시대, 우주 개발, 현재는 미지의 세계인 기후 변화 예측 등 모든 게 수학을 바탕으로 이루어져 있다. 우리는 너무 많은 혜택을 받으면서도 그걸 잘 모른다. 공기의 중요성을 모르는 것과 같다.

그럼 수학은 앞으로 사회에서 어떤 역할을 하게 될까.
수학을 이해하는 사람들이 많아지면 수학의 역할은 점점 강해질 것이다. 현재도 AI 등 첨단 기술은 근본적으로 수학을 기초로 한다. 특히 공학 전공자들은 수학을 많이 아는 게 중요하다. 고급 수학을 사용할수록 경제성, 효율성, 안정성은 높아진다. 대표적인 게 데이터 처리 분야이다. 이전이나 현재도 통계학이나 선형대수의 기법을 사용하지만, 위상수학이라는 고급 추상 수학을 사용하면 더욱 효능이 좋아진다.

문제를 만들고 답을 찾아가는 수학이야말로 크리에이티브 한 영역이라고 느껴진다. 연구 주제를 설정하는 것도 아이디어가 필요할 거 같은데, 주로 어디서 얻는가.
사람을 통해서 얻는다. 사람들을 만나고, 논문을 보고, 종합해 자신의 생각을 만들어 길을 개척하는 것이다. 수학자들은 워크숍에 참석하고, 학회에 서로 초청하고 방문하면서 수시로 만나 아이디어를 얻는다.

그리고 논문을 본다. IT 나 공학, 이런 분야의 논문은 5년만 돼도 ‘Out of date’이다. 하지만 수학은 미적분 이론만 해도 300년 전 것이다. 우리는 200년, 300년 전의 논문을 보고도 영감을 얻는다.

SCIENCE to the Future #5 변치 않는 진리를 찾는 수학자, 최영주


수학은 상상력으로 발전한다


연구와 더불어 국제 학회 및 위원회를 조직하고, ‘한국 수학회지’의 편집장뿐만 아니라 수학 학교를 여는 등 인재 양성에도 힘쓰고 있다. 이런 활동을 적극적으로 하는 이유가 있다면.
때로는 의무감에 때로는 재미가 있어서다. 교육자이기에 인재 양성을 위한 일은 의무라고 생각한다. 또, 젊은 사람들과 대화하는 걸 좋아한다. 젊은 사람들과 대화하면서 연구의 활력을 서로 주고받기 때문이다.

또한, 수학은 새로운 발견 속에서 발전한다. 여기에 필요한 창의력은 다른 관점에서 바라볼 수 있는 시각이다. 엉뚱한 관점으로 이론을 바라볼 수 있어야 한다. 그래서 젊은 사람들과 대화하는 게 중요하다. 워크샵에서는 주로 영어를 사용하는데, 존댓말을 사용하지 않으니까 서로 평등하게 의견을 주고받는다. 시니어도, 주니어도 틀리면 “You are wrong.”하고 다시 이야기한다. 서로 크리티컬한 이야기도 자유롭게 할 수 있는 분위기가 새로운 아이디어를 만든다. 수학뿐만 아니라 공학이나 물리학자들이 이야기하는 것을 들으며, 도대체 저 사람들은 어떤 수학을 많이 사용하는지를 듣는 것도 재미있다. 요즘은 인문학 하는 분들이 어떤 생각을 하나 들어보는 게 재미있다.

평생 수학을 연구한 학자가 엔씨의 사외이사가 되었다. 수학과 게임의 만남에 대한 기대감이 있다면.
수학자는 상상력을 통해서 새로운 진리를 찾는 개척자다. 엄밀한 증명을 통해서 진리를 구체화시킨다. 그런 의미로 수학자는 개척의 선두에 있다고 할 수 있다. 기업은 학문의 속성과는 달리 현실적인 방법으로 개척해 나간다. 컴퓨터 게임은 상상을 통해서 우리가 해보지 못한 경험을 주고 그 경험으로 사람들에게 즐거움을 준다. 상상하고 개척하는 게 수학과 일맥상통한다고 생각한다. 수학은 사실이야 아니냐를 찾아가는 게임이다. 현존하는 최고 수학자인 Jean-Pierre Serre 교수는 “수학은 진실게임이다.”라고 말하기도 했다.

그렇다고 지금 사외이사로 내 역할이 어떨지 확신할 수 없다. 하지만, 국내 최고의 벤처 기업을 넘어 엔씨가 세계를 대표하는 기업으로 우뚝 서는데 아주 조금이라도 함께 할 수 있으면 행복하겠다.


2천 년이 지나도 변치 않는 진리, 피타고라스의 정리처럼


교수님에게는 ‘최초’라는 타이틀이 많이 붙는다. 존경심이 듦과 동시에 그만큼 현실적으로 어려운 일도 많았을 거라 예상된다. 수학자의 길을 걸으며 가장 큰 어려움을 만났을 때는 언제였는가.
아무래도 아이들이 어렸을 때지 싶다. 육아 때문에 때맞춰 집에 가야 했고, 출장도 자유롭게 가지 못했다. 갑자기 아프기라도 하면 큰일이었다. 이런 일은 계획할 수 있는 게 아니라, 현실적으로 부딪혀야 하는 어려움들이었다. 더군다나 30년 전에는 포항공과대학교 전체 캠퍼스에서 내가 유일하게 임신한 사람이었다. 그때는 주위에 유아원도 없었는데 다행히 시어머니가 많이 도와주셨다. 시어머니에게 어려움을 털어놓거나 하면서 도움을 많이 받았다.

하지만 수학자의 길을 후회했던 적은 단 한 번도 없다. 지금 생각해보면 어려웠던 일도 모두 기쁨이었다. 난 아직도 10대 때 가슴 설레며 찾아 헤맸던 “영원히 변치 않는 진리”를 찾는 게임을 하고 있다.

평생 수학이란 학문을 연구하고 알리려고 노력하셨다. 수학의 매력은 무엇인가.
수학은 아름다운 진리다. 이 세상 어떤 삼각형이라도 변 사이의 관계식을 확인하면 직접 각을 재보지 않고도 직각 삼각형인지 아닌지 알 수 있다. 이런 사실이 놀랍지 않나. 그리고 수학은 증명하는 방법이 굉장히 많다. 피타고라스 정리의 증명만 해도 300개가 넘는다. 답을 찾아가는 길은 모두 다르지만, 그중에서 가장 멋진 길을 찾는다. 눈에 보이지 않아도 가슴을 설레게 하는 아름다움이 존재한다.

아직 이루지 못한 꿈이 있는지. 혹은 어떤 사람으로 기억되고 싶은가.
수학자가 되는 게 꿈이라고 생각해본 적이 없다. 그렇지만 현재 수학자라서 행복하다. 아직 찾고 싶은 진리를 못 찾았기에 꿈을 이뤘다고 하기에는 어렵지만, 학생들이 세상에 도움이 되는 인재로 성장하는 모습을 볼 때 가장 큰 즐거움과 행복을 느낀다.

바람이 있다면, 나를 기억하는 것보다는 내가 만든 이론이 기억되고 싶다. 내가 그랬던 것처럼 500년이 지나도 누군가 나의 논문을 읽고 영감을 받았으면 좋겠다. 그리고 이제 후배들이 꿈을 함께 할 수 있도록 도움이 되었으면 한다. 꿈은 아직도 현재 진행 중이다.

* 본 인터뷰에서 언급되는 내용은 인터뷰 당사자의 개인적 견해이며, NCSOFT의 공식 입장이 아님을 밝힙니다.

TOP