[2019 메이커] GAN 알고리즘 고도화해 예술 작품을 만들고 싶어요

재미난 물건, 재미난 일, 재미난 일상을 ‘만드는’ 사람들이 있습니다. 메이커 페어 서울은 매년 만드는 사람들이 모이는 축제입니다. 메이크 코리아가 만난 축제의 주인공과 작품의 이야기를 들어보세요. 가슴 깊은 곳에 무엇인가를 만들고픈 열망을 간직한 어른이, 꿈 많은 청소년과 어린 친구들을 모두 환영합니다.

“GAN 알고리즘을 고도화해 예술을 만들어내고 싶어요!”
도쿄애니메겐(TokyoAnimeGAN) & 마인메이즈II(MineMazeII) 제작자 강태원 메이커

세종과학예술영재학교 3학년에 재학 중인 강태원 메이커는 인공지능(AI) 분야 특히 GAN 알고리즘 분야 연구에 매진하고 있다. 메이커 페어 서울 2019에 출품하는 ‘도쿄 애니메겐’은 GAN 알고리즘 기반의 관람객 얼굴을 일본 애니메이션 캐릭터로 생성하고 출력할 수 있는 작품이다. 또 다른 작품은 오로지 집중력만으로 마인크래프트 미로를 통과하는 ‘마인메이즈Ⅱ’다. 메이커 페어 도쿄와 방콕 등 해외 메이커 페어 참여 경험이 많은 강태원 메이커가 만들어가는 삶을 들었다.

| 강태원 메이커가 마인메이즈II를 들고 엄지를 치켜세우고 있다.

도쿄애니메겐과 마인메이즈Ⅱ에 대해 설명 부탁드려요.

도쿄애니메겐은 딥러닝 GAN 알고리즘을 기반으로 동작하는 프로젝트예요. 관람객이 얼굴을 찍으면 얼굴의 생김새를 반영해서 기존에 없는 일본 애니메이션 캐릭터를 생성해 영수증 프린터로 출력해주죠.

마인메이즈Ⅱ는 마인크래프트를 이용한 뇌파 미로 게임인데요. 주로 마우스와 키보드를 쓰는 일반 마인크래프트와 달리 입력장치 없이 오로지 뇌파의 집중력만을 이용해 마인크래프트의 스티브를 움직일 수 있어요. 뇌파로 제한 시간 내에 미로를 통과하는 방식이에요.

도쿄애니메겐은 어떤 과정으로 만들어냈나요?

중학교 때부터 시각장애인을 위한 이미지 설명 프로그램을 개발하면서 인공지능에 관심이 생겼고요. 2018년에는 연구를 중점으로 하는 영재학교에서 인턴십과 자율연구를 진행하면서 학습한 데이터를 바탕으로 새로운 이미지를 생성하는 GAN 알고리즘에 흥미가 커졌어요.

이때 “AI가 예술을 할 수 있을까?”라는 의문에 GAN 알고리즘을 기반으로 의인화 캐릭터를 제작하는 작업을 시작했어요. 미키마우스같이 사람을 닮은 기존 캐릭터뿐만 아니라 나를 닮은 일본 애니메이션 캐릭터를 새로이 만들어주는 기기가 있으면 재미있겠다고 생각했죠.

처음에는 정치인과 연예인 이미지를 일본 애니메이션화해봤는데 생각보다 재미있는 결과가 나오더라고요. 그래서 의인화 캐릭터 제작의 서브 프로젝트로써 도쿄애니메겐을 제작한 거예요.

도쿄애니메겐을 만들고 GAN 알고리즘을 연구하며 얻고자 하는 바는 무엇인지요?

단순한 의인화 캐릭터를 생성하는 어시스턴트 AI 제작 이상의 딥러닝의 이론적인 측면을 제가 고도화해 보고 싶다는 마음이 컸어요. 그래서 GAN 알고리즘을 이용한 이미지 대 이미지 변환(Image-to-Image Translation) 분야에서 전에 시도되지 않던 Self Attention 메커니즘을 새롭게 Image-to-Image Translation에 적용해봤어요.

Image-to-Image Translation을 설명하자면 말 그대로 특정 인풋 이미지가 들어가면 그걸 목표한 다른 이미지로 변환하는 기술이에요. 이 알고리즘은 예전에 화제가 된 풍경 사진을 고흐의 풍으로 변환하는 등 스타일 변환 영역에서는 최적의 결과를 도출하는데요.

그러나 아직 이 분야에서는 사람을 개나 고양이로 바꿀 때 Strong Geometry Change를 동반하는 문제에서 아직 최적의 결과를 도출하지는 못했어요. 선행연구에서는 이미지 특징을 제대로 반영하지 못하거나 이미지가 깨져서 나오는 문제가 있었고요.

이 같은 문제점을 해결하고자 Self-Attention 메커니즘을 Image-to-Image Translation에 적용하고 이를 고도화한 거예요.  ‘arXiv’에 관련 자료가 있으니 궁금한 분들은 참고하면 좋을 것 같아요.

그럼 도쿄애니메겐을 다룰 때 어려웠던 점은 어떤 거였나요?

도쿄애니메겐에 사용될 데이터를 구하기가 어려웠어요. 그리고 GAN 알고리즘이 굉장히 변수가 많은 알고리즘이라 전시장의 명암, 채도 등 부스의 환경에 따라 결과 이미지가 잘 나오지 않기도 했고요. 그래서 처음에는 하얀색 가벽을 배경으로 설치했는데요. 현재는 얼굴 탐지(Face Detection) 기능을 추가해 주변 요소가 결과 이미지 제작에 끼어들지 않게끔 했고 최종적으로는 부스에 두던 하얀색 가벽을 아예 없애는 것이 목표예요.

| 지난해 제작된 TokyoAnimeGAN의 프로토타입 기기 (사진=강태원)

마인메이즈II 작동 원리도 궁금해요.

뇌파 기기를 통해 전극 인풋을 받고 뇌파 장비와 임베디드 기기가 서로 OSC 스트리밍으로 연결되는데요. 그 후 집중력과 관련된 알파파, 베타파, 감마파 등의 뇌파 값을 감지해 집중 여부에 따라 마인크래프트 속 캐릭터가 움직이도록 했어요.

마인메이즈II를 만들게 된 동기는?

언젠가 영재원에서 뇌파 장비를 다룰 기회가 있었는데요. 이를 게임화하고 싶다는 생각에 처음에는 친구들과 지오메트리대시라는 리듬게임에 적용해봤어요. 스페이스바를 눌러서 타이밍에 맞게 점프하고 한 번이라도 떨어지면 그냥 끝나는 게임을 뇌파로 조종하도록 한 건데요. 생각보다 반응은 좋았으나 집중력의 개인차에 따라 컨트롤 능력이 천차만별이 되는지라 순간적으로 반응해야 하는 리듬게임에 쓰기에는 어려울 것 같았어요.

그렇다면 대안으로 마인크래프트를 쓰면 어떨지 생각해서 열심히 맵을 만들어서 시연해봤어요. 초기에는 맵이 많이 어려워서 갈림길이 15개나 있고 5-60분 걸려서야 간신히 깰 수 있었는데요. 올해 메이커 페어에서 체험할 맵은 대부분 제한 시간 3분 중 2분 안에 깰 수 있고, 빠르게는 1분30초 내외로 깰 수 있게 바꿨어요. 더 많은 이들이 금방 편하게 즐기게끔 난이도를 조절한 거죠.

다른 페어에서 마인메이즈II와 도쿄애니메겐을 선보였을 때 반응은 어땠나요?

메이커 페어 도쿄에서도 시작하자마자 “마인크래프트다!”하며 달려오는 아이들이 많았어요. 덕분에 3시간 동안 서서 하나하나 체험을 도와줘야 했죠. 뇌파 기기를 장착하고 떼는 시간까지 합하면 1인당 5분 정도가 걸리잖아요. 그렇게 해서 하루에 100여명이 체험을 했어요. 반응은 폭발적이었어요. 스스로 손으로 아무런 조작도 하지 않는데 자기 집중력만으로 캐릭터가 앞으로 간다고 생각하니까 마치 로봇을 조종하는 듯 신기하면서 희열을 느낀 것 같아요.

도쿄애니메겐도 대부분 캐릭터 이미지가 괜찮게 나온 덕에 다들 좋아했어요. 특히 어떤 한 분은 자기 얼굴이랑 정말 닮은 캐릭터가 나왔다고 만족하며 원본 결과 이미지를 받아 가기도 했어요.

| 메이커 페어 도쿄 2018 현장에서 관람객들이 마인메이즈II를 즐기고 있다. (사진=강태원)

도쿄와 방콕 메이커 페어에선 눈여겨 본 것이 있다면?

메이커 페어 도쿄에서는 낮 열두 시에 시작하려는 순간이 기억에 남았어요. 도쿄에서는 ‘땡’하는 종소리와 함께 “메이커 페어가 곧 시작합니다”라며 안내방송이 나왔거든요. 그러니까 메이커들이 다 같이 기립 손뼉을 치면서 시작하는 거예요. 특히 로봇 분야의 전시들이 굉장히 수준이 높았고 인상적이었어요. 또 메이커들의 경험이나 기술을 서적으로 출판하고 그 자리에서 완판되는 모습들을 볼 수 있었어요.

방콕의 경우는 날씨 특성상 낮보다는 밤에 뛰어놀며 할 만한 것들이 많이 나왔어요. 광선 검을 비롯해 저는 네오픽셀 가방을 만들어 가져가기도 했어요. 그런 식으로 LED 불빛을 반짝이며 같이 놀았죠. 1일차가 끝나가는 밤에는 퍼레이드가 펼쳐져서 축제처럼 전 참가자들이 함께 즐겼고요. 이렇듯 나라마다 지역마다 메이커 페어에서 드러나는 문화도 조금씩 다르더라고요.

메이커 페어 서울 2019에서는 어떻게 부스를 꾸며 보여주고 싶은가요?

여러 사람들이 부스를 체험할 수 있도록 마인메이즈II는 뇌파 장비와 임베디드 기기 등의 요소가, 도쿄애니메겐은 얼굴 탐지(Face Detection) 기능을 업그레이드해 보여드릴 예정이에요.

그리고 우리 학교에서도 메이커 문화에 관심이 많고 ‘만들GARAGE’라는 메이커 동아리도 신설됐거든요. 저도 운영에 함께 참여하고 있는데 이번 연도에는 제가 동아리 학우들과 제작한 프로젝트도 전시할 예정이에요. 최근 메이커 페어에 어린이와 학생 관람객이 매우 많아졌는데 재미있는 전시를 보고 즐기면서 나도 만들어보고 싶다는 생각을 품고 돌아가는 이들이 많아졌으면 해요.

| 강태원 메이커가 메이커 페어 방콕 2019에서 광선 검 스포트라이트를 한 몸에 받고 있다. (사진=강태원)

강태원 메이커가 가고자 하는 목표는 무엇인지요?

GAN 알고리즘은 데이터 세팅이 매우 많이 필요하다는 단점이 있어요. 지금은 적은 데이터에서도 GAN 학습이 잘 되게끔 하는 연구도 추가로 진행 중이고요. 장기적으로는 컴퓨터 비전 분야를 더 깊게 공부하고 연구해서 컴퓨터 비전이라는 기술과 예술을 접목해 인간적인 따뜻함을 표현해낸 작품들을 많이 만들고 싶어요.

글·사진 | 장지원

The post [2019 메이커] GAN 알고리즘 고도화해 예술 작품을 만들고 싶어요 appeared first on Bloter.net.