LG CNS 블로그 독자 여러분 안녕하세요, 미디어 아티스트 송준봉입니다.
2017년, 직장인들의 마지막 희망이었던 추석 연휴는 잘 보내셨는지요? 주변에 여행 다녀온다고 하는 친구들도 많았는데, 요즘은 정말 여행 가기 딱 좋은 가을 날씨인 것 같습니다.
저희 팀은 10월에 묘하게도 중요한 전시들이 겹치는 바람에 연휴는커녕 주말에도 꼼짝없이 일해야만 했습니다. 그래도 밤에 야외 테이블에서 간단하게 맥주 한잔하는 낭만이 있어 나름 행복했던 것 같습니다. 그럼 완연한 가을 날씨와 더불어, (뜬금없이!) 예술과 기술 part 2, ‘Make Media Art’ 의 6번째 주제를 시작해 보겠습니다.
l Eye Writer, Free Art and Technology, the Graffiti Resarch Lab: Tempt1,
Evan Roth, Zach Lieberman,Theo Watson etc.,
Eye tracker + Graffiti Projection, 2010 (출처: http://eyewriter.org/)
예술과 IT - 인터랙티브 아트 : 카메라를 활용한 작업들
그가 할 수 있는 유일한 행동은 눈동자를 움직이거나 눈을 깜빡거려 간단한 의사소통을 하는 것뿐이었지요. 평소 ‘TEMPTONE‘ 의 팬이었기도 했던 사업가 Mick ebeling은 그 소식을 듣고 평소 ‘TEMPTONE‘과 같은 어려운 상황에 처해있는 예술가들이 다시 예술을 할 수 있도록 다국적 Team 을 구성하게 됩니다.
그 결과 Members of Free Art and Technology와 C++기반 오픈 소스 프로그래밍 개발 툴인OpenFrameworks 그리고 Zach Lieberman, Theo Watson 등 당시에도 상당히 유명했던 미디어 아티스트들로 구성된 일종의 드림팀이 만들어지게 되지요. 그들은 ‘TEMPTONE‘이 다시 Graffiti 작업을 할 방법을 찾고자 고민을 거듭한 끝에, 눈동자의 움직임으로 Graffiti를 할 수 있도록 하자는 결론을 얻게 되었습니다.
이를 위해서는 눈동자 추적 장치, 즉 Eye tracker가 필요했지만, 문제는 기존 Eye tracking system의 가격이었습니다. 당시만 해도 아주 저렴한 Eye tracker도 천만 원을 훌쩍 넘다 보니, 연구 용도가 아닌 일반인들이 구매하기는 불가능한 수준이었지요. 그래서 우리의 미디어 드림팀은 두 가지 목표를 세우게 됩니다. 첫 번째로 저렴할 것, 두 번째는 Open Source로 공개하여 개발된 기술을 모두가 공유할 수 있도록 하자는 것이었지요.
이를 통해 전 세계의 개발자들이나 Artist, 그리고 ‘TEMPTONE’과 같은 환자들이 스스로 Eye tracker를 만들고 그들의 Eye Art 작업을 공유할 수 있도록 하자는 것이었지요. 실제로 이 프로젝트는 다수의 미디어 페스티벌에서 소개되고 수상도 많이 하면서 전 세계적으로 알려지게 되었고, 이전까지만 해도 ‘넘사벽’이라 여겨졌던 Eye tracker를 저렴하게 누구나 만들어서 사용할 수 있다는 인식을 가져왔습니다.
실제로 필자 역시 2012년에 Eye tracker를 만들어서 미디어 작업에도 사용했었고, 더욱 놀라운 것은 그 경험을 통해 Eye tracking을 통한 UI 개발을 주제로 박사 졸업을 할 수 있게 되었죠.
l 필자의 Eye tracker에 얽힌 아름다운 추억들:
They are (definitely) Happy 작업(좌), Eye tracker를 사용한 UI 개발 논문 영상(우)
(출처: http://jbsong.com/)
또한, Eye tracker의 대중화에도 아주 중요한 역할을 했다고 볼 수 있는데, 이 프로젝트 이후로 저렴한 Eye tracker들이 시장에 나오게 되었고, 지금은 꽤나 유명한 개발사에서도 상당히 저렴한 제품들이 많이 나와서 10만 원대에서도 상당히 좋은 품질의 Eye tracker를 구매할 수 있게 되었습니다.
l 생각보다 뭔가 많이 있었던 우리 눈의 구조
(출처: http://www.theeyegalleryok.com/)
우선 Dark pupil을 소개해 드리자면, 그림과 같이 ‘동공’은 눈동자에서 빛을 통과시키는 일종의 구멍(hole)이기 때문에, 대부분 빛이 안구에 들어간 후 나오지 못합니다. 따라서 인종을 불문하고 모든 사람의 ‘동공’은 검은색인 것이지요. (조금 생각해보면 섬뜩하기도 하지요. 내 눈에 구멍이 있다니!)
그렇다면 눈 이미지에서 가장 검은색인 부분을 ‘동공’으로 인식해서 검출하면 되는데, 눈썹이나 그림자도 검은색이기 때문에 ‘동공’만 검은색으로 만들려면 강한 조명을 비추어 나머지 부분을 밝게 만들어야 합니다. 이때 가시광선을 비추면 눈이 버티지 못하기 때문에, 실제로는 우리 눈에 보이지 않는 빛인 적외선(Infrared, IR)을 비추고 이를 적외선 카메라로 촬영하는 방법을 사용합니다.
이렇게 되면 아주 쉽고 정확하게 ‘검은색의 동공’ (Dark pupil)을 추출할 수 있게 됩니다. Bright pupil extraction은 반대로 조명과 카메라의 위치를 동일 선상에 위치시켜 빛이 동공 안으로 들어갔다가 반사되어 나오도록 하는 방법인데요. 쉬운 예로는 카메라 플래시로 사진을 찍으면 나오는 일명 ‘빨간눈 사진’이라고도 불리는 ‘적목 현상’을 생각하시면 될 것 같습니다.
l 대표적인 Eye tracking 방법: Dark pupil & Bright pupil tracking
(출처: https://www.tobiipro.com)
Instructable page
l Eye Writer의 Hardware 구성 스케치 및 설계도(출처: http://eyewriter.org)
하지만, 우리는 모두 정말 바쁘고 스크롤의 압박을 견딜 수 없는 네티즌(아재의 단어인가요;;)이기 때문에, 여기서는 중요한 내용 중심으로 압축하여 설명해 드리도록 하겠습니다. 기본적으로 우리가 만들 하드웨어의 최종 형태는 ’사용자의 눈을 촬영하기 위해 IR 조명과 카메라가 부착된 Wearable Device’ 입니다. 이를 위해 필요한 준비물은 다음과 같습니다.
1. 안경 (또는 고글): 사용자가 착용할 수 있는, 가능하면 딱 맞아서 흔들리지 않는 안경
2. 카메라: 정확히는 IR 카메라가 필요합니다. 하지만 사용자가 착용할 수 있을 만큼 작은 상용 IR
카메라는 구하기 쉽지 않습니다. 따라서 이 프로젝트에서는 플레이스테이션 게임기용 카메라인 PS Eye 카메라를 개조해서 사용합니다. 개조하는 방법은 생각보다 간단합니다. 일반적인 디지털카메라의 빛 감지 센서인 CCD 나 CMOS 센서는 적외선 파장의 빛에도 반응하기 때문에, 아주 낮은 조도에서도 화상을 감지할 수 있습니다. 하지만, 사람이 볼 수 있는 빛의 파장은 가시광선 영역이기 때문에 보통은 IR 필터를 사용하여 이 부분을 차단합니다.
이 IR 필터를 제거하기만 하면 적외선 영역의 이미지를 볼 수 있을 텐데요. 일반적인 웹캠 등의 카메라는 렌즈에 필터가 코팅되어 있거나 하여 필터의 제거가 거의 불가능한 데 비해, PS Eye용 카메라는 IR 필터 렌즈가 따로 존재하기 때문에 제거가 ‘가능’합니다. 사실 Eye Writer 공식 페이지에서는 ‘센서나 당신이 다치지 않게 잘 제거한다’라고 간단히 나와 있지만, 사실 굉장히 어렵습니다.
Google 등에 ‘Remove PS eye IR filter’로 검색하면 동영상 강좌까지 있을 정도이니, 도전하실 분들은 미리 확인하고 진행하시길 바랍니다. 저도 몇 개의 카메라를 부수고 나서야 성공했었지요! 하지만 하드웨어 부분에서는, 이 부분만 잘 해결하면 특별히 어려운 것은 없으니 힘을 냅시다!
l PS Eye 웹캠의 IR Filter 제거(좌), IR LED 부착 후의 모습(우)
3. IR LED: 적외선 LED 조명이 필요합니다. ‘IR LED’나 ‘적외선 LED’로 검색하면, 생각보다 오픈 마켓에서 쉽게 구할 수 있습니다. 일반적으로 많이 사용하는 LED와 똑같이 생긴 것을 사용하셔도 되고, 야간 CCTV용으로 다수의 IR LED가 조립되어 나온 제품을 구매하셔도 됩니다. 대부분 5V 전원이 필요하고, 대략 4~5개 정도만 모여 있으면 충분한 밝기가 나옵니다. 저는 8개정도를 사용했습니다.
4. 철사, 전선, 만능 기판 및 납땜 장비 등: 미디어 아트를 만드는데 필수품입니다.
이제 구성도의 그림과 같이 조립을 진행하도록 합니다. PS eye camera의 렌즈 주위로 IR LED를 둘러주고, 미리 준비한 안경에 철사로 부착한 후, 눈 부분을 촬영할 수 있도록 조정하면 됩니다. 하드웨어의 형태는 사실 제작자의 마음이기 때문에 꼭 안경의 형태가 아니어도 괜찮습니다.
저 같은 경우는 앞서 말씀드렸듯이, 논문 주제가 Eye tracker였던 관계로 상당히 전문적인 수준의 하드웨어 제작을 진행했었습니다. 뭔가 Nerd 같은 느낌의 버전 1.0에서 3d printer로 설계한 하드웨어나, 주문 제작 IR webcam 등을 통해 당시에는 나름대로 판매 가능한 수준으로 Eye tracker를 만들고자 했습니다. 물론 하나도 안 팔렸다는 건 비밀입니다!
l 지금 보면 눈물 나는 필자의 저가형 Open source Eye tracker 제작 기록
l 자랑스러운 필자의Eye tracker최종 형태
(2) 소프트웨어 만들기
이제 소프트웨어를 만들 차례입니다. 앞의 하드웨어를 잘 만들었다면, IR LED에 의해 동공(Pupil) 부분만 아주 검게 이미지가 나타나는 것을 알 수 있습니다. 이 상태에서 아래 그림과 같이 몇 가지 필터링 과정(노이즈 제거 등)을 거치면 우리가 그토록 바라던 동공 부분을 추출할 수 있게 됩니다.
l 동공(pupil) 추출을 위한 Image Processing 과정
다수의 SW Filter를 거쳐야만 눈동자를 얻을 수 있다!
하지만, 이러한 고생을 할 필요 없이, 앞서 말했듯 Eye Writer는 c++기반의 오픈 소스 개발 toolkit인 openframeworks 기반으로 만들어져 공개되어 있습니다. 그래서 본래는 ‘그저 다운로드 받아서 사용만 하면 됩니다’ 라고 말하고 싶었으나, 이미 개발된 지 오랜 기간이 지난 터라 최근의 개발 환경으로는 컴파일이 되지 않는 불상사가 발생합니다!
물론, 열심히 에러를 잡아가며 문제를 해결하는 것도 좋은 방법이겠지만, “누구나 쉽게 만들 수 있어요!”라고 할 수는 없기 때문에, 가장 간단한 Eye tracking Graffiti 프로그램을 만들어 보기로 합니다.
개발 툴은 블로그에서 자주 다루었던 ‘Processing’을 사용합니다. 프로세싱 라이브러리 중 ‘Blob Detection’ 을 설치합니다. Blob Detection library는 이미지에서 설정된 밝기 이상(또는 이하)의 영역을 찾아 그 정보를 보여주는 라이브러리로, 검은색의 동공 부분을 추출하기에 딱 맞는 라이브러리라고 할 수 있습니다. ‘bd_webcam’ 예제를 실행만 하는 것으로 아래와 같은 동공 추출 결과를 얻을 수 있지요!
Openframeworks
Processing
Blob Detection
l Processing Blob detection library의 ‘bd_webcam’ 사용하여 추출한 동공 이미지!
눈동자(동공)의 위치를 찾아냈으니, 마지막으로 남은 것은 Graffiti 부분입니다. 하지만 저는 Graffiti를 어디서부터 손대야 할지 감이 오지 않는 관계로, 가장 기초적인 방법인 눈동자가 지나가는 점을 Line으로 이어서 그리는 아주 원시적인 Graffiti 방법을 사용하기로 하겠습니다.
(3) 완성과 마무리
드디어 모든 준비가 완성되었습니다. 이제 믿을 것은 본인의 눈이 가진 예술적 잠재력을 이끌어 내는 것뿐입니다. 그런데 직접 눈으로 Graffiti를 해보니 눈으로 글씨를 쓴다는 것은 정말 가능한가를 의심할 정도로 어렵더군요!
눈이 빠질 것 같은 고통을 참아가며 연습했지만, 결과는 침팬지 수준도 안 되는 것 같아요. 그 치열한 노력의 결과는 아래 동영상에서 확인하실 수 있습니다.
l 뭔지는 알 수 없지만 필자의 눈으로 그린 첫 번째 Graffiti 작품: 눈이 빠지는 고통을 느꼈습니다.
teamVOID는 현재 송준봉, 배재혁으로 이루어진 미디어 아트 그룹으로, 기술과 예술의 융합을 주제로 로봇, 인터렉티브, 키네틱, 라이트 조형 등 다양한 뉴미디어 매체를 통해 실험적인 시스템을 구상하고 그것을 작품으로서 구현하고 있습니다.
[‘Make Media Art’ 연재 현황]
* 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 LG CNS 블로그에 저작권이 있습니다.
* 해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
'IT Life' 카테고리의 다른 글
| 쉽게 따라 하는 미디어 아트 Make Media Art[6편] Eye Writer – Eye Tracking Graffiti (0) | 09:30:00 |
|---|---|
| 2017 가을 여행주간이 다가온다! 알차게 즐기는 법 4가지 (0) | 2017.10.13 |
| 왜 문제해결형 인재가 되어야 하는가 (0) | 2017.09.29 |
| 누구나 전략 기획 고수가 될 수 있다 - 고객 중심 사고 (0) | 2017.09.22 |
| 스마트하게 진화하는 고속도로 휴게소 (0) | 2017.09.15 |
| 비즈니스의 꽃 ‘영업’을 말하다. (1) | 2017.09.08 |
