아이티랩 - 'HCI와 AI의 미래를 논하다'_ ② 도구, 매개, 동반자로써의 컴퓨터

안녕하세요, 차세대융합기술연구원 컴패노이드 랩스(Companoid Labs) 디렉터 장진규 박사입니다. LG CNS 블로그를 통해 시리즈 연재를 진행하게 되었습니다. 본 시리즈는 인간과 컴퓨터 상호작용(HCI)과 인공지능(AI) 분야의 관점에서 우리가 앞으로 준비하고 맞이해야 할 새로운 시대에 대한 의미 있는 통찰을 전달하고자 합니다.


[ 연재 기획: HCI와 AI의 미래를 논하다 ]

  • 제 1편: 컴퓨터와 삶을 공존하는 방식을 고민하자.
  • 제 2편: 도구, 매개, 동반자로써의 컴퓨터.
  • 제 3편 예고: 동반자 경험 기술을 위한 AI와 Data Science 관점의 HCI.


지난 연재글 ‘1편: 컴퓨터와 삶을 공존하는 방식을 고민하자.’에서 언급한 바와 같이, 우연이 아닌 필연적 이유로 인간은 컴퓨터와 공존하기 위한 경험의 과정을 거쳐왔다. 공존을 위한 매개의 측면에서 사용자는 컴퓨터를 통한 대화를 시작했고, 그 대화가 보다 인간적으로 이루어질 수 있도록 도와주는 인터페이스 디자인과 인터랙션 설계들이 사용자로 하여금 컴퓨터를 일상으로 끌어당겼다.


이렇듯, 일상으로 들어오는 컴퓨터를 우리는 사물 인터넷(Internet of Things, 이하 IoT)이나 유비쿼터스 컴퓨팅(Ubiquitous Computing) 등 다소 포괄적이고 마케팅적인 개념으로만 이해할 뿐이다. 필자는 구체적으로 컴퓨터와의 공존을 위한 HCI 기술의 구현을 위해 스스로 항상 던지는 몇 가지 본질적인 질문을 여러분과 공유하고자 한다.


l 망치는 도구이다. 컴퓨터도 도구이다.

그렇다면 이 둘이 갖는 속성과 본질은 도구로 정의되기에 정말 같을까?



 “도구란 무엇인가?”

필자가 이러한 질문을 던지게 된 것은 저명한 저널리스트이자 문화사가인 피터 왓슨(Peter Watson)의 책 <생각의 역사>라는 책을 읽으면서부터였다. 이 책에서 인간이 가진 본질과 진화에 대해 역사적 흐름 속에서 중요한 역할을 한 것 중 하나가 바로 도구라는 점을 지적했다. 

도구는 과거, 돌을 다듬고 칼을 만들던 것에서부터 우리가 지금 쓰고 있는 스마트폰까지 광범위한 범주의 사용하는 혹은 사용할 수 있는 것들(things)을 포괄적으로 지칭하는데, 도구의 발명과 진화는 오로지 인간의 필요에 의해 이루어졌다. 우리가 흔히 현업에서 말하는 ‘니즈(?), 니즈(!)’ 라는 진부하게 있어 보이는 표현을 남발하고 있지만, 사실 역사적으로 소위 니즈가 없는 도구란 존재하지 않았다.

이러한 측면에서 나는 HCI와 UX를 다루는 사람이 도구의 본질을 이해하지 않고서는 제대로 된 전문가라고 할 수 없을 것이라고 단언한다. 도구는 구석기와 신석기라는 시대를 구분 지을 정도로 항상 시대를 대표했기 때문이다. 즉, 컴퓨터의 등장으로 HCI 분야가 특별히 태동하게 된 것은 우연이 아니라고도 하겠다. 

단순한 계산기에 불과한 컴퓨터 역시 개인이 사용할 수 있는 컴퓨터의 등장으로 Personal Computer 시대를 열었고, 움직이면서 사용할 수 있는 작고 강력한 모바일폰의 등장으로 Mobile Computer 시대를 열었다. 모두 한 시대를 대표할 수 있는 도구의 등장 덕분인 셈이다.

l 인류의 진화와 시대를 구분 지을 수 있는 포즈. 

두 발로 선 인류의 진화는 도구의 필요성을 더욱 부각 시켰다.


그런데 필자는 도구에 대한 본질적인 이해를 통해, 역설적으로 최근의 컴퓨터가 동반자다워질 수밖에 없는 이유를 발견했다. 생각해보자. 그 간의 도구들 역시 일상생활에서 사용할 수 있게 되면서 없어서는 안될 것들로 자리매김 했다. 우리가 일상에서 사용하는 손톱깎이, 빗, 망치와 같은 것들이다.


그리고 이들은 대부분 한 가지 일(task)을 수행하는데 최적화된 형태의 도구이다. 그러나 모두가 알다시피 현재 ‘도구’로 가장 많이 쓰이는 스마트폰은 한 가지 일만을 하지 않는다. 이미 거의 모든 사용자가 스마트폰에 단순히 한 가지 일을 요구하고 있지 않다는 점은 우리에게 시사하는 바가 크다.


필자는 이러한 측면에서 UX에 관한 한 일종의 패러다임 전환(paradigm shift)이 필요한 시점이라고 본다. 앞서 언급한 것처럼 컴퓨터는 도구의 일종이지만, 아이러니하게도 도구와 컴퓨터는 구별되는 측면이 있다. 필자는 직접 던진 질문에 대해 다음과 같은 세 가지 기준으로 도구와 컴퓨터를 구별해보겠다(이 구별은 필자의 HCI 개론서에 더욱 구체적으로 잘 나와 있다).


1. 도구는 외관 디자인에 따라 기능적으로 그 목적을 달리하는 반면, 컴퓨터는 같은 외관 디자인이더라도 인간에 따라 다른 목적으로 활용될 수 있다.

2. 도구는 인간의 필요에 의해 보조적 수단으로 활용되는 반면, 컴퓨터는 인간이 필요로 하지만 직접 하기 어렵거나 불가능한 고차원의 연산을 빠르게 할 수 있다.

3. 도구는 이를 사용하는 인간의 행위가 곧 결과를 결정하지만, 컴퓨터는 정해진 방식으로 인간에게 최소한의 상호작용을 요구한다.


즉, 도구란 외관 디자인에 결정된 기능적 목적성을 가진 보조적 수단의 결과물이며, 따라서 이를 사용하는 인간의 행위가 곧 그 경험의 결과를 결정하는 특성이 있다. 컴퓨터 역시 인간의 필요에 의해 발전해왔기 때문에, 목적을 달성하기 위한 기능적 발전을 거듭해왔고 인간이 어떠한 행위를 통해 컴퓨터와 상호작용하는 방식을 보다 편리하고 쉽게 사용할 수 있도록 만드는 것이 HCI 분야의 연구가 중요한 이유였다.


그러나 최근 화두가 되는 인공지능(Artificial Intelligence, 이하 AI)은 앞서 언급한 HCI 분야의 관점을 인간 중심에서 공존 중심으로 바꿔야 할 필요성을 안고 있다.


l 연결성(connectivity)이 공존(coexist)을 담보할 수 있을까? 

앞으로 인간 사이의 연결을 넘어 인간과 컴퓨터가 상호 연결되는 형태로 사회는 발전하게 될 것이다.


왜냐하면, 컴퓨터가 단순히 인간의 행위를 돕거나 보조하는 차원을 넘어, 인간이 본래 하던 일을 완전히 대신하거나 의논하는 형태의 제품이나 서비스가 등장하고 있기 때문이다. 이는 곧, 도구적 측면으로만 컴퓨터를 바라보고 설계하기엔 점차 설명하지 않는 부분이 생겨나고 있음을 의미한다. 


컴퓨터를 사용하는 개념으로 진화하던 방식은 이미 끝났다. 이미 도구적인 요소로 사용자에게 어필할 수 있는 컴퓨터는 더 이상 존재 가치를 잃어 가고 있으며, 우리 삶에 보조 수단이 아닌 일상생활의 일부로 특정 역할을 수행하고 있다.


우리는 이러한 변화를 이미 스마트폰이 하는 역할로 인해 경험적으로 이해하고 있다. 컴퓨터가 목적이 아닌 역할 측면에서 설명되기 시작한 것은 중요한 패러다임의 변화였다. 이 역할을 위한 컴퓨터를 디자인하기 위한 HCI 기술의 연구는 그래서 지난 수년간 중요했다. 바로 ‘매개’ 역할이다.



 “매개란 무엇인가?”

필자는 아침에 일어나자마자 메일 애플리케이션을 켜 간밤에 온 이메일을 확인하고, 자기 전 페이스북에 올린 정보나 생각에 대해 사람들의 반응을 살핀다. 카카오톡으로 온 메시지가 간밤에 있다면 대답을 하고, 포털 사이트에서 주요 뉴스를 보면서 달린 댓글들을 통해 부가 정보를 얻기도 한다. 모두 아침 출근 시간에 일어나는 일들이다.

과거에는 불가능했던 일들이다. 이메일조차 없던 시기의 연락은 물리적 환경에서 하는 행위로만 어겼다. 그러나 유선 전화의 등장으로 떨어진 환경에서 목소리를 통해 대화를 주고받을 수 있게 되었고, 컴퓨터의 등장과 소형화는 이동 중에 목소리뿐만 아니라 텍스트 메시징을 통한 연락이 가능하게 되었다. 월드 와이드 웹의 발전은 전자 메일이 활성화되면서 우편을 통한 연락 행위를 전자적인 방식으로 대체하게 되었다.

l 전달자는 수신자가 되고, 또 다른 수신자는 또 다른 전달자가 된다. 

역할은 상호 교환을 할 수도 있고, 또 다른 타인과 교환할 수도 있다. 

네트워크 효과의 파괴력은 여기서 나타난다.


이는 모두 컴퓨터가 ‘매개의 역할’을 하게 된 대표적인 예시들이다. 전달자와 수신자가 역할을 교환하는 것(role exchange)이 연락의 본질인데, 매개의 역할을 컴퓨터가 하면서 어떻게 매개하도록 만들 것인가에 대한 HCI 분야에서의 연구가 많이 이루어졌다.


소셜 컴퓨팅(social computing)이라는 용어가 생겨날 정도로 이러한 고민의 영향력은 강력하다. 우리는 불특정 다수와의 정보 교환과 소통을 위해 소셜 네트워킹 서비스(Social Networking Service, 이하 SNS)를 사용하고, 일대일이나 폐쇄된 그룹 사이의 대화를 위해 인스턴트 메신저(Instant Messenger, 이하 IM)을 쓴다.


채팅을 위해 이메일을 쓰는 경우는 없고, 업무 과정에서 공식 문서를 첨부하고 교류하기 위해 SNS를 쓰는 경우는 없다. 모두 컴퓨터가 매개 역할을 하면서 제공하는 UX가 사용자 행위 자체를 결정해버리는 것이다.


l 소셜 네트워킹 서비스에서 등장하는 인플루언서. 이들은 HCI 시스템 측면에서 매개 역할을 하는데 중요한 요인들을 아주 잘 다룬다. 바로 표현, 그리고 공유이다.


그런데 필자는 매개 역할을 하는 컴퓨터가 사회 현상적 변화를 가져온다는 점에 주목했다. 생각해보자. 과거에 비해 많은 사람들과 간접적으로 교류가 가능해지면서, 소위 소셜 파워(social power)를 갖는 개인이 증가했다. 인간 사회에서 리더 역할을 하는 사람과 그를 충실히 따르는 팔로워(follower), 조용히 묻어가는 사람(lurker), 반기를 드는 방해꾼(disrupt)은 컴퓨터가 매개하는 온라인 환경에서의 커뮤니케이션 방식에도 그대로 적용되어 있다.

이를 적극적으로 활용하는 사용자들은 BJ나 파워블로거와 같이 오피니언 리더나 콘텐츠 크리에이터로서 새로운 직업을 갖게 될 정도이고, 특정 글에는 수많은 ‘좋아요’가 달리고 ‘댓글’과 ‘대댓글’을 통해 다자 간의 연결이 빈번하게 발생한다. 즉, 컴퓨터는 매개 역할을 통해 많은 관계를 형성하고 이를 통한 사회 현상을 일으키는 데 지대한 영향을 미치고 있다.

l 텍스트는 인간의 복잡 미묘한 감정을 온전히 포함할 수 없다.

그래서 HCI 연구자들은 바로 이 부분을 고민한다.


필자는 이러한 측면에서 UX에 있어 두 가지 중요한 요인이 컴퓨터가 매개 역할을 하는 데 중요하게 작용했다고 본다. 하나는 표현(expression)이고, 또 하나는 공유(sharing)이다. 컴퓨터가 매개 역할을 하기 위해 사용자 간의 표현을 보다 풍부하고 의미 있게 교류할 수 있도록 만들어내는 것이 중요하다. 대면 방식과 달리 비대면 방식에서는 커뮤니케이션 방식에 있어 더욱 세심한 고민이 필요하다. 

예를 들어, 실시간으로 커뮤니케이션할 수 있지만, 동기적으로 표현을 주고받지는 않기 때문에 매개하는 컴퓨터의 역할이 중요하다. 페이스북에 올린 나의 우울한 감정은 수 시간 뒤 자연스럽게 해결될 수 있지만, 해당 글에 동조하거나 위로하는 댓글은 하루가 지난 뒤에도 달릴 수 있다. 

따라서 시간 맥락에 따라 글의 노출 시점이나 표현을 다르게 가져가는 방식에 대한 인터랙션 기술을 설계하면 사용자 간의 관계 형성에 긍정적인 영향을 미칠 수 있다.

l 사용자의 감정을 공유하기 위해 중요한 것은 비언어적 표현을 파악하는데 있다. 

그래서 우리는 얼굴을 보고, 제스처를 본다. 이는 마치 온라인 상에서 텍스트뿐만 아니라 움직이는 이모티콘 등을 적극적으로 활용하는 이유와 같다.


공유 요인 역시 사용자 간의 관계 형성에 매개 역할을 하는 컴퓨터의 설계에 중요하다. 대면이 아닌 환경에서 컴퓨터가 사용자들 사이에 전달 요소로써 각종 수단을 활용하는 것에 대한 고민이 필수적이다. 예를 들어, 사용자들은 자신의 표정을 타인에게 직접 드러내지 않기 때문에 매개하는 컴퓨터의 역할이 중요하다. 

카카오톡에서 대화할 때 텍스트로 감정을 표현할 수는 있지만, 어느 정도의 강도와 늬앙스를 지니는지는 사용자의 언어적 스킬에 따라 전달이 잘못될 여지가 많다. 따라서 캐릭터로 표현되는 이모티콘이나 사진, 비디오 등을 공유하는 방식에 대한 인터랙션 기술을 설계하면 사용자 간의 관계 형성에 긍정적인 영향을 미칠 수 있다.

즉, 매개란 사용자 간의 관계를 형성하는데 중간자의 역할 행위를 말하며, 이것을 누가 하느냐에 따라 관계 형성의 속도와 방향을 결정하는 특성이 있다. 컴퓨터는 이러한 측면에서 일종의 매개체 역할을 하고 있으며, 실제 사용자 간의 상호작용이 이루어지는 속도와 형태에 지대한 영향을 미치기 때문에 HCI 분야에서 중요하게 다뤄져 왔다. 

그러나 이러한 관점은 최근 실제 인간의 감각을 대체할 수 있는 다양한 형태의 인터페이스 기술이 구현되면서 사용자 간이 아닌 사용자-컴퓨터 간의 대화 자체에 대한 중요성이 대두되는 상황이다.

왜냐하면 컴퓨터가 단순히 인간 사이의 상호작용을 돕거나 관계를 형성하는 차원을 넘어, 컴퓨터와의 직접적인 관계를 형성할 수 있는 또 다른 대상체, 즉 포스트 휴먼(Post Human)이라 불리는 제품이나 서비스가 중요해지고 있기 때문이다. 이는 곧, 매개적 측면으로 컴퓨터를 바라보고 설계하기 보다는 컴퓨터 자체가 곧 상호작용의 주체이자 대상체로써 인간과 동등하게 행위 하는 역할을 부여 받기 시작했다는 것을 의미한다.

l 표현하고 공유하는 휴머노이드 로봇 소피아(Sophia). 

우리는 소피아가 우리를 이해하고 감정에 공감한다고 느낄 수 있을까?


우리는 이러한 역할을 다시 인간 사이의 관계로부터 경험적으로 이해하고 있다. 바로 동반자 역할을 하는 컴퓨터를 디자인하기 위한 경험 기술의 필요성은 여기에서 기인한다.

그렇다면, 동반자 경험 기술(Companoid eXperience Technology, 이하 CXT)을 구현하기 위해 우리는 어떠한 준비가 필요할까? 다음 편에서는 CXT를 구현하기 위한 AI와 Data Science 측면의 HCI에 대해 논해보도록 하겠다.

글 | 장진규 박사 | 차세대융합기술연구원


장진규 박사는 학부 시절 로보틱스와 컴퓨터 공학을 전공하고, 석/박사 시절 인지과학 기반의 인간과 컴퓨터 상호작용(HCI) 분야를 수학하였다. 현재 차세대융합기술연구원 컴패노이드 랩스에서 HCI 관점에서 인간과 컴퓨터가 공존하는 방식에 대해 연구하고 있으며, 디지털 헬스케어, 로봇, AI 등 혁신 기술 분야에서 인터랙션 설계 전문가이다. 과거 스타트업 CEO로 3년간 회사를 키워 매각한 경험을 살려 스타트업에 대한 엔젤 투자 및 자문을 겸하고 있으며, 디지털 헬스케어 분야의 국내 최초 엑셀러레이터인 DHP의 파트너로도 활동중이다.


* 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 LG CNS 블로그에 저작권이 있습니다.

* 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.


의견 0 신규등록      목록