“네이버 검색의 미래는 맥락, 인공지능, 시스템”

“모바일에서는 다양한 환경에서 검색합니다. PC 시절과 다르게 사용자의 상황을 알면 더 좋은 정보를 제공할 수 있게 됐습니다. 예전에는 쿼리(검색 질의)만 가지고 사용자의 정보 요구와 검색 의도를 연구했는데, 모바일에서는 복잡한 형태의 정보를 이해해야 합니다. 나이, 성별, 직업, 시간, 위치정보 같은 정보는 쉽게 알 수 있고, 좀 더 복잡하게는 관심사, 검색하는 상황, 소셜 관계도 연구할 수 있습니다. 이런 것을 알면 사용자에게 더 정확한 정보를 제공할 수 있습니다.” – 김광현 네이버 검색연구센터장

네이버는 3월21일 국내 검색기술 관련 전공의 석·박사들과 네이버 검색 기술에 대해 논의하는 ‘네이버 라이브 검색 2016 콜로키엄’을 개최했다. 이번 콜로키엄에는 네이버 김광현 검색연구센터장을 비롯해 네이버 검색 연구를 이끄는 개발자들이 대거 참석했다. 전국 12개 대학, 21개 연구실 석·박사들을 대상으로 ‘라이브 검색’의 콘텍스트, 딥러닝 활용, 검색시스템 등 제반 연구 프로젝트를 공개했다.

김광현 네이버 검색연구센터장(사진 = 네이버)

라이브 검색은 사용자 환경을 고려해 모바일에서 이용자 요구를 즉시 해결하고, 검색 의도에 맞는 생생한 정보를 제공하려는 네이버 검색의 방향성이다. 네이버는 이를 위해 ‘사용자’와 ‘데이터’라는 두 축을 더욱 깊게 이해(Deeper Understanding)하는 방향으로 기술 역량을 집중하고 있다.

네이버는 이번 콜로키엄에서 이러한 라이브 검색에 대한 기술을 ‘맥락 이해’, ‘인공지능’, ‘시스템’ 등 3개 세션을 통해 공개했다. 김광현 센터장은 “이번 콜로키엄을 통해 네이버의 기술 노하우도 공개하고, 산학연계를 통해 같이 연구했으면 하는 바람이다”라고 행사 취지를 밝혔다.

세션1. 맥락 이해

라이브(LIVE) 검색

피드백, 콘텍스트, 위드니스의 정보를 활용하여 사용자 문맥에 적합한 검색 결과 제공하는 검색이 네이버 라이브 검색이다. 라이브 검색은 장소와 시간의 제약 없이 실시간으로 정보를 얻고자 하는 모바일 시대의 방향이다. 이용자들의 의도를 파악해, 그에 맞는 검색결과를 제공하는 게 목적이다.

라이브 검색의 요소인 ‘피드백’은 좋아요, 댓글, 쇼핑 정보, 뮤직 플레이 등과 같은 사용자의 활동 정보를 활용해서 검색 만족도를 높이기 위함이다. 콘텍스트는 역동적으로 변화하는 모바일 시대 사용자의 검색 환경에 맞춤으로 사용자의 현재 상황을 잘 이해하겠다는 것이다. 장소, 시간, 날씨 등의 정보를 활용한다.

위드니스(Withness)는 관심사가 유사한 사용자 네트워크 정보를 활용해, 사용자 의도를 이해하고 유형화한 뒤, 사용자의 문맥에 적합한 검색 결과를 제공하는 방식이다. 지역, 연령, 성별 등으로 연결 사용자들을 묶어 집단의 특성을 본다.

시맨틱 태깅

시맨틱 태깅이란 질의와 문서에 사용된 단어들의 의미를 구분해 주는 기술이다. 사용자 검색 의도에 일치하는 문서들만 선별해 제공할 수 있게 돕는다. 검색 의도가 섞여 있는 수많은 질의를 식별하기 위해서는 ‘의미 구분자’가 필요하다. 시맨틱 태깅은 문맥 내 의미를 인식 및 분석해(시맨틱), 해당 단어에 정확한 의미 구분자(Entity ID)를 부착하는 기술이다. 원활한 시맨틱 태깅을 위해서는, 맥락으로 출현할 가능성이 큰 단서 확보가 관건이다. 네이버는 네이버가 구축한 방대한 DB를 바탕으로, 검색뿐만 아니라, 다양한 서비스에 시맨틱 태깅을 적용할 예정이다.

맥락 기반의 개인화 추천

이제는 빅데이터 분석을 통해 사용자들의 다양한 맥락을 파악해 맞춤형 추천 정보 제공할 수 있게 됐다. 모바일이 PC와 다른 점은 ‘로그인’이 돼 있고, ‘항상’ 곁에 있으며, 이용자가 ‘어디’ 있는지 알 수 있다. 이를 바탕으로 사용자가 입력한 검색어와 보고 듣는 콘텐츠를 분석함으로써, 사용자의 관심사를 파악할 수 있다. 세션 발표자로 나온 최재호 리더는 “사용자 아이디로 누가 어떤 검색을 하는지, 관심사는 무엇인지, 어떤 정보를 필요로 하는 시점이 언제인지, 정보가 소비되는 장소가 어디인지 알 수 있게 됐다”라고 설명했다.

전통적으로 검색의 목적은 ‘필요한 자료를 찾아내는 일’이었다. 그러나 네이버가 바라보는 검색은 추천의 영역으로 넘어가고 있다. 사용자의 맥락이 주어졌을 때, 그 사용자가 무엇을 원하는지를 알아내고 사용자가 필요한 순간의 정보를 던져준다.

토픽 기반 분석

연령, 성별 기반 분석

사용 습관 분석

지역 정보 기반 분석

세션2. 인공지능

비전인식 & 언어처리 : 이미지·동영상과 텍스트의 만남

딥러닝 기반 비전-언어 통합기술을 바탕으로 사용자에게 이미지·동영상 데이터를 효과적으로 전달하는 기술이 중요해지고 있다. 대부분의 데이터가 복합적(Multimodal)이다. 텍스트만으로 존재하는 문서는 정보를 잘 설명했다고 하더라도 사용자들이 원치 않는 정보가 될 수 있다. 예컨대 맛집 소개의 경우 음식 사진이 곁들여져 하고, 상품 후기도 제품 사진이 필요하다.

네이버는 ▲유명인의 고화질 현장 이미지들을 이벤트별로 구성해, 타임라인 형태로 제공 ▲특정 음식점에 대한 데이터를 분석해, 해당 음식점을 가장 잘 나타내는 최적의 이미지를 추출해 제공 ▲한 상품과 유사한 스타일의 다른 상품을 편리하게 검색할 수 있는 기능 등을 제공할 예정이다.

자연어 처리

자연어 처리 기술은 사용자의 마음을 들여다보는 것처럼 질문의 의도를 잘 이해하고, 사용자의 검색 질의 맥락에 맞는 정보를 적절히 찾아줌으로써 더 똑똑한 답변을 주는 데 필요한 기술이다. 검색업체는 ‘비슷하지만 다른 질문’, ‘다른 형태의 질문이지만 같은 질문’, ‘동음이의어가 들어가 함께 나온 다른 단어를 통해 의미를 파악해야 하는 질문’ 등이 나왔을 때도 적합한 정보를 찾는 방식을 찾아야 한다. 자연어 처리는 사용자의 질의를 구조적, 의미상으로 분석해 검색 의도를 파악하는 데 사용한다.

인공지능 대화 시스템: 라온(LAON)

네이버가 소개한 인공지능 대화 시스템 라온은 사용자와 대화하듯이 검색결과를 제공하는 시스템으로 대화를 분석해, 사용자에게 적합하면서 간결한 검색결과를 제공한다. 사람과 시스템이 대화하면서, 사용자가 요청한 정보를 시스템이 주는 형식이다. 이 질의와 답변의 과정에서 사용자의 문맥을 고려해 적합한 답변을 던져주는 게 중요하다. 예컨대 사용자가 영화를 많이 검색 했던 사람이라면, ‘베를린’에 관해 물었을 때 지명보다는 영화 베를린에 관련된 정보를 주는 것이다.

라온 구조

네이버는 라온을 인물, 영화, 방송, 날씨 등의 카테고리에 먼저 적용할 예정이다. 이현철 리더는 “메신저는 여러 가지 답변보다는 정확한 답변을 제공하는 게 중요하다”라고 대화시스템에서 적합한 정보의 중요성을 설명했다.

세션3. 시스템

모바일 웹을 위한 특징 기반 수집

특징 기반 수집

모바일에서도 좋은 콘텐츠를 찾기 위해서는 수집 기술의 변화가 필요하다. 모바일 시대에는 정보 수집에 여러 가지 문제가 생긴다. 요컨대 사용자의 앱 사용이 활발해질수록 수집의 용이성이 떨어진다. 네이버는 개선된 수집 기술로 외부 생산자들의 좋은 콘텐츠가 네이버 검색에 더 잘 노출될 수 있도록 할 예정이다. 예컨대 수집 정보의 URL을 보고 해당하는 사이트에서 이전에도 좋은 정보가 나왔었다면, 해당 사이트의 도메인은 ‘특징’으로 삼고, 수집할 때 도메인이 포함된 문서에 가중치를 주는 방식이다.

콘텍스트 엔진, ‘CASE’

콘텍스트 엔진은 맥락·인공지능 기반의 신규 검색 서비스를 지원하는 시스템 기술이다. 네이버는 대규모 텍스트, 이미지·동영상, 이용자 활동 등 방대한 미가공 데이터에서 콘텍스트를 더욱 잘 추출하고 데이터를 보다 잘 이해하기 위해 ‘케이스(CASE)’라는 대규모 실시간 데이터 처리 및 이해 기술을 개발했다. 네이버는 케이스를 기반으로 이용자의 실시간 상황를 정확히 파악해 검색 결과를 제공할 예정이다.

네이버 검색을 떠받치는 검색시스템 : BREW

네이버는 하루 15억건의 질의를 받아 0.9초 안에 결과를 응답해야 한다. 국내 인터넷 서비스 중 최대의 트래픽이다. 이를 처리하기 위한 대규모 검색 시스템 기술이 BREW(Burst, Real-time, Event-Wise Search System)다.

네이버는 이 기술을 통해서 대용량의 실시간 피드백, 콘텍스트, 위드니스 등의 정보에 대해 실시간으로 ‘수신 저장 – 빅데이터 처리 – 검색 반영’ 절차를 수행하여 사용자들에게 생생한 품질의 검색서비스를 제공할 예정이다.