"테크놀러지는 우리에게 매우 중요하다. 이 기술은 댓글 관리를 효율화시킬 것이다."
허핑턴포스트가 미디어, 뉴스 사이트가 아닌 Adaptive Semantics라는 기술 벤처를 인수했습니다. 17일입니다. 허핑턴포스트는 하루 10만개의 댓글을 관리하는데 이 회사의 기술을 적용하고 있었는데요. 이참에 아예 인수를 해버린 것이죠.
Adaptive Semantics는 UGC(블로그, 댓글 등)의 관리 및 moderating 전문 솔루션을 지닌 테크놀러지 스타트업입니다. 고작 직원은 Elena Haliczer 등 2명밖에 되지 않죠. 하지만 기술력은 이미 정평이 나있었습니다. Adaptive Semantics의 댓글(UGC) Moderating Engine인 JuLiA를 도입한 언론사는 허핑턴포스트를 비롯해 CNN, Newsweek입니다. Disqus와도 온라인 댓글 관리와 관련한 라이센스 협약을 체결한 바 있습니다.
일반적으로 댓글 관리 혹은 사용자 콘텐츠 관리를 떠올리면 관리자가 직접 필터링 하는 '운영 이슈'라고 여기는 경우가 많습니다. 국내 포털도 '운영 이슈'로 접근하는 경향이 강하죠. 그나마 진화됐다면 사용자에 신고에 의한 필터링+운영자의 관리+키워드 필터링 정도가 아닌가 싶습니다.
이는 영미권에서도 마찬가지입니다. 유력 언론사들은 댓글을 개방하면서 골머리를 앓고 있습니다. 비방과 비난, 음란 및 인종차별 댓글에 허위사실 적시까지. 다들 고민스러워하고 있습니다. 이는 국내 언론사 사정도 마찬가지입니다. 허핑턴포스트도 이러한 고민에 시달리고 있었죠. 게다가 일 10만개의 댓글을 수작업으로 관리한다는 건 불가능에 가까울 뿐더러 '높은 비용'을 수반하는 것이기도 하죠.
하지만 키워드 필터링은 가장 초보적이고 1차원적인 필터링 수단에 불과하죠. 이 방식으로 걸러내어지는 댓글은 예상 외로 크지 않습니다. 수많은 우회로가 존재하기 때문입니다. 운영자의 관리도 관리해야 할 콘텐츠 분량이 일정 수준을 넘어서면 '비용' 문제가 발생하기 마련입니다. 사람이 직접 수작업으로 관리할 수 있는 한계가 있기 마련입니다. 특히 관리자의 운영 철학이 편향될 경우 사용자들로부터 모진 비난에 시다릴 수밖에 없습니다.
'사용자 참여'라는 대세를 수용하면서도 UGC의 옥석을 가려내기 위한 장치는 이제 우리 모두의 필수 요소가 되어가고 있습니다.
이메일 스팸 필터링 이용 댓글 옥석 가리는 알고리즘 개발
Adaptive Semantics은 이메일의 스팸 필터링 알고리즘인 Bayesian filtering algorithm에서 착안을 했다고 합니다. 폴 그레이엄의 스팸 필터링 알고리즘으로 약방의 감초처럼 등장하죠. 워낙 오래되기도 했습니다. 이 알고리즘을 바탕으로 어뷰징 콘텐츠와 비어뷰징 콘텐츠를 분리해낼 수 있는지, 그 가운데서도 퀄리티 콘텐츠를 식별해낼 수 있는지를 고민해봤다고 합니다. 그렇게 알고리즘을 완성시켰습니다.
이 알고리즘(JuLiA)은 텍스트 마이닝 전문가들의 연구와 감정 분석 분야에 상당한 영향을 미친 차세대 알고리즘을 기반으로 탄생했다고 합니다. 주로 학술 연구에 활용돼왔는데, 창업자들은 처음으로 온라인 콘텐츠에 적용을 시켜봤다고 합니다.
이 알고리즘은 다음과 같은 기능을 제공하고 있습니다. 실제 내용의 편향성, 감정의 과잉 정도까지 분석해 그루핑할 수 있습니다. 이 분류 방식을 통해 일부는 걸러내고 필요할 경우 하이라이팅 시킬 수도 있는 것이죠.
Categorize articles, blog entries, reviews, and user generated content by sentiment across topic.
Group like-minded readers by sentiment and opinion
Group members by their opinions and feelings about particular topics and issues
Group members by political leanings
Highlight worthwhile contributions such as positive reviews or heated and intelligent debates
앞으로 창업자 2명은 허핑턴포스트에서 social news and community technology R&D를 관장하게 될 것이라고 합니다. 허핑턴포스트는 향후 독자들의 콘텐츠 참여를 활성화시키는 다양한 시스템 개발에 이 벤처의 기술력을 활용할 계획이라고 하고요.
규제로만 '악성 댓글' 막으려는 한국
어느 나라보다 댓글로 인한 심리적 피해에 민감하게 대처하는 미국은 규제보다는 이러한 기술력으로 악성 댓글의 피해를 최소화하는데 노력을 기울이고 있습니다. 피해 구제를 제도적 규제가 아닌 혁신적 기술력으로 풀어내려는 실험이 곳곳에서 일어나고 있습니다.
2명에 지나지 않는 Adaptive Semantics라는 작은 스타트업이 등장할 수 있었던 것도 그리고 허핑턴포스트에 인수돼 알고리즘을 한층 더 확장시킬 수 있는 기회를 얻은 것도 인터넷을 제도적 규제틀로 묶어두지 않으려는 자국 내부의 문화적 공감대와 기술적 자신감 덕이 아닌가 싶습니다.
인터넷을 향한 규제식 접근법은 통상 기술 혁신의 수요를 반감시키는 효과를 낳곤 합니다. 댓글 규제도 마찬가지죠. 이런 문제 의식으로 저는 지난 3월 본인확인제 대신 댓글 필터링 알고리즘의 의무적용제를 제안하기도 한 적도 있습니다.
"현재 검색의 랭킹 알고리즘을 활용한 콘텐트 필터링 기술, 소셜 미디어의 추천 알고리즘을 통한 콘텐트 필터링 기술, 이메일의 스팸 필터링 기술, 초보적 수준의 댓글 필터링 기술 등 다양한 필터링 기술이 등장하고 있습니다. 요즘엔 소셜 검색 알고리즘 기술이 주목을 받고 있죠.
이러한 기술을 더욱 발전시키면서도 정보통신망법과 제한적 본인확인제의 취지를 담을 수 있는 방법론으로 ‘댓글 필터 의무 적용제‘는 의미가 있을 거라는 게 제 생각입니다. 댓글 필터링 기술을 개발할 여력이 되지 않는 중소 서비스 업체를 고려해 ETRI와 같은 정부 투출자 연구기관이 기술 개발을 일정 부분 담당해 이전해주는 방안도 함께 고려돼야 할 것입니다."
▶ 출처 : 본인확인제 대신 댓글 필터 의무적용제 어떨까?
한국에는 댓글 필터링 벤처 없을까?
국내엔 Adaptive Semantics 같은 스타트업이 없을까요? 그렇진 않습니다. 제도적 규제가 혁신의 인센티브를 앗아가긴 했지만 뜻 있는 젊은이들은 여전히 도전하고 있더군요. Cizion이라는 기업입니다. 2009년 4월 창업됐죠. 개인적으로 창업자와 한두 번 뵈었는데요. 댓글이라는 공간을 하버마스의 공론장 모델의 가능태로 주목한 창업자의 철학에 공감을 보낼 수밖에 없었습니다. 이 회사는 지금 Livere라는 소셜 댓글 모델을 여러 관련사들에게 적용해 그 가능성을 입증해보이려고 노력하고 있었습니다.
ETRI의 기술도 주목할 만합니다. 내용 기반의 스팸/중복 제거 기술뿐 아니라 소셜/식별 정보를 활용한 스팸/중복 제거 기술도 보유하고 있습니다. 이미 여러 곳에서 악성 댓글 피해를 최소화하기 위한 기술적 연구와 실험이 이뤄지고 있었던 거죠.
댓글은 여전히 가치가 부가되는 참여 공간
댓글은 인터넷에서 시민의 참여가 이뤄지는 가장 1차적인 공간입니다. 자신의 의견의 개진하고 논평할 수 있는, 때론 콘텐츠 그 이상의 퀄리티 콘텐츠가 게시되는 공간입니다. 일부(정말 일부죠) 이 공간을 오남용 하는 분들로 인해 댓글의 신뢰가 추락하고 있지만 여전히 가치가 부가되는 공간임을 잊어서는 안된다고 생각합니다.
그러기 위해서라도 혁신적 기술에 대한 투자로 이 공간의 가치를 지켜나가는 노력이 꾸준히 이뤄져야 한다고 생각합니다. 허핑턴포스트를 부럽게 바라보는 이유이기도 합니다.
