챗봇 딥러닝 - 챗봇에서 유사한 문장 자동인식 방법
챗봇을 개발할 때 가장 중요한 것 중 하나는 입력된 문장의 의도를 정확하게 판단하는 것입니다. 하지만 미리 정의된 문장에서 조금만 변형이 되면 인식을 못하는 경우가 대부분입니다. 왜 이런 문제가 발생하고 그 해결 방안에는 어떤 것들이 있는지 알아보겠습니다.

문장의 의도 파악

비슷한 문장을 판단할 때 고려해야 할 첫번째 사항은 동사의 변화입니다. 위의 사진처럼 '알려줘'는 인식하지만 '알려주면 좋겠어'처럼 어미가 변하면 이해하지 못합니다.

두번째는 동의어의 유무입니다. '아이유 최신곡 뭐야' 같이 유사한 뜻을 가진 단어를 사용했을 때도 같은 의미로 인식할 수 있어야 합니다.

세번째는 문장의 구조가 달라졌을 경우입니다. '요즘 나온 아이유의 노래가 뭐니'의 경우 단순히 단어만 바뀐 것이 아니라 형태 자체가 변경되었습니다.

이를 해결하기 위해서는 의도에 다양한 문장을 미리 입력하는 수밖에 없습니다. 의도가 몇 개 되지 않는다면 가능하겠지만 종류가 늘어날수록 사람이 해야할 작업량이 급격히 증가합니다. 예를 들어, 100개의 의도가 있고 각각 30개의 문장을 설정한다면 무려 3000개의 문장을 일일이 입력해야 합니다.

만약 하나의 문장만 입력해도 사용자가 물어보는 비슷한 질문들의 의도를 자동으로 파악할 수 있다면 어떨까요. 챗봇 빌더에서 이런 기능을 제공한다면 챗봇을 구현하는데 큰 도움이 될 것입니다.

규칙기반으로 유사도 측정

비슷한 문장을 판단하는 첫 번째 방법은 형태소분석을 통해 동사의 어간만 비교를 하는 것입니다. 다음과 같이 '알리'만 일치하면 같은 의미로 처리할 수 있습니다.

알려줘 : 알리+어+주+어

알려줄래 : 알리+어+주+ㄹ래

알려주면 좋겠어 : 알리+어+주+면+좋+겠+어


하지만 어미에 의해 뜻이 바뀌는 경우 문제가 발생할 수 있다는 단점이 있습니다.

알려주지마 : 알리+어+주+지+마

알려주기 싫어 : 알리+어+주+기+싫+어


그리고 동의어 사전을 만들어서 유사한 의미를 갖는 단어인지 검사를 합니다. 하지만 이런 동의어 사전을 구하기가 쉽지 않고, 챗봇에서는 보다 넓은 범위로 판단을 하기 때문에 별도의 작업이 필요할 것 같습니다.

[동의어] : 알리, 뭐, 말, ...

알려줘 : 알리+어+주+어

뭐야 : 뭐+야

말해줘 : 말+하+아+주+어

또 하나의 단점은 이런 방법으로는 문장의 구조가 완전히 다른 경우 올바르게 판별하기 어렵다는 것입니다. 역시 규칙기반 보다는 딥러닝으로 스스로 학습하는 방식이 더 적합하지 않을까 생각합니다.

RNN으로 유사도 측정

딥러닝의 RNN을 사용하여 문장의 유사도를 측정할 수 있습니다. Seq2Seq는 2개의 RNN을 연결하여 텍스트를 생성하는 모델입니다. 입력과 출력이 같은 문장이 되도록 학습을 시키면 인코더의 출력인 벡터는 문장을 압축한 정보를 나타냅니다. 이 값의 코사인 유사도를 측정하여 두 문장이 얼마나 비슷한지 판별합니다.

하지만 '아이유 최신곡 알려줘'와 '요즘 나온 아이유의 노래가 뭐니' 처럼 문장의 구조가 다른 경우에는 성능이 좋지 않다는 문제가 있습니다. 그렇기 때문에 실제로 챗봇에 적용하기는 어려울 것 같습니다.

< 참고 자료 >

- RNN을 이용한 한국어 문장 간 구문 유사도 측정


Siamese Network로 유사도 측정

Siamese Network는 샴쌍둥이처럼 두 개의 동일한 RNN을 사용합니다. 동시에 두 문장을 입력으로 받아 '일치/불일치'를 결정하도록 학습합니다. 그렇기 때문에 서로 다른 구조의 문장도 유사하다는 것을 정확히 판단할 수 있습니다.

단어 기반이 아니라 위와 같이 캐릭터 문자 기반으로도 네트워크를 구성할 수 있습니다.

< 참고 자료 >
- https://github.com/dhwajraj/deep-siamese-text-similarity
- Siamese Recurrent Architectures for Learning Sentence Similarity
- Learning Text Similarity with Siamese Recurrent Networks


정리

제가 사용해본 챗봇 빌더 중에서는 이런 기능을 지원하는 곳이 아직 없었습니다. 하지만 앞으로 유사도를 자동으로 처리해주는 플랫폼이 곧 나오지 않을까 생각됩니다. 만약 그게 가능하다면 다른 제품과의 경쟁에서 상당히 유리해 질 수 있습니다.

하지만 문제는 딥러닝으로 학습을 하기 위한 데이터가 필요하다는 것입니다. 두 문장이 일치하는지 레이블이 되어 있는 데이터를 사람이 직접 작성을 해야합니다. 페이페이 리가 방대한 사진 정보를 담고 있는 ImageNet을 만든 것처럼 문장에 대한 정보를 모아둔 TextNet이 필요할지도 모르겠습니다.... 더보기

챗봇 딥러닝 - 챗봇에서 유사한 문장 자동인식 방법 aidev.co.kr 챗봇을 개발할 때 가장 중요한 것 중 하나는 입력된 문장의 의도를 정확하게 판단하는 것입니다. 하지만 미리 정의된 문장에서 조금만 변형이 되면 인식을 못하는 경우가 대부분입니다. 왜 이런 문제가 발생하고 그 해결 방안에는 어떤 것들이 있는지 알아보겠습니다.       문장의 의도 파악     비슷한 문장을 판단할 때 고려해야 할 첫번째 사항은 동사의 변화입니다. 위의 사진처럼

챗봇 딥러닝 - 챗봇에 딥러닝 학습을 적용하기 어려운 이유
알파고와 이세돌과의 대결 이후 인공지능, 특히 딥러닝에 대한 관심이 아주 높아졌습니다. 구글, 페이스북, MS, IBM 같은 글로벌 기업뿐만 아니라 국내에서도 네이버, 카카오 등 여러 업체들이 차세대 성장동력으로 인공지능에 집중하고 있습니다.

보통 대부분의 사람들은 챗봇도 딥러닝을 통해 스스로 학습할 수 있다고 생각합니다. 기존에 출시된 많은 챗봇들이 그런 기능을 강조하기도 합니다. 하지만 실제로는 사진을 분류하거나 바둑을 학습하는 것보다 훨씬 어려운 문제점들이 많이 있습니다.

진화론적으로도 우리 뇌에서 시각과 언어가 발달한 시기는 큰 차이가 있습니다. 최초로 생명체가 눈을 통해 주변 환경을 인식하게 된 것은 5억년전 캄브리아기 시대였습니다. 그러나 언어를 사용해 서로 복잡한 의사소통을 할 수 있게 된 것은 불과 몇 만년밖에 되지 않았습니다. 그만큼 컴퓨터에서도 언어를 구현하는 것이 시각보다 훨씬 더 힘든 일이라는 것을 예상할 수 있습니다.

일반적인 딥러닝 기법

CNN 같은 딥러닝 방식은 내부적으로는 복잡하지만 실제 입력과 출력은 매우 간단합니다. 단지 사진이 주어지면 그것이 어떤 종류인지 분류하는게 전부입니다.

알파고의 경우 지도학습뿐 아니라 스스로 대전하면서 배우는 강화학습을 사용하였습니다. 하지만 입력은 바둑판에 놓여있는 돌들의 상태이고 출력 역시 이번에 놓을 돌의 위치로 361개에 불과합니다.

이에 반해서 챗봇에서 사용되는 입력과 출력은 자연어로 된 문장이기 때문에 그 범위가 엄청나게 넓다는 것이 가장 큰 문제입니다. 또한 그 밖에 언어를 처리하기 위해 고려해야 할 다양한 사항들이 존재합니다.

챗봇 구현의 복잡성

< 문맥 >

대화를 할때 현재 문장만으로는 의미를 파악하기 어려운 경우가 많습니다. 그래서 이전에 했던 말을 고려해서 전체적인 문맥을 이해하고 있어야 합니다. 딥러닝 RNN의 경우 이런 연속적인 관계를 처리할 수 있습니다. 하지만 문장 사이의 거리가 멀어질 수록 학습이 힘들다는 단점이 있습니다.

< 기억 >

사용자가 했던 말이나 행동을 기억하고 이를 고려해서 대답을 할 필요가 있습니다. 이런 개인화를 수행하는데 아직 딥러닝 기술을 적용하기가 어렵습니다.

사용자의 정보를 변수로 변환하고 그 데이터를 딥러닝으로 학습하여 대답을 선택하는데 활용할 수는 있습니다. 하지만 그 중간 과정을 모두 개발자가 일일이 처리를 하는 거지, 딥러닝을 통해 문장에서 바로 학습이 가능하지는 않습니다.

< 문장 생성 >

흔히 대화 데이터만 있으면 쉽게 문장을 학습할 수 있을 거라고 생각합니다. 물론 위와 같이 Seq2Seq 모델은 바로 '문장 -> 문장'으로 학습이 가능합니다. 하지만 일상적인 잡담이 아니라 목적이 있는 대화를 할 때는 이런 방식은 크게 도움이 되지 않습니다.

예를 들어, '불고기피자의 가격이 얼마야?'하는 질문에 '불고기피자의 가격은 15,000원 입니다.'라는 문장을 학습할 수 있습니다. 하지만 가격이 수시로 변할 지도 모르기 때문에 보통은 DB에서 정보를 조회하고 그 값을 대답에 사용해야 합니다.

이를 위해 '불고기피자의 가격은 <불고기피자가격>입니다.'와 같이 기호를 넣어서 학습시킬 수 있습니다. 하지만 기호를 다시 적절한 수치로 변환하는 과정이 따로 필요합니다.

또한 상용 챗봇을 개발할 때는 대답에 올바른 문장만을 사용할 필요가 있습니다. Seq2Seq 모델은 정확히 어떤 문장이 나올지 예측하기가 힘들고 문법적인 오류가 발생할 수도 있기 때문에 실제로 적용하기에 문제가 있습니다.

< 대화 흐름 >

챗봇은 단순히 한 번씩 대화를 주고받고 끝나는 것이 아닙니다. 위와 같이 피자를 주문한다고 할때 피자종류 결정, 연락처 입력, 결제, 취소 등 연속적인 과정이 필요합니다. 이런 대화의 흐름을 학습으로 처리한다는 것이 현재로서는 아주 어려운 문제입니다.

현재 딥러닝 챗봇 기술의 한계

지금 보통 딥러닝을 챗봇에 사용한다고 하면 입력 문장이 어떤 의도를 가지고 있는지 분류하는 정도입니다. 기존에 사용하던 규칙기반의 방식보다는 문장의 의미를 보다 정확히 구분할 수 있습니다. 하지만 이것만 가지고는 자연스러운 대화가 가능한 챗봇을 구현하는데 부족한 점이 많습니다.

[ Char-CNN 개요 - 출처 : Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 ]

언론을 보면 많은 챗봇들이 대화를 할수록 스스로 학습하면서 더욱 똑똑해진다고 광고를 하기도 합니다. 물론 아주 틀린 말은 아닙니다. 대화 기록을 보고 문장의 의도를 파악하는데 도움이 되는 데이터를 추가할 수 있기 때문입니다.

하지만 인공지능이 그 과정을 자동으로 수행하기는 힘듭니다. 사람이 일일이 적합한 문장을 찾고 거기에 맞는 의도를 지정해 주어야 합니다. 그리고 단순히 문장의 의미만 잘 이해한다고 지능적인 챗봇이 되는 것은 아닙니다. 대화의 흐름을 유지하고 적절하게 이끌어가는 능력이 더욱 중요합니다.

앞으로 자연어처리나 챗봇에 딥러닝이 계속 적용되고 그 기술도 지속적으로 발전할 것입니다. 그러나 사람과 같이 대화를 하는 인공지능을 개발하는 것은 당분간 힘들지 않을까 생각됩니다. 만약 그게 가능해진다면 인간이 하는 거의 모든 일들이 인공지능으로 자동화가 될지도 모르겠습니다.... 더보기

챗봇 딥러닝 - 챗봇에 딥러닝 학습을 적용하기 어려운 이유 aidev.co.kr 알파고와 이세돌과의 대결 이후 인공지능, 특히 딥러닝에 대한 관심이 아주 높아졌습니다. 구글, 페이스북, MS, IBM 같은 글로벌 기업뿐만 아니라 국내에서도 네이버, 카카오 등 여러 업체들이 차세대 성장동력으로 인공지능에 집중하고 있습니다.   보통 대부분의 사람들은 챗봇도 딥러닝을 통해 스스로 학습할 수 있다고 생각합니다. 기존에 출시된 많은 챗봇들이 그런 기능을 강조하기도 합니다. 하지만 실제로는 사진을 분류...

챗봇 딥러닝 - 딥러닝을 사용한 챗봇 개발방법 정리
현재까지 챗봇을 개발하는데 많이 쓰이는 방법은 규칙기반 방식입니다. 형태소 분석이나 구문 구석을 한 후 특정 문자열이나 정해진 규칙을 판단하여 명령을 실행합니다. 하지만 최근에는 딥러닝으로 학습을 하여 자연어를 처리하는 방법이 새롭게 연구되고 있습니다. 여기서는 최대한 간단하게 개략적인 내용만 소개하도록 하겠습니다. 보다 자세한 사항은 링크된 문서들을 참고하시기 바랍니다.

챗봇 딥러닝 - 딥러닝을 사용한 챗봇 개발방법 정리 aidev.co.kr 현재까지 챗봇을 개발하는데 많이 쓰이는 방법은 규칙기반 방식입니다. 형태소 분석이나 구문 구석을 한 후 특정 문자열이나 정해진 규칙을 판단하여 명령을 실행합니다. 하지만 최근에는 딥러닝으로 학습을 하여 자연어를 처리하는 방법이 새롭게 연구되고 있습니다. 여기서는 최대한 간단하게 개략적인 내용만 소개하도록 하겠습니다. 보다 자세한 사항은 링크된 문서들을 참고하시기 바랍니다.       워드 임베딩   신경망...

챗봇 딥러닝 - 딥러닝 자연어처리 - RNN에서 BERT까지
https://www.slideshare.net/deepseaswjh/rnn-bert
이번에 자연어처리 강연 교재를 만들고 있습니다. 그중 RNN부터 BERT까지 정리한 자료를 공유합니다. 초보자를 대상으로 최대한 쉽게 설명하려고 노력했습니다. 대신 자세한 알고리즘은 다루지 않았습니다. 전체적인 개념을 이해하는데 도움이 되었으면 좋겠습니다.... 더보기