• Innovation through disruptive and scalable technology .
  • Cutting-edge AI research .
  • Accelerating innovations in research and service .
  • We strive for (and achieve) excellence! .
  • “SotA” (State-of-the-Art) .
  • Visual demo of research and service innovation
  • Human. Machine. Experience Together .

2019 Association for Computational Linguistics (ACL) 참석

2019.08.13

SK텔레콤 AI 센터는 지난 7월 28일부터 8월 2일까지 이탈리아 피렌체에서 열린 컴퓨터 언어 분야의 세계적인 학회인 ACL에 참석하였습니다. AI 센터 T-Brain의 연구자들은 최근 연구 결과에 대해 교육을 진행하는 튜토리얼, 개별 주제에 대해서 소규모로 진행되는 워크숍, 선정된 논문의 구두 및 포스터 발표로 진행되는 메인 컨퍼런스에 참석하였고, 학회에 참석한 다양한 연구자들 과도 최근 연구 흐름과 관심사에 관해 이야기를 나누는 시간을 가졌습니다.

이번 ACL에서는 총 3개의 논문을 통해 주저자 또는 공저자로 참여한 자연 언어 처리 및 멀티모달 학습 분야의 연구 성과를 알렸습니다.

먼저, Dialogue and Interactive Systems 세션에서는 SUMBT: Slot-Utterance Matching for Universal and Scalable Belief Tracking 논문이 발표되었습니다. 이 연구에서는 목적 지향 대화 시스템을 위한 대화 상태를 추적하는 모델을 제안하였습니다. 제안된 모델은 도메인 및 시나리오 확장에 유연하게 대응할 수 있도록 설계된 것이 특징으로 실험을 통해 유효성을 입증하였습니다. 제안된 모델은 BERT(Bidirectional Encoder Representations for Transformers) 모델을 기반으로 한 문맥 의미 벡터에 어텐션 메커니즘(attention mechanism)을 적용함으로써, 대화 상태를 추적하는 모델의 평가를 위한 공개 데이터인 WOZ 2.0과 MultiWOZ에서 최고 수준의 성능(state-of-the-art)을 달성하였습니다.

추가로, T-Brain은 본 연구의 실험 결과를 타 연구자들이 재현하고, 또 관련하여 진행되는 비교 연구에 사용할 수 있도록 실험에 사용된 소스 코드와 리소스 파일을 공개하였습니다.

◆ 소스코드 & 리소스: https://github.com/SKTBrain/SUMBT

두 번째로, Machine Learning 세션에서는 Soft Representation Learning for Sparse Transfer 논문이 발표되었습니다. 이 연구는, 관련성이 높은 과제 (task)들의 성능을 동시에 향상하기 위한 전이 학습 (transfer learning)을 제안하고, 이를 다중 작업 학습 (multi-task Learning)과 교차 언어 학습 (cross-lingual Learning)에 적용하였습니다. 제안된 방법은, 과제 간 공유 혹은 공유되지 않은 영역을 “soft-code” 하는 방법으로, 적대적 학습 (adversarial training)에 의해 공유된 영역이 희소해짐 (sparse)을 방지하였습니다. 특히, 기존 hard-parameter sharing 방법에서 관찰된 관련성이 낮은 과제 간에 발생하였던 부정 전이 (negative transfer)현상을 해결함으로써 성능 향상을 확인하였습니다.

마지막으로, Vision, Robotics, Multimodal, Grounding and Speech 세션에서 발표된 CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication 논문입니다. 이 연구는 목적지향 협력 과제를 수행함으로써 언어, 시지각, 행동을 동시에 학습하는 인공지능을 만들고자 CoDraw라는 이미지 드로잉 협력 게임을 제안하였습니다. 이 게임에는 전달자(Teller)와 화가(Drawer) 두 역할이 존재합니다. 전달자는 다양한 클립아트들로 의미 있게 미리 구성된 이미지를 볼 수 있고 채팅 창에서 자연어 대화를 통해 화가에게 그 내용을 전달할 수 있습니다. 화가는 그 대화를 통해 비어 있는 캔버스에 클립아트로 이미지를 재구성하는 것이 목표입니다. 약 14만 개의 메시지로 구성된 1만 개의 게임 대화를 기준 자격을 갖춘 사람들로부터 수집하였고 재구성된 이미지를 정량적으로 평가할 수 있는 성능 지표도 함께 제안하였습니다. 이번 연구를 통해 두 역할의 인공지능을 학습할 때 서로 겹치지 않는 학습 데이터를 이용하는 crosstalk라는 평가 조건을 사용한 것이 중요하다 밝혔습니다. 추가로 사람과의 라이브 게임을 통한 평가도 확인해 보실 수 있습니다. 이 연구는 UC버클리, 페이스북 AI Research, 서울대(저자 순)와 공동연구한 성과물로서, 본 연구에 사용된 데이터 셋과 학습모델은 아래 링크에서 확인 가능합니다.

◆ 데이터셋: https://github.com/facebookresearch/CoDraw
◆ 학습모델: https://github.com/facebookresearch/codraw-models