Weekly-NLP, Introduction

공부했던 내용을 정리하고 기록으로 남기고자 하는 목적으로 글을 작성해 보고자 합니다. 이 시리즈는 크게 두 파트로 나뉘어질 예정입니다. 첫번째 파트에서는 NLP Tasks를 모델링하기 위한 기본적인 지식들에 대해서 다루며, 다음과 같은 개념들에 대해 살펴볼 예정입니다.

• Language Models
• Word Dependencies and N-gram Model
• RNN
• LSTM
• Sequence to Sequence (Encoder and Decoder) Architecture
• Attention
• Transformer blocks and Transformer

두 번째 파트에서는, 앞서 다루었던 접근법들이 다양한 NLP Tasks에 어떻게 적용되는지에 대해서 다룰 예정입니다. 즉, 해당 모형들의 Applications에 집중할 예정이며, 여기에는 다음과 같은 내용들이 포함됩니다.

• Word Embeddings
• Machine Translation
• Pre-trained Language models, e.g., BERT, GPT3
• Syntactic Parsing, Semantic Parsing
• Paraphrasing
• Question Answering
• Summarisation
• Data-to-Text Generation
• Sentiment Analysis

작성하는 글에서는 엄밀한 증명이나 수학적인 이해보다는, 전반적인 흐름을 살펴보는 데에 집중하고자 합니다. 즉, 이 시리즈는 특정 문제를 해결하는데에 있어서 기존 접근법이 어떤 문제가 있었고, 이를 해결하기 위해서 어떠한 접근방법이 제시되었으며, 새로 제시된 접근법의 한계는 무엇이었는지 등에 초점을 맞추고 있습니다. 마지막으로, 이 시리즈는 에딘버러 대학교(University of Edinburgh)의 다음 세 강의에 기반하고 있다는 사실을 미리 밝힙니다.

• INFR11125: Accelerated Natural Language Processing
• INFR11157: Natural Language Understanding, Generation and Machine Translation
• INFR11145: Text Technologies for Data Science