https://www.youtube.com/watch?v=LWMzyfvuehA&list=PLoROMvodv4rOaMFbaqxPDoLWjDaRAdP9D&index=88강 강의 링크이다. 2024 spring 재생목록인데 8강부터는 2023년 영상이고 매닝 교수님 말고 다른 분들이 등장하지만이분도 핵심만 잘 가르치고 질문에 대한 대답이 깔끔하시다. 이번 강의에서는 자연어처리 모델이 RNN 중심의 시대에서 self-attention, 그리고 Transformer 중심의 시대로 넘어온 과정을 다룬다. 2010년대 초중반까지는 순차적인 정보를 다루는 데 있어 RNN이 기본적인 선택지였지만, 데이터가 커지고 GPU는 강력해지지만 그 성능을 이끌어내지 못하는 효율성 때문에 한계가 명확해졌다. 오늘은 왜 recurr..

커리큘럼대로 따라가기만 해도 자연어처리 분야를 시간순서대로 차근차근히 이해하고 있다는 느낌이 든다. 저번 강의에서 Seq2seq 모델을 배웠고, 읽을거리들을 읽으며 attention 메커니즘에 대해 이해를 했다. 그리고 나니 강의 때 40분 정도 attention에 대한 내용을 다뤄도 이해가 쏙쏙 되는 기분이다.그럼 강의내용을 정리해보자. (다음 순서로 진행된다)기계번역의 EvaluationAttentionFInal Projects1. How do we Evaluate MT?기계번역을 어떻게 평가할까?간단하게 BLEU라는 가장 흔히 쓰이는 평가지표를 소개한다. 자세한 리뷰는 아래 글을 참고하고, 여기엔 간단하게 정리만 해보자2025.12.31 - [논문리뷰/NLP] - [논문리뷰] BLEU : a Met..

자연어처리에 대해 공부를 해보려고 한다. 기초가 튼튼해야 뭐라도 할 수 있을 것 같아서 시작한다..스탠포드의 강의를 방구석에서 무료로 들을 수 있다니 얼마나 행운인가? 2024년 봄학기 스탠포드의 NLP With Deep Learning 강의를 듣고 정리해보도록 하자. 실제로 수업을 듣는 것처럼 과제도 하고, 프로젝트도 해볼 생각이다. 1. Learning Goalsmethods of DL applied to NLP : bottom-up 방식으로 Wodf Vectors, Feed-Forward Networks, Recurrent Networks, Attention -> Transformers, Encoder-Decoder models, Pretraing, Post-Training(RLHF, SFT), ..