[내용출처]https://isip.piconepress.com/courses/temple/ece_4822/resources/books/Deep-Learning-with-PyTorch.pdf파이토치 딥러닝 마스터 7장 이번 장에서는 신경망에 대한 기초를 더 다져본다. 어떤 주제에 대한 직관적인 이해에 단순한 데이터를 다루는 것만큼 쉬운 방법은 없기 때문에, 컴퓨터 비전 분야의 고전 데이터셋인 CIFAR-10 데이터셋으로 이미지 분류를 처음부터 끝까지 진행해 보자. 1. CIFAR-10 데이터셋 다운로드from torchvision import datasetsdata_path = '/content'cifar10 = datasets.CIFAR10(data_path, train = True, download ..

그래도 첫 번째 과제에서 포기하지 않고 두번째까지 왔으니 열심히 해보도록 하자. Part 1. Understanding word2vec Word2Vec 논문을 읽으면서 혼자 수식을 풀어본 것이 Part 1 과 굉장히 밀접했다.먼저 중심단어벡터가 주어졌을 때, 주변 단어 벡터의 확률과 그를 이용한 손실 함수를 다시 쓰고 넘어가자. (a)는 로스가 실제분포 $y$와 예측분포 $\hat{y}$의 cross entropy임을 보이는 것. (b)는 손실함수 $J$를 중심벡터 $v_c$로 미분하고, 직관적인 의미 이해하기 (c)는 L2 정규화에 대한 이해 (d)는 손실함수를 주변단어에 대해 미분하고, 직관적인 의미를 이해하는 것. 주변단어가 정답일 때, 정답이 아닐 때로 나누어 계산하여도 결국 일반화가 가능하다...

[내용 출처]https://isip.piconepress.com/courses/temple/ece_4822/resources/books/Deep-Learning-with-PyTorch.pdf 딥러닝은 머신러닝의 한 분야로, 이름 그대로 학습(learning)을 수행하는 알고리즘이다.그리고 그 학습이란 본질적으로 파라미터를 추정하는 과정에 불과하다는 것을 머신러닝과 딥러닝을 공부하며 깨닫게 되었다. (다만 전통적 머신러닝이 고정된 수식 구조 안에서 파라미터만을 추정하는 반면, 딥러닝은 표현 학습(Representation Learning)을 통해 데이터의 구조적 특징을 스스로 학습한다는 점에서 차이가 있다.그래도 여전히 파라미터를 추정함으로써 학습이 이루어지는 것임은 확실하다.) 그래서 길고 긴, 넓고 ..