개요 딥러닝은 순전파(Forward Propagation)과 역전파(Back Propagation) 두 단계로 진행됩니다. 순전파는 입력 -> 신경망 -> 출력 순으로 계산해서 예측 값을 산출해내는 과정이고, 역전파는 출력 값으로 오차를 계산해서 신경망을 거슬러 올라가며 파라미터를 업데이트 하는 과정입니다. 각 과정에 대해 자세히 알아...
Optimizer? 딥러닝은 오차함수(Loss Function)을 이용해 목표와 예측값의 차이를 계산하고, 최적화 알고리즘을 이용해 모델의 파라미터값을 수정해가며 학습을 진행합니다. 이때 여러 최적화 알고리즘을 Optimizer라고 합니다. 옵티마이저 종류 옵티마이저는 여러 종류가 있습니다. 오차값을 이용해 어떤 방식으로 파라미터를 업데이트 ...
ResNet 논문을 읽고 정리하기 위해 작성하는 글 입니다. 논문 원본은 여기서 확인 가능합니다. ResNet? ResNet은 점점더 깊어질수록 학습하기 어려워지는 문제가 있습니다. 주요 원인으로는 깊이가 깊어짐에 따라 생기는 기울기 소실/폭주(gradient vanishing/exploding) 문제 입니다. 해당 문제들은 nomalized...
오차함수? 오차함수(loss function)은 컴퓨터가 예측한 선이 얼마나 데이터를 잘 표현하는지 판단할때 사용하는 수식입니다. 데이터를 잘 표현했다면 오차가 작고, 그렇지 못하다면 오차가 크죠. 딥러닝에서는 오차값을 이용해 오차역전파(back propagation) 과정을 거쳐 모델의 가중치와 편향을 더 잘 예측할 수 있도록 업데이트 할때...
간단하게 머신러닝(딥러닝)에 대해 정리해보는 글 입니다. 딥러닝에 대해 간단한 원리와 용어 정리같은 느낌의 글이라서 자세한 내용은 추후에 각각 추가적인 포스팅으로 하나하나 자세히 다뤄볼 예정입니다. 머신러닝? 딥러닝? 인터넷에 관련 정보를 찾아보다보면 많은 사람들이 인공지능, 머신러닝, 딥러닝을 혼용해서 사용합니다. 하지만 각 단어는 모두 뜻이...
선형독립, 선형종속 집합 \(S = \left\{ v_1, v_2, \cdots v_r \right\}\)이 벡터공간 \(V\)의 두개 이상의 벡터 집합이고, \(S\)의 어떤 벡터도 다른 벡터드의 선형결합으로 표현이 불가능하면 선형독립집합(linearly independent set)이라고 하고, 아니라면 선형종속집합(linearly depende...
생성집합 \(V\)의 벡터 \(w\)를 \(w = k_1 v_1 + k_2 v_2 + \cdots + k_n v_n\)으로 표현할 때, \(w\)를 \(V\) 내 벡터 \(v_1, v_2, \cdots v_n\)의 선형 결합 또는 일차 결합이라고 한다. 이때 \(S={w_1, w_2, \cdots w_n}이 벡터 공간\)V$$내 공집합이 아닌 벡터...
부분공간 벡터공간 \(V\)의 부분집합 \(W\)가 \(V\)에서 정의된 덧셈과 스칼라 곱셈에 대해 만족해서 백터공간이 될 때, \(W\)를 \(V\)의 부분공간(subspace)라고 한다. 벡터공간임을 증명하기 위해서는 10가지의 공리를 만족함을 증명해야 하지만, 부분집합은 대부분의 공리가 상속되므로 아래 4가지의 공리만 만족함을 증명하면 된다....
개요 합성곱 신경망(CNN, Convolution Neural Network) 알고리즘은 이미지의 특징을 추출하여 학습하기 위해 고안된 알고리즘 입니다. 일반적인 이미지는 각 채널별로 이미지 데이터를 가지고있습니다. 예를들어 가로와 세로 픽셀 개수가 600인 RGB채널의 이미지는 각 채널별로 600x600개의 픽셀이 존재합니다. 문제는 기존 다...
벡터공간의 공리 \(u, v\)가 \(V\)의 개체이면 \(u + v\)도 \(V\)에 속한다. \[u + v = v + u\] \[(u + v) + w = u + (v + w)\] \(V\)의 모든 \(u\)에 대해서 \(u + 0 = 0 + u = u\)를 만족하는 개체 0이 \(V\)에 존재할 떄, 이를 \(V\)...
새 버전의 콘텐츠를 사용할 수 있습니다.
