개요 RNN과 LSTM은 요즘 핫한 문장 생성에 사용되는 transformer를 이해하는데 필요한 기초적인 신경망입니다. 문장, 음악과 같은 시퀀스 데이터 학습을 위한 신경망으로, 이전 데이터를 학습에 사용한다는 특징이 있습니다. 하나씩 자세히 알아보도록 하겠습니다. RNN(Recurrent Neural Network) 출처: https:/...
세그먼트 트리 비츠는 레이지 세그먼트 트리와 세그먼트 트리에 대한 이해가 선행되어야 합니다. 아직 세그먼트 트리와 레이지 세그먼트 트리를 잘 모르신다면 [자료구조] 세그먼트 트리(Segmenmt Tree)와 [자료구조] 레이지 세그먼트 트리(Lazy Segmenmt Tree)를 먼저 읽고 오시는걸 추천합니다. 개요 레이지 세그먼트는 바로 업데이트...
레이지 세그먼트 트리는 세그먼트 트리에 대한 이해가 선행되어야 합니다. 아직 세그먼트 트리를 잘 모르신다면 [자료구조] 세그먼트 트리(Segmenmt Tree)를 먼저 읽고 오시는걸 추천합니다. 개요 세그먼트 트리는 구간합을 구하는데 시간복잡도를 줄여주는 좋은 자료구조 입니다. 하지만 구간을 정해 값을 업데이트하는 문제와 같이 더 복잡한 연산이...
개요 백준애 19277 - ADD, DIV, MAX 문제를 풀고 신선한 충격을 받아 풀이를 정리해보려고 합니다. 해당 문제는 세그먼트 트리 비츠 라는 자료구조가 사용되었는데, 이 알고리즘을 이해하려면 세그먼트 트리, 레이지 세그먼트 트리의 이해가 선행되어야 합니다. 그래서 오늘을 세그먼트 트리에 대해서 정리헤 보겠습니다. 세그먼트 트리? 세그...
개요 레이어 정규화(Layer Normalization, LN)은 배치 정규화(Batch Normalization, BN)과 비슷하게 신경망 내부에서 정규화를 진행하는 방법입니다. 요즘 많이 연구되는 텍스트 생성과 같은 테스크에 주로 사용되는 Transformer, RNN과 같은 시퀀스 모델에는 BN이 적용이 어려워 Layer Normalizati...
개요 배치 정규화(Batch Normalization)은 2015년에 공개된 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 논문에서 제안된 개념입니다. 배치 정규화는 학습 속도 개선, 오버피팅 억제 등 여러 장점이 있어 현재 대부...
개요 활성화 함수(Activation Function)는 신경망에서 뉴런이 입력을 받아 출력으로 보낼 때 적용하는 비선형 함수입니다. 활성화 함수를 적용하여 비선형성을 주어 복잡한 문제를 학습할 수 있도록 합니다. 활성화 함수 종류 활성화 함수는 목적, 데이터 특성에 따라 다양한 함수를 사용합니다. Sigmoid [\sigma(x) = \f...
개요 딥러닝은 순전파(Forward Propagation)과 역전파(Back Propagation) 두 단계로 진행됩니다. 순전파는 입력 -> 신경망 -> 출력 순으로 계산해서 예측 값을 산출해내는 과정이고, 역전파는 출력 값으로 오차를 계산해서 신경망을 거슬러 올라가며 파라미터를 업데이트 하는 과정입니다. 각 과정에 대해 자세히 알아...
Optimizer? 딥러닝은 오차함수(Loss Function)을 이용해 목표와 예측값의 차이를 계산하고, 최적화 알고리즘을 이용해 모델의 파라미터값을 수정해가며 학습을 진행합니다. 이때 여러 최적화 알고리즘을 Optimizer라고 합니다. 옵티마이저 종류 옵티마이저는 여러 종류가 있습니다. 오차값을 이용해 어떤 방식으로 파라미터를 업데이트 ...
ResNet 논문을 읽고 정리하기 위해 작성하는 글 입니다. 논문 원본은 여기서 확인 가능합니다. ResNet? ResNet은 점점더 깊어질수록 학습하기 어려워지는 문제가 있습니다. 주요 원인으로는 깊이가 깊어짐에 따라 생기는 기울기 소실/폭주(gradient vanishing/exploding) 문제 입니다. 해당 문제들은 nomalized...
새 버전의 콘텐츠를 사용할 수 있습니다.
