Data Analysis/Deep Learning7 [딥러닝] 7. 딥러닝 7.1 더 깊게7.1.1 더 깊은 네트워크로VGG 신경망을 참고한 CNN 신경망3x3 크기의 작은 필터를 사용한 합성곱 계층활성화 함수는 ReLU완전연결 계층 뒤에 드롭아웃 계층 사용Adam을 사용해 최적화가중치 초깃값은 He의 초깃값python 코드: https://github.com/WegraLee/deep-learning-from-scratch/blob/master/ch08/train_deepnet.py 7.1.2 정확도를 더 높이려면What is the class of the image? 웹사이트에서 기법들의 정확도 순위 확인 가능상위 순위에서 사용한 CNN은 합성곱 계층 2개, 완전연결 계층 2개 정도로 깊지 않음그러나 대규모 일반 사물 인식에서는 문제가 복잡해지므로 층을 깊게 하여 정확도 개선.. 2025. 7. 28. [딥러닝] 6. 합성곱 신경망(Convolutional neural network, CNN) 6.1 전체 구조지금까지 본 신경망은 인접한 계층의 모든 뉴런과 결합되어 있음이를 완전연결(fully-connected, 전결합)이라 칭함완전히 연결된 계층을 Affine 계층으로 구현함아래 그림에서는 Affine-ReLU 조합이 4개씩 쌓였고 마지막 5번째 층은 Affine-소프트맥스 계층에서 최종 결과(확률) 출력CNN에서는 새로운 합성곱 계층(Conv)과 풀링 계층(Pooling)이 추가됨CNN 계층은 Conv-ReLU-(Pooling) 흐름으로 연결됨출력에 가까운 층에서는 Affine-ReLU 구성 사용할 수 있음마지막 출력 계층에서는 Affine-Softmax 조합 사용 6.2 합성곱 계층CNN에서는 패딩(padding), 스트라이드(stride) 등 고유 용어 등장각 계층 사이에 3차원 등 .. 2025. 7. 17. [딥러닝] 5. 신경망 학습 관련 기술 가중치 매개변수 최적값 탐색 최적화 방법가중치 매개변수 초깃값하이퍼파라미터 설정법 5.1 매개변수 갱신최적화(optimization)손실 함숫값을 최대한 낮추는 매개변수를 찾는 것이 신경망 학습의 목적 = 매개변수 최적화5.1.1 확률적 경사 하강법(Stochastic Gradient Descent, SGD)설명매개변수 기울기를 구해 기울어진 방향으로 매개변수 값을 갱신수식 $W \leftarrow W-\eta \frac{\partial }{\partial W}$$W$: 갱신할 가중치 매개변수$ \frac{\partial }{\partial W}$: $W$에 대한 손실 함수의 기울기$ \eta$: 학습률, 0.01이나 0.001과 같은 값을 미리 정해서 사용class SGD: def __init__(s.. 2025. 7. 14. [딥러닝] 4. 오차역전파법 4. 오차역전파법(backpropagation)수치 미분은 단순하고 구현하기 쉽지만 계산 시간이 오래 걸림오차역전파법은 가중치 매개변수에 대한 손실 함수의 기울기를 효율적으로 계산 가능오차를 역 방향으로 전파하는 방법수식 또는 그래프로 이해 가능4.1 계산 그래프(computational graph)계산 과정을 그래프로 나타낸 것노드(node), 엣지(edge)로 구성됨4.1.1 계산 그래프 문제계산 그래프 구성왼쪽에서 오른쪽으로 계산 진행(순전파)오른쪽에서 왼쪽으로 계산 진행(역전파)예시: 100원짜리 사과 2개를 샀을 때, 소비세 10%가 부가되면 최종 가격은? 4.1.2 국소적 계산국소적 계산은 전체와 상관없이 자신과 관계된 정보만 결과로 출력할 수 있음국소적: 자신과 직접 관계된 작은 범위계산 그.. 2025. 6. 26. [딥러닝] 3. 신경망 학습 3. 신경망 학습3.1 데이터 학습학습: 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것손실 함수: 신경망이 학습할 수 있도록 해주는 지표이며, 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표 3.1.1 규칙을 찾는 패러다임의 전환수작업e.g. 진리표를 보며 수작업으로 매개변수 값 설정기계학습데이터를 통해 규칙 찾기e.g. 이미지에서 특징(feature)을 추출하고 학습이미지를 벡터로 변환하고, 지도 학습 알고리즘인 SVM, KNN 등으로 학습 가능Support Vector Machine(SVM): 데이터를 분리하는 가장 넓은 마진(margin)을 가진 초평면(hyperplane)을 찾아서 분류K-Nearest Neighbors(KNN): 새로운 데이터를 분류할 때,.. 2025. 6. 18. [딥러닝] 2. 신경망 2. 신경망퍼셉트론은 복잡한 함수를 표현할 수 있지만, 가중치는 사람이 직접 설정해야 함신경망은 적절한 가중치 매개변수 값을 데이터로부터 자동으로 학습 2.1 신경망입력층(0층), 은닉층(1층) , 출력층(2층)으로 구성그림에서 원 = 노드 = 뉴런활성화 함수(activation function)$h(x)$와 같이 입력 신호의 총합을 출력 신호로 변환하는 함수기존 퍼셉트론 그래프에서 편향을 추가 표현하면 아래와 같음 이를 함수 $h(x)$로 나타내면$$ y=h(b+w_1x_1+w_2x_2) $$$$ h(x)=\left\{\begin{matrix}0 (x\leq 0 ) \\1 (x > 0 ) \end{matrix}\right. $$ 따라서 활성화 함수는 두 개의 식으로 표현 가능$$a = b + w_1.. 2025. 6. 8. [딥러닝] 1. 퍼셉트론 1. 퍼셉트론1.1 퍼셉트론(perceptron)여기에서는 퍼셉트론을 '인공 뉴런' 또는 '단순 퍼셉트론'으로 정의다수의 신호를 받아 하나의 신호를 출력1=신호가 흐름, 0=흐르지 않음뉴런 또는 노드에서 다른 뉴런으로 보낼 때 가중치가 곱해짐뉴런에서 보내온 신호의 총합이 일정 한계(임계값, $ \theta $)를 넘어설 때만 1을 출력 (=뉴런 활성화)$$y = \left\{ \begin{array}{ll} 0 & (\text{if } w_1x_1 + w_2x_2 \leq \theta) \\ 1 & (\text{if } w_1x_1 + w_2x_2 > \theta)\end{array} \right. $$ 1.2 AND, NAND, OR 게이트InputOutput$x_1$$x_2$ANDNANDOR00010.. 2025. 6. 6. 이전 1 다음 728x90 반응형
