지민 개발 블로그

학습 데이터에 모델이 과적합되는 현상은 모델의 성능을 떨어뜨리는 주요 이슈이다. 훈련 데이터에 대한 정확도는 높을 지라도 검증 데이터나 테스트 데이터에 대해서는 제대로 동작하지 않는다. 불필요할 정도로 과하게 암기하여 훈련 데이터에 포함된 노이즈까지 학습된 상태이다.1. 데이터의 양을 늘리기모델은 데이터의 양이 적을 경우, 해당 데이터의 특정 패턴이나 노이즈까지 쉽게 암기하기 되므로 과적합 현상이 발생할 확률이 늘어난다. ➡️ 데이터의 양을 늘려서 데이터의 일반적인 패턴을 학습하여 과적합을 방지하자만약, 데이터의 양이 적을 경우에는 의도적으로 기존의 데이터를 조금씩 변형하고 추가하여 데이터의 양을 늘리기도 하는데 이를 데이터 증식 또는 증강이라고 한다. 이미지의 경우에는 데이터 증식이 많이 사용되는디 이..

인공 신경망이 순전파 과정을 진행하며 예측값과 실제값의 오차를 계산하였을 때 어떻게 역전파 과정에서 경사 하강법을 사용하여 가중치를 업데이트할까?1. 인공 신경망의 이해(Neural Network Overview)아래의 그림의 인공 신경망은 입력층, 은닉층, 출력층 이렇게 3개의 층을 가진다. 또한 해당 인공 신경망은 두 개의 입력과, 두 개의 은닉층 뉴런, 두 개의 출력층 뉴런을 사용한다. 은닉층과 출력층의 모든 뉴런은 활성화 함수로 시그모이드 함수를 사용한다.위의 그림은 여기서 사용할 인공 신경망의 모습을 보여준다. 은닉층과 출력층 모든 뉴런에서 변수 z가 존재하는데 여기서 변수 z는 이전 층의 모든 입력이 각각의 가중치와 곱해진 값들이 모두 더해진 가중합을 의미한다. z 우측의 |를 지나서 존재하는..

1. 손실함수(Loss function)손실 함수는 실제값과 예측값의 차이를 수치화해주는 함수다. 오차가 클 수록 손실함수의 값은 크고 오차가 작을 수록 손실함수의 값은 작아진다.회귀에서는 평균 제곱 오차, 분류에서는 크로스 엔트로피를 주로 손실함수로 사용한다.손실 함수의 값을 최소화하는 두 개의 매개변수인 가중치와 편향을 찾는 것이 딥러닝의 학습 과정이므로 손실함수 선정은 매우 중요하다.손실 함수를 정리해보도록 하자.1) MSE(Mean Squared Error, MSE)평균 제곱 오차는 선형회귀를 학습할 때 배웠던 손실 함수이다. 연속형 변수를 예측할 때 사용된다.아래와 같이 compiled의 loss에 문자열 'mse'라고 기재하여 사용할 수 있다.compile의 loss는 tf.keras.loss..

순전파 : 인공 신경망에서 입력층에서 출력층 방향으로 연산을 수행하는 과정주어진 입력이 입력층으로 들어가서 은닉층을 지나 출력층에서 예측값을 얻는 과정 ➡️ 결정적으로 행렬의 곱셈으로 이해할 수 있다. 다층 퍼셉트론 내의 가중치와 편향의 개수를 추정하는 방법에 대해서 학습힌다.1. 순전파(Forward Propagation)활성화 함수, 은닉층의 수, 각 은닉층의 뉴런 수 등 딥 러닝 모델을 설계하고나면 입력값은 입력층, 은닉층을 지나면서 각 층에서의 가중치와 함께 연산되며 출력층으로 향한다. 출력층에서 모든 연산을 마친 예측값이 나온다.순전파 : 입력층 ➡️ 출력층2. 행렬곱으로 순전파 이해하기위와 같은 인공신경망이 있다고 할 때, 입력의 차원은 3, 출력의 차원이 2인 위 인공신경망을 구현한다면 아래..

1. 피드 포워드 신경망(Feed-Forward Neural Network, FFNN)오직 입력층에서 출력층 방향으로 연산이 전개되는 신경망FFNN가 아닌 RNN이라는 신경망이다. 은닉층의 출력값을 출력층으로도 값을 보내지만, 동시에 은닉층의 출력값이 다시 은닉층의 입력으로 사용되기도 한다.2. 전결합층(Fulyy-connected layer, FC, Dence layer)다층 퍼셉트론은 은닉층과 출력층에 있는 모든 뉴런은 바로 이전 층의 모든 뉴런과 연결되어 있다.전결합층 (완전결합층, FC): 이전 층의 모든 뉴런과 연결되어 있는 층밀집층이라고 부르기도 한다.3. 활성화 함수(Activation Function)은닉층과 출력층의 누련에서 출력값을 결정하는 함수계단 함수(0 or 1)는 활성화 함수의 ..

🤔 머신러닝영상 처리, 번역기, 음성 인식, 스팸 메일 탐지 등 굉장히 많은 분야에서 응용되는 중이다. 특히 머신 러닝의 한 갈래인 딥 러닝은 자연어 처리 엔지니어에게 필수 역량이다. 머신러닝의 방식위쪽은 기존의 프로그래밍 접근 방식아래쪽은 머신 러닝의 접근 방식머신 러닝은 데이터가 주어지면, 기계가 스스로 데이터로부터 훈련성을 찾는 것에 집중한다. 주어진 데이터로부터 규칙성을 찾는 과정을 훈련(training) 또는 학습(learning)이라고 한다. 훑어보기머신 러닝을 위한 데이터: 훈련용 검증용 테스트용훈련: 머신 러닝 모델 학습테스트: 머신 러닝 모델의 성능 평가검증: 과적합이 되고 있는지 판단하거나 하이퍼파라미터의 조정을 위한 용도하이퍼파라미터(초매개변수): 모델의 성능에 영향을 주는 사람이 ..

1. 선형 회귀(Linear Regression)어떤 요인으 수치에 따라서 특정 요인의 수치가 영향을 받 있다.어떤 변수의 값에 따라서 특정 변수의 값이 영향을 받고 있다.x에 의해서 종속적으로 y의 값이 변한다선형 회귀는 1개 이상의 독립 변수 x와 y의 선형 관계를 모델링 한다. 이때 독립변수 x가 1개이면 단순 선형 회귀라고 한다.1) 단순 선형 회귀 분석(Simple Linear Regression Analysis)곱해지는 값 w를 머신 러닝에서는 가중치(weight), 별도로 더해지는 값 b를 편향(bias)라고 한다.직선의 방정식에서는 각각 직선의 기울기와 절편을 의미한다.2) 다중 선형 회귀 분석(Multiple Linear Regression Analysis)x가 여러개일 때 사용2. 가..

둘 중 하나를 결정하는 문제를 이진 분류(Binary Classification)라고 한다. 이런 문제를 풀기 위한 대표적인 알고리즘이 로지스틱 회귀(Logistic Regression)1. 이진 분류(Binary Classification)공부 시간과 성적 간의 관계를 직선의 방정식으로 표현한다는 가설 하에, 주어진 데이터로부터 가중치 w와 편향 b를 찾아 데이터를 가장 잘 표현하는 직선을 찾았다. 이번에는 배울 둘 중 하나의 선택지 중에서 정답을 고르는 이진 분류 문제를 직선으로 표현하는 것은 적절하지 않다.학생들이 시험 성적에 따라서 합격, 불합격이 기재된 데이터가 있다고 가정하자.시험 성적이 x라면 합불 결과는 y이다. 이 데이터로부터 특정 점수를 얻었을 때의 합격, 불합격 여뷰를 판정하는 모델을..

인공 신경망은 수많은 머신 러닝 방법 중 하나이다.전통적인 머신 러닝과 딥 러닝을 구분해서 딥러닝을 이해하기 위해서는 인공 신경망에 대한 이해가 필요하다.1. 퍼셉트론(Perceptron)프랑크 로젠블라트가 1957년에 제안한 초기 형태의 인공신경망다수의 입력으로부터 하나의 결과를 내보내는 알고리즘! 신경 세포 뉴런의 동작과 매우 유사하다.아래는 신경 세포 뉴런이다.가지돌기에서 신호를 받아들이고, 역치 이상의 크기를 가지게 되면 축삭돌기를 통해서 신호를 전달한다.아래는 퍼셉트론 그림이다.신경 세포 뉴런의 입력 신호와 출력신호가 퍼셉트론에서는 각각 입력값과 출력에 해당된다.그림에서 x 는 입력값을 의미하며, w 는 가중치, y는 출력값이다. 그림 안의 원은 인공 뉴런에 해당한다.축삭돌기의 역할을 퍼셉트론에..

🤔 결정트리란?분류와 회귀 문제에 널리 사용하는 모델다중출력도 작업 가능결정에 다다르기 위해 예/아니오 질문을 이어 나가면서 학습Hands On Machine Learning 실습6.1 결정 트리 학습과 시각화어떻게 예측을 하는지 살펴보는 것을 목적으로 한다.붓꽃 데이터셋에 DecisionTreeCrlassifier을 훈련시키는 코드다.from sklearn.datasets import load_irisfrom sklearn.tree import DecisionTreeClassifieriris = load_iris()X = iris.data[:, 2:] # 꽃잎의 길이와 너비y = iris.targettree_clf = DecisionTreeClassifier(max_depth = 2)tree_clf..