퍼셉트론 (인공신경망)

예를 들어 두가지의 입력값이 들어온다고 가정 먼저 가중합을 구한다, 즉 (ax + by + c) 함수가 있다고 했을때 입력값 x,y에대한 가중치는 a,b,c이다<br>

다음 활성화 함수를 적용을 한다 (예를 들어 로지스틱 회귀에서 이진 분류를 위한 함수는 시그모이드 함수이고 다중 분류를 위한 함수는 소프트맥스 함수이다) 경우에 따라 함수를 설정하고 값을 출력<br>

역전파 학습 알고리즘

예제 코드

#tensorflow 라이브러리에서 제공하는 Kerasf API를 사용함
from tensorflow import keras

#train_input : 모델의 훈련데이터의 이미지
#train_target : 훈련 데이터의 클래스
#test_input : 생성된 모델을 테스트 하기위한 테스트 데이터의 이미지
#test_target : 테스트 데이터의 클래스
#아래 코드는 fashion mnist 데이터셋을 불러오고 훈련데이터와 테스트 데이터에 불러온 데이터셋을 로드하는 부분입니다
#이미지의 사이즈는 28x28(가로x세로) 사이즈로 저장이 됨
(train_input , train_target) , (test_input , test_target) = keras.datasets.fashion_mnist.load_data()

#훈련 데이터와 테스트 데이터의 이미지 갯수 와 이미지 사이즈를 출력
print(train_input.shape , train_target.shape)
print(test_input.shape , test_target.shape)

#파이썬에서 데이터를 시각화 하기위한 matplotlib 라이브러리를 사용 이름을 plt로 하겠습니다
import matplotlib.pyplot as plt
#파이썬의 numpy 라이브러리를 사용한다는 의미 이름을 np로 설정 (수치계산 및 배열에대한 컨트롤을 위한 라이브러리)
import numpy as np
#1행 10열의 그림을 생성하고 전체 그림의 크기를 10x10으로 설정
#이제 아래 반복문을 통해 각 열에대한 이미지를 접근 해 보겠습니다
fig, axs = plt.subplots(1,10,figsize=(10,10))

#i번째 열의 이미지를 회색(흑백)으로 표시하는 부분
for i in range(10):
  axs[i].imshow(train_input[i] , cmap='gray_r')
  axs[i].axis('off') #x축 및 y축을 비활성화하는 부분
plt.show() #그림을 화면에 표시

#처음 10개 이미지에 대한 클래스 정보를 출력합니다
print([train_target[i] for i in range(10)])
#훈련데이터의 클래스를 나타내는 배열이며 배열에서 값들이 나타난 횟수를 반환하여 출력합니다
print(np.unique(train_target , return_counts = True))

#이미지 데이터를 0에서 1사이의 값으로 스케일링 하는 작업입니다 각 픽셀의 값을 255으로 나누는 것
train_scaled = train_input / 255.0
#train_scaled는 스케일링이 완료된 값으로 train_input을 스케일링한 이미지데이터를 담고있는 배열이된다
#train_scaled는 3차원 배열로 제공되었기 때문에 2차원 배열로 변환 해야합니다
train_scaled = train_scaled.reshape(-1 , 28 * 28)
#train_scaled의 형태를 출력하는데 28*28개의 픽셀값을 가진 벡터로 표현됨
print(train_scaled.shape)

from sklearn.model_selection import cross_validate
#사이킷런의 경사하강을 사용한 모델인 SGDClassifier을 불러온다
from sklearn.linear_model import SGDClassifier

#로지스틱 손실함수를 사용하며 최대 반복횟수를 5로 설정 그리고 결과를 재현하기 위한 난수 시드이고
#전체적으로 SGDClassifier 모델을 초기화 하는 부분입니다
sc = SGDClassifier(loss='log' , max_iter=5 , random_state=42)

#n_jobs=-1은 가능한 모든 CPU의 코어를 사용하라는 의미이고
#cross_validate함수를 사용하라는 부분 (fit이 포함되어있음)
scores = cross_validate(sc, train_scaled , train_target , n_jobs = -1)
#테스트데이터의 평균 정확도를 출력하는 부분
print(np.mean(scores['test_score']))

로지스틱 회귀로 시도 할 경우(다중분류)

신경망으로 시도할경우 상기 예제 코드

# 테스트 데이터의 정확성 검증을 위해 val데이터로 충분히 검증을 한다음에 테스트를 적용하기 위해 val을 사용한다
# 테스트 데이터의 종속성을 없애자! 왜냐하면 훈련데이터와 테스트 데이터 단 두개만 분리하면 테스트 데이터의 점수가 정확하지 않을수가 있다
# 그러면 다시 튜닝을 하는데(특성을 늘린다던지 , 가중치를 많이 설정한다던지) 해당 과정에대한것을 val로 놓는다는 의미이다
# 그래서 값이 정확해졌을때 테스트를 넣어 테스트 데이터의 의존성을 줄이자는 취지!
train_scaled , val_scaled , train_target , val_target = train_test_split(train_scaled , train_target , text_size = 0.2  ,random_state = 42)
print(train_scaled.shape , train_target_shape)
print(val_scaled.shape , val_target_shape)

#입력의 크기는 784개이다 (픽셀수) 그리고 활성화함수는 소프트 맥스를 사용하고 뉴런의 갯수는 10개를 의미
dense = keras.layers.Dense(10,activation='softmax',input_shape(784,))
model = keras.Sequential(dense) #신경망 모델 객체

#손실 함수를 적용한다 여기서 다중분류이므로 크로스 엔트로피 (하기설명) 사용
model.compile(loss='sparse_categorical_crossentropy',metrics='accuracy')
#학습
model.fit(train_scaled,train_target,epochs=5)
#평가
model.evaluate(val_scaled,val_target)

신경망에서 손실함수

크로스 엔트로피