<둘째 마당> 예측 모델의 기본 원리

< 선형 회귀 >

: 독립 변수 x를 사용해 종속 변수 y의 움직임을 예측하고 설명하는 작업.

: 임의의 직선을 그어 이에 대한 평균 제곱 오차를 구하고, 이 값을 가장 작게 만들어 주는 a 값과 b 값을 찾아가는 과정.

: 예측 하기 위해 y = ax + b에서 직선의 기울기 a 값과 y 절편 b 값을 정확히 예측해야한다.

 

1) 종류

+ 단순 선형 회귀: x 값만으로도 y 값을 설명할 수 있다.

+ 다중 선형 회귀: x 값이 여러 개 필요하다.

 

2) 최소 제곱법(독립 변수가 하나 일때)

: 가진 정보가 x 값과 y 값 일때 이를 이용해 기울기 a를 구할 수 있다.

 

- y 절편인 b 구하기 -

 

b = y의 평균 - (x의 평균 x 기울기 a)

 

- 파이썬 코딩으로 구하는 최소 제곱 -

import numpy as np

# 공부한 시간과 점수를 각각 x, y라는 이름의 넘파이 배열로 만듭니다.

x = np.array([2, 4, 6, 8])

y = np.array([81, 93, 91, 97]) 

#x의 평균값을 구합니다.

mx = np.mean(x)

#y의 평균값을 구합니다.

my = np.mean(y)

# 출력으로 확인합니다.

print("x의 평균값:", mx)

print("y의 평균값:", my)

# 기울기 공식의 분모 부분입니다.

divisor = sum([(i - mx)**2 for i in x])

# 기울기 공식의 분자 부분입니다.

def top(x, mx, y, my):

    d = 0

    for i in range(len(x)):

        d += (x[i] - mx) * (y[i] - my)

    return d

dividend = top(x, mx, y, my)

# 출력으로 확인합니다.

print("분모:", divisor)

print("분자:", dividend)

# 기울기 a를 구하는 공식입니다.

a = dividend / divisor

# y 절편 b를 구하는 공식입니다.

b = my - (mx*a)

# 출력으로 확인합니다.

print("기울기 a =", a)

print("y절편 b =", b)

3) 평균 제곱 오차

- 오차를 왜 구할까? -

: 독립 변수가 여러개이면 가설을 하나 세운 후 이 값이 주어진 요건을 충족하는지 판단해서 조금씩 변화를 주고, 이 변화가 긍정적이면 오차가 최소가 될 때까지 이 과정을 반복한다. 나중에 그린 선이 먼저 그린 선보다 더 좋은지 나쁜지를 판단하기위한 방안이다.

 

- 파이썬 코딩으로 확인하는 평균 제곱 오차 -

import numpy as np

# 가상의 기울기 a와 y 절편 b를 정합니다.

fake_a=3

fake_b=76

# 공부 시간 x와 성적 y의 넘파이 배열을 만듭니다.

x = np.array([2, 4, 6, 8])

y = np.array([81, 93, 91, 97]) 

# y=ax + b에 가상의 a,b 값을 대입한 결과를 출력하는 함수입니다.

def predict(x):

    return fake_a * x + fake_b

# 예측 값이 들어갈 빈 리스트를 만듭니다.

predict_result = []

# 모든 x 값을 한 번씩 대입하여 predict_result 리스트를 완성합니다.

for i in range(len(x)):

    predict_result.append(predict(x[i]))

    print("공부시간=%.f, 실제점수=%.f, 예측점수=%.f" % (x[i], y[i], predict(x[i])))

# 평균 제곱 오차 함수를 각 y 값에 대입하여 최종 값을 구하는 함수입니다.

n=len(x)  

def mse(y, y_pred):

    return (1/n) * sum((y - y_pred)**2)

# 평균 제곱 오차 값을 출력합니다.

print("평균 제곱 오차: " + str(mse(y,predict_result)))

 

< 선형 회귀 모델: 먼저 긋고 수정하기 >

1) 경사 하강법

:  미분값이 0이 되는 곳이 오차가 가장 작은 곳이고 이 점을 m 이라고 하자. 어떤 임의의 기울기 a1, a2 중 어떤게 m에 더 가까운지 판단하는 방법이 경사 하강법이다.

: 오차의 변화에 따라 이차 함수 그래프를 만들고 적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것이다.

 

- 기울기 a와 오차 사이의 관계 -

- 경사 하강법 방법 -

1. 임의로 정한 점 a1에서 미분을 구한다.

2. 구한 기울기의 반대 방향(기울기가 +면 음의 방향, -면 양의 방향)으로 얼마간 이동(학습률)시킨 a2에서 미분을 구한다.

3. 앞에서 구한 미분 값이 0이 아니면 1과 2 과정을 반복한다.

         => 반복하다 보면 기울기가 0인 한 점(m)으로 수렴한다.

 

- 파이썬 코딩으로 확인하는 선형 회귀 with 경사 하강법 (in 단순 선형 회귀) -

import numpy as np

import matplotlib.pyplot as plt

# 공부 시간 X와 성적 y의 넘파이 배열을 만듭니다.

x = np.array([2, 4, 6, 8])

y = np.array([81, 93, 91, 97]) 

# 데이터의 분포를 그래프로 나타냅니다.

plt.scatter(x, y)

plt.show()

# 기울기 a와 절편 b의 값을 초기화합니다.

a = 0

b = 0

# 학습률을 정합니다.

lr = 0.03

# 몇 번 반복될지 설정합니다. 

epochs = 2001 

# x 값이 총 몇 개인지 셉니다.

n=len(x)

# 경사 하강법을 시작합니다.

for i in range(epochs):                  # 에포크 수 만큼 반복

    

    y_pred = a * x + b                   # 예측 값을 구하는 식입니다. 

    error = y - y_pred                   # 실제 값과 비교한 오차를 error로 놓습니다.

    

    a_diff = (2/n) * sum(-x * (error))   # 오차 함수를 a로 편미분한 값입니다. 

    b_diff = (2/n) * sum(-(error))       # 오차 함수를 b로 편미분한 값입니다. 

    

    a = a - lr * a_diff     # 학습률을 곱해 기존의 a 값을 업데이트합니다.

    b = b - lr * b_diff     # 학습률을 곱해 기존의 b 값을 업데이트합니다.

    

    if i % 100 == 0:        # 100번 반복될 때마다 현재의 a 값, b 값을 출력합니다.

        print("epoch=%.f, 기울기=%.04f, 절편=%.04f" % (i, a, b))        

# 앞서 구한 최종 a 값을 기울기, b 값을 y 절편에 대입하여 그래프를 그립니다.

y_pred = a * x + b      

# 그래프 출력

plt.scatter(x, y)

plt.plot(x, y_pred,'r')

plt.show()

- 파이썬 코딩으로 확인하는 선형 회귀 with 경사 하강법 (in 다중 선형 회귀) -

import numpy as np

import matplotlib.pyplot as plt

# 공부 시간 x1과 과외 시간 x2, 그 성적 y의 넘파이 배열을 만듭니다. 

x1 = np.array([2, 4, 6, 8])

x2 = np.array([0, 4, 2, 3])

y = np.array([81, 93, 91, 97]) 

# 데이터의 분포를 그래프로 나타냅니다.

fig = plt.figure()

ax = fig.add_subplot(111, projection='3d')

ax.scatter3D(x1, x2, y)

plt.show()

# 기울기 a와 절편 b의 값을 초기화합니다.

a1 = 0

a2 = 0

b = 0

# 학습률을 정합니다.

lr = 0.01 

# 몇 번 반복될지 설정합니다.

epochs = 2001 

# x 값이 총 몇 개인지 셉니다. x1과 x2의 수가 같으므로 x1만 세겠습니다. 

n=len(x1)

# 경사 하강법을 시작합니다.

for i in range(epochs):                  # 에포크 수 만큼 반복

    

    y_pred = a1 * x1 + a2 * x2 + b       # 예측 값을 구하는 식을 세웁니다

    error = y - y_pred                   # 실제 값과 비교한 오차를 error로 놓습니다.

    

    a1_diff = (2/n) * sum(-x1 * (error)) # 오차 함수를 a1로 편미분한 값입니다. 

    a2_diff = (2/n) * sum(-x2 * (error)) # 오차 함수를 a2로 편미분한 값입니다. 

    b_diff = (2/n) * sum(-(error))       # 오차 함수를 b로 편미분한 값입니다. 

    

    a1 = a1 - lr * a1_diff  # 학습률을 곱해 기존의 a1 값을 업데이트합니다.

    a2 = a2 - lr * a2_diff  # 학습률을 곱해 기존의 a2 값을 업데이트합니다.

    b = b - lr * b_diff     # 학습률을 곱해 기존의 b 값을 업데이트합니다.

    

    if i % 100 == 0:        # 100번 반복될 때마다 현재의 a1, a2, b 값을 출력합니다.

        print("epoch=%.f, 기울기1=%.04f, 기울기2=%.04f, 절편=%.04f" % (i, a1, a2, b))     

# 실제 점수와 예측된 점수를 출력합니다.

print("실제 점수:", y)

print("예측 점수:", y_pred)

- 텐서플로에서 실행하는 선형 회귀 -

선형회귀	머신러닝
현상을 분석하는 방법의 하나	이러한 분석 방법을 이용해 예측 모델을 만드는 것
y = ax + b	H(x) = wx + b -- 가설함수
기울기 a	w -- 가중치
절편 b	편향 b
평균 제곱 오차	손실 함수
경사 하강법	옵티마이저
linear	활성화 함수(입력된 값을 다음 층으로 넘길 때 각 값을 어떻게 처리할지)

import numpy as np

import matplotlib.pyplot as plt

# 텐서플로의 케라스 API에서 필요한 함수들을 불러옵니다.

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

x = np.array([2, 4, 6, 8])

y = np.array([81, 93, 91, 97]) 

model = Sequential()

# 출력 값, 입력 변수, 분석 방법에 맞게끔 모델을 설정합니다. 

model.add(Dense(1, input_dim=1, activation='linear'))

# 오차 수정을 위해 경사 하강법(sgd)을, 오차의 정도를 판단하기 위해 평균 제곱 오차(mse)를 사용합니다. 

model.compile(optimizer='sgd', loss='mse')

# 오차를 최소화하는 과정을 2000번 반복합니다.

model.fit(x, y, epochs=2000)

plt.scatter(x, y)

plt.plot(x, model.predict(x),'r')    # 예측 결과를 그래프로 나타냅니다.

plt.show()

# 임의의 시간을 집어넣어 점수를 예측하는 모델을 테스트해 보겠습니다.

hour = 7

prediction = model.predict([hour])

print("%.f시간을 공부할 경우의 예상 점수는 %.02f점입니다" % (hour, prediction))

- 텐서플로에서 실행하는 다중 선형 회귀 -

import numpy as np

import matplotlib.pyplot as plt

# 텐서플로의 케라스 API에서 필요한 함수들을 불러옵니다.

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

x = np.array([[2, 0], [4, 4], [6, 2], [8, 3]])

y = np.array([81, 93, 91, 97]) 

model = Sequential()

# 입력 변수가 2개(학습 시간, 과외 시간)이므로 input_dim에 2를 입력합니다. 

model.add(Dense(1, input_dim=2, activation='linear'))

model.compile(optimizer='sgd' ,loss='mse')

model.fit(x, y, epochs=2000)

# 임의의 학습 시간과 과외 시간을 집어넣어 점수를 예측하는 모델을 테스트해 보겠습니다.

hour = 7

private_class = 4

prediction = model.predict([[hour, private_class]])

print("%.f시간을 공부하고 %.f시간의 과외를 받을 경우, 예상 점수는 %.02f점입니다" % (hour, private_class, prediction))

< 로지스틱 회귀 모델: 참 거짓 판단하기 >

: 참과 거짓 중 하나를 내놓는 과정

: 선형 회귀와 마찬가지로 적절한 선을 그려 가는 과정

1) 시그모이드 함수

: a는 그래프의 경사도

: b는 그래프의 좌우 이동

 

- 오차 공식 -

+ a와 오차의 관계 

+ b와 오차의 관계

+ 교차 엔트로피 오차 함수

: 파란 선은 실제 값이 1일때 빨간 선은 실제 값이 0일때 사용 가능.

: y는 실제값

 

- 텐서플로우에서 실행하는 로지스틱 회귀 -

import numpy as np

import matplotlib.pyplot as plt

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

x = np.array([2, 4, 6, 8, 10, 12, 14])

y = np.array([0, 0, 0, 1, 1, 1, 1]) 

model = Sequential()

model.add(Dense(1, input_dim=1, activation='sigmoid'))

# 교차 엔트로피 오차 함수를 이용하기 위하여 'binary_crossentropy'로 설정합니다. 

model.compile(optimizer='sgd' ,loss='binary_crossentropy')

model.fit(x, y, epochs=5000)

# 그래프로 확인해 봅니다.

plt.scatter(x, y)

plt.plot(x, model.predict(x),'r')

plt.show()

# 임의의 학습 시간을 집어넣어 합격 예상 확률을 예측해 보겠습니다.

hour = 7

prediction = model.predict([hour])

print("%.f시간을 공부할 경우, 합격 예상 확률은 %.01f%%입니다" % (hour, prediction * 100))