로지스틱 회귀
- 직선으로 해결하기에는 적절하지 않은 경우가 있다
- 예를 들어 특정 범위 값이 적절하게 분포된 아닌 bool값으로 참또는 거짓의 값을 가지는 경우
- 이들은 연속된 값에 비해 직선으로 그려지기 어렵다 (선형 회귀분석을 하지 못함)
- 로지 스틱 회귀를 이용하여 점들의 특성을 좀더 정확하게 담아 내야함 직선이 아니라 S자 형태를 사용
- S자 형태로 그래프가 그려지는 함수를 시그모이드 함수라고 한다
시그모이드 함수
- 로지스틱 회귀에서 예측 값이 0과 1로 만드는 함수
소프트맥스 함수
- 로지스틱 회귀에서 각 클래스(예측값)에 대한 각각의 값을 0~1로 압축하고 전체합이 1이 되도록 만드는 함수
시그모이드 함수 예제
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
###### 생선별 Weight, Length, Diagonal, Height, Width 정보입니다 ######
bream_smelt_data = [[ 242. , 25.4 , 30. , 11.52 , 4.02 ],
[ 290. , 26.3 , 31.2 , 12.48 , 4.3056],
[ 340. , 26.5 , 31.1 , 12.3778, 4.6961],
[ 363. , 29. , 33.5 , 12.73 , 4.4555],
[ 430. , 29. , 34. , 12.444 , 5.134 ],
[ 450. , 29.7 , 34.7 , 13.6024, 4.9274],
[ 500. , 29.7 , 34.5 , 14.1795, 5.2785],
[ 390. , 30. , 35. , 12.67 , 4.69 ],
[ 450. , 30. , 35.1 , 14.0049, 4.8438],
[ 500. , 30.7 , 36.2 , 14.2266, 4.9594],
[ 475. , 31. , 36.2 , 14.2628, 5.1042],
[ 500. , 31. , 36.2 , 14.3714, 4.8146],
[ 500. , 31.5 , 36.4 , 13.7592, 4.368 ],
[ 340. , 32. , 37.3 , 13.9129, 5.0728],
[ 600. , 32. , 37.2 , 14.9544, 5.1708],
[ 600. , 32. , 37.2 , 15.438 , 5.58 ],
[ 700. , 33. , 38.3 , 14.8604, 5.2854],
[ 700. , 33. , 38.5 , 14.938 , 5.1975],
[ 610. , 33.5 , 38.6 , 15.633 , 5.1338],
[ 650. , 33.5 , 38.7 , 14.4738, 5.7276],
[ 575. , 34. , 39.5 , 15.1285, 5.5695],
[ 685. , 34. , 39.2 , 15.9936, 5.3704],
[ 620. , 34.5 , 39.7 , 15.5227, 5.2801],
[ 680. , 35. , 40.6 , 15.4686, 6.1306],
[ 700. , 35. , 40.5 , 16.2405, 5.589 ],
[ 725. , 35. , 40.9 , 16.36 , 6.0532],
[ 720. , 35. , 40.6 , 16.3618, 6.09 ],
[ 714. , 36. , 41.5 , 16.517 , 5.8515],
[ 850. , 36. , 41.6 , 16.8896, 6.1984],
[1000. , 37. , 42.6 , 18.957 , 6.603 ],
[ 920. , 38.5 , 44.1 , 18.0369, 6.3063],
[ 955. , 38.5 , 44. , 18.084 , 6.292 ],
[ 925. , 39.5 , 45.3 , 18.7542, 6.7497],
[ 975. , 41. , 45.9 , 18.6354, 6.7473],
[ 950. , 41. , 46.5 , 17.6235, 6.3705],
[ 6.7 , 9.8 , 10.8 , 1.7388, 1.0476],
[ 7.5 , 10.5 , 11.6 , 1.972 , 1.16 ],
[ 7. , 10.6 , 11.6 , 1.7284, 1.1484],
[ 9.7 , 11. , 12. , 2.196 , 1.38 ],
[ 9.8 , 11.2 , 12.4 , 2.0832, 1.2772],
[ 8.7 , 11.3 , 12.6 , 1.9782, 1.2852],
[ 10. , 11.8 , 13.1 , 2.2139, 1.2838],
[ 9.9 , 11.8 , 13.1 , 2.2139, 1.1659],
[ 9.8 , 12. , 13.2 , 2.2044, 1.1484],
[ 12.2 , 12.2 , 13.4 , 2.0904, 1.3936],
[ 13.4 , 12.4 , 13.5 , 2.43 , 1.269 ],
[ 12.2 , 13. , 13.8 , 2.277 , 1.2558],
[ 19.7 , 14.3 , 15.2 , 2.8728, 2.0672],
[ 19.9 , 15. , 16.2 , 2.9322, 1.8792]]
bream_smelt_target = ['Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream',
'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream',
'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream',
'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream',
'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream', 'Bream',
'Smelt', 'Smelt', 'Smelt', 'Smelt', 'Smelt', 'Smelt', 'Smelt',
'Smelt', 'Smelt', 'Smelt', 'Smelt', 'Smelt', 'Smelt', 'Smelt']
train_input , test_input , train_target , test_target = train_test_split(bream_smelt_data , bream_smelt_target , random_state = 10)
ss = StandardScaler()
ss.fit(train_input)
train_scaled = ss.transform(train_input)
test_scaled = ss.transform(test_input)
lr = LogisticRegression()
lr.fit(train_scaled , train_target)
print(lr.predict(test_scaled[0:5]))
print(lr.predict_proba(test_scaled[0:5]))
print(lr.classes_)
소프트맥스 함수 예제