모아의 기웃기웃 / AI 이해하기 / 블로그 공개본

AI는 어떻게 배울까? 점에 맞춰 선을 움직여 보는 첫 번째 실험

학습 원리 실험하기 · 네이버 블로그에서 읽기

모아의 기웃기웃 · AI 이해하기 1편

AI가 ‘학습한다’고 하면, 사람이 책을 읽고 이해하는 모습부터 떠오릅니다. 컴퓨터 안에서는 어떤 숫자가 바뀌는 걸까요?

예를 들어 집의 크기로 전기 사용량을 예측하고 싶다고 해볼게요. 이미 아는 ‘집 크기와 실제 사용량’의 짝을 보고, 새 집의 사용량을 예상하는 규칙을 만드는 겁니다. 실제로는 거주 인원과 냉난방 등 여러 요인이 영향을 주겠지만, 먼저 입력 하나로 예측하는 작은 문제부터 생각할 수 있어요.

이번 편에서는 이 생각을 점 다섯 개에 맞는 직선을 찾는 실험으로 옮겼습니다. 선을 직접 움직이고, 컴퓨터가 오차를 줄이도록 숫자를 조정하게 한 뒤, 그 선으로 새 값을 예측해 볼 거예요. 선을 움직이는 두 숫자가 바뀌는 모습이 이번에 관찰할 학습입니다. 선형회귀는 통계에서도 사용하는 방법이며, 머신러닝의 학습 구조를 살펴보는 출발점으로 쓸 수 있습니다. Google 선형회귀 입문

관측점 다섯 개와 처음 그린 수평선 그리고 학습 후 기울어진 예측 직선 비교

그림 1. 학습 전후에 바뀌는 것은 선의 기울기와 절편입니다. 관측점은 고정되어 있어요. 점의 위치를 바꾸어 오차를 줄이는 실험이 아닙니다.

선을 움직이며 AI 학습 원리 실험하기

‘선 움직이기’에서 기울기와 절편을 바꿔 보세요. 이어서 ‘스스로 배우기’에서 한 걸음씩 진행해 보면 선이 움직이는 이유를 이해하기 쉬워집니다.

1. 모델은 입력을 예측값으로 바꾸는 규칙

이번 모델은 예측 y = w × x + b입니다. 입력 x에 기울기 w를 곱하고 절편 b를 더해 예측값을 만듭니다. w를 바꾸면 선이 회전하고, b를 바꾸면 선이 위아래로 이동해요. 학습으로 조정하는 w와 b를 매개변수(parameter)라고 부릅니다. Google의 가중치와 편향 설명

공개용 실험에는 다음 다섯 점을 사용했습니다. 직접 정한 교육용 가상 데이터로, 앞의 집 크기·전기 사용량을 측정한 표는 아닙니다. 원리를 보기 위한 단위 없는 좌표이므로 음수도 들어 있어요.

입력 x관측 y
−2−3.0
−1−0.5
01.0
12.5
25.0

처음에는 w=0, b=0으로 시작합니다. 어느 x를 넣어도 예측이 0이어서 수평선이 됩니다. 이 선이 점들에 얼마나 잘 맞는지부터 숫자로 정해 볼게요.

2. 얼마나 틀렸는지를 손실로 표현해요

각 점에서 관측값 − 예측값을 계산한 것을 잔차(residual)라고 해요. 관측점이 예측선보다 위에 있으면 양수, 아래에 있으면 음수입니다. 그림의 세로 점선 길이는 그 차이의 크기를 보여 줍니다. 미국통계학회 자료의 잔차 정의, 인쇄 쪽수 64

같은 입력에서 관측값과 예측값 사이의 세로 차이를 표시한 잔차 그림

그림 2. 같은 입력 x를 고정한 채 y 방향으로 비교합니다. 점에서 선에 직각으로 내린 최단거리를 재는 방식과는 달라요.

잔차를 그냥 더하면 문제가 생깁니다. 예를 들어 +2와 −2를 더하면 0이지만, 두 예측이 모두 정확했던 것은 아니죠. 이번에는 잔차를 제곱한 뒤 평균을 냅니다. 평균제곱오차, MSE(Mean Squared Error)입니다. 절댓값을 평균내는 MAE 등 다른 손실도 사용할 수 있습니다. MSE는 큰 잔차에 더 큰 벌점을 주므로 이상치에 민감합니다. Google 손실 함수 설명

처음 선 y=0의 제곱오차는 각각 9, 0.25, 1, 6.25, 25입니다. 합계 41.5를 점 5개로 나누면 처음 MSE는 8.3이 됩니다. 아래 수치는 전부 이 가상 데이터에서 직접 계산한 값입니다.

초기 예측 영에서의 제곱오차 다섯 개 합계 41점5를 5로 나누어 MSE 8점3을 구하는 계산

그림 3. MSE는 ‘정확도 8.3%’ 같은 백분율이 아닙니다. y에 단위가 있다면 MSE에는 그 단위의 제곱이 붙어요. 서로 다른 단위와 스케일의 문제를 MSE 숫자만으로 비교하면 안 됩니다.

3. 학습은 이 실험에서 w와 b를 바꾸는 과정

어떤 w와 b가 좋은지 이미 알고 선을 그릴 수도 있습니다. 하지만 여기서는 현재 값에서 손실이 커지는 방향을 구하고, 반대 방향으로 조금 움직이는 방법을 사용합니다. 경사하강법(gradient descent)입니다. Google 경사하강법 설명

‘경사’는 선 자체의 기울기 w와는 다른 말이에요. w와 b를 조금 바꿨을 때 손실이 얼마나 변하는지를 뜻합니다. 기울어진 선을 더 기울여야 할 수도, 덜 기울여야 할 수도 있어요.

시작점 w=0, b=0에서 학습률을 0.20으로 두고 한 걸음을 진행하면 w=1.52, b=0.40, MSE=0.7288이 됩니다. 처음 오차 8.3보다 크게 줄었어요. 애니메이션의 ‘한 걸음’을 눌러 선과 숫자가 함께 바뀌는 모습을 확인해 보세요.

여기서는 ‘현재 손실을 살펴보고, 두 숫자를 조금 고친다’는 흐름을 이해하면 충분합니다. 정확한 미분과 갱신 계산은 아래 ‘수식으로 더 알아보기’에 따로 모았습니다.

경사하강 한 걸음에서 기울기와 절편이 바뀌고 MSE가 8점3에서 0점7288로 줄어드는 모습

그림 4. 한 번의 갱신에서 다섯 점을 모두 사용합니다. 이 실험은 전체 배치 경사하강이며, 실제 대규모 학습에서 사용하는 미니배치의 무작위 변동은 포함하지 않았어요.

4. 학습률이 크면 빨리 배우는 걸까

학습률(learning rate)은 한 번에 얼마나 이동할지 정하는 값입니다. 여기서는 학습으로 바뀌는 w·b와 달리, 사용자가 정하는 설정인 하이퍼파라미터에 해당합니다. 너무 작으면 변화가 느리고, 너무 크면 손실이 오히려 커질 수 있어요. Google 학습률 설명

‘스스로 배우기’에서 학습률을 바꾸고 ‘처음부터’를 누르면 모두 w=0, b=0에서 비교할 수 있습니다.

학습률한 걸음 뒤 MSE10걸음 뒤 MSE이 모형에서 보이는 현상
0.027.11261.8844같은 걸음 수에서 천천히 감소
0.200.72880.0800최소 손실에 빠르게 접근
0.5510.4868276.8775진동하며 손실 증가
동일한 시작점에서 학습률 세 가지의 손실 변화를 비교한 로그 눈금 그래프

그림 5. 시작점·데이터·손실을 고정하고 학습률만 바꿨습니다. 세로축은 MSE의 로그 눈금으로, 0.1 → 1 → 10 → 100처럼 위로 한 주눈금 올라갈 때마다 값이 10배가 됩니다. 그래프가 아래로 내려갈수록 오차가 작아지는 거예요. 10걸음의 값은 소수점 넷째 자리로 반올림했어요.

0.20이 모든 AI에서 좋은 학습률이라는 뜻은 아닙니다. 입력의 스케일, 모델, 손실 정의와 최적화 방식이 달라지면 적절한 값도 달라집니다. 0.55는 이 모형에서 손실이 커지는 모습을 보여 주려고 고른 값이에요. 왜 그런지는 심화 설명에서 확인할 수 있습니다.

5. 오차가 0이 되지 않으면 학습 실패일까

이 다섯 점에 대한 최소제곱 직선은 w=1.9, b=1.0, 최소 MSE는 0.08입니다. 점들이 정확히 한 직선에 놓여 있지 않으므로, 어떤 직선을 골라도 다섯 점을 모두 통과할 수는 없어요.

이번 문제에서는 MSE가 0.08 가까이 줄어드는 것이 올바른 결과입니다. 더 복잡한 모델을 쓰면 학습점에 더 가깝게 맞출 수 있지만, 그것만으로 새 데이터에도 더 좋은 예측을 한다고 결론 내릴 수는 없습니다. 일반화와 과적합은 뒤에서 따로 살펴볼 주제예요.

6. 학습과 예측은 무엇이 다를까

학습은 관측 데이터와 손실을 이용해 w와 b를 조정하는 과정입니다. 예측은 현재 w와 b를 고정한 채 새 x를 넣어 y를 계산하는 과정이에요.

최소제곱 직선 y=1.9x+1에 x=1.5를 넣으면 예측 y는 3.85입니다. 직접 확인하려면 ‘스스로 배우기’에서 학습률 0.20을 선택하고, ‘처음부터’ → ‘자동 학습’을 눌러 학습이 멈출 때까지 기다려 보세요. 그다음 ‘새 점 예측’에서 x=1.5를 넣으면 화면에서도 약 3.85를 확인할 수 있습니다.

예측은 현재 선을 사용하므로, 학습을 마치기 전이나 선을 직접 바꾼 뒤에는 값이 달라질 수 있어요. 이제 x를 움직여 보세요. 예측 위치는 움직이지만 w와 b는 바뀌지 않습니다.

학습으로 고른 직선을 고정하고 새 입력 1점5에서 예측값 3점85를 구하는 그림

그림 6. 새 점의 관측 정답을 주지 않았으므로 예측이 맞았는지는 아직 알 수 없습니다. 입력 범위 −2~2 밖으로 나가면 외삽에 해당하며, 애니메이션에서도 따로 표시합니다.

이 작은 선 맞추기가 신경망과 어떻게 이어질까

이번에는 예측을 만드는 숫자가 기울기와 절편, 두 개뿐이었습니다. 신경망은 여러 계산 층과 비선형 변환으로 더 복잡한 관계를 표현하고, 많은 가중치와 편향을 조정합니다. 예측을 만들고 → 손실을 계산하고 → 그 손실에 따라 매개변수를 고친다는 연결을 이번 실험에서 작게 본 셈이에요. Google 신경망 입문

다만 선형회귀 하나로 모든 AI를 설명할 수는 없습니다. 실제 신경망에서는 모델 구조, 사용하는 손실, 데이터와 최적화 방식이 훨씬 복잡해집니다. 뒤의 신경망 편에서는 직선 하나로 표현할 수 없는 관계를 층을 쌓아 표현하는 과정을 살펴볼 거예요.

이 실험에서 기억할 것

• 모델은 입력을 예측으로 바꾸는 규칙입니다. 이번에는 직선 y=wx+b예요.

• 손실은 예측이 관측과 얼마나 다른지 정하는 기준입니다. 이번에는 MSE입니다.

• 최적화는 손실을 줄이도록 매개변수를 조정하는 방법입니다. 이번에는 경사하강법을 사용했어요.

• 학습점의 오차가 작다는 사실만으로 새 입력의 예측 정확도를 보장할 수는 없습니다.

수식으로 더 알아보기

여기부터는 계산을 직접 따라가고 싶은 분을 위한 심화 설명입니다. 앞의 그림과 실험만으로도 첫 편의 핵심 흐름은 이해할 수 있어요.

한 걸음의 계산

손실 L은 잔차를 제곱한 평균입니다. 관측값에서 예측값을 빼든 반대로 빼든 제곱한 값은 같으므로, 잔차의 부호 표기와 MSE 계산 결과는 구분할 수 있습니다.

이 다섯 점의 MSE는 L=0.08+2(w−1.9)²+(b−1)²로 정리됩니다. 이를 미분하면 ∂L/∂w=4(w−1.9), ∂L/∂b=2(b−1)입니다. 시작점 w=0, b=0에서는 각각 −7.6과 −2.0이에요.

‘새 매개변수 = 현재 매개변수 − 학습률 × 손실의 미분값’으로 갱신합니다. 학습률 0.20이면 w=0−0.20×(−7.6)=1.52, b=0−0.20×(−2.0)=0.40입니다. 이 직선의 MSE를 다섯 점에서 다시 계산하면 0.7288입니다.

이 예제에서 학습률 0.55가 발산하는 이유

최적 기울기 1.9에서 벗어난 정도는 한 걸음마다 (1−4×학습률)배가 됩니다. 절편이 최적값 1에서 벗어난 정도는 (1−2×학습률)배가 돼요. 두 배율의 절댓값이 모두 1보다 작아야 임의의 시작점에서 차이가 줄어듭니다.

따라서 이 고정 데이터와 MSE, 전체 배치 경사하강의 수렴 범위는 0<학습률<0.5입니다. 0.55에서는 기울기의 차이가 −1.2배가 되어 방향을 바꾸면서 크기가 커집니다. 이 조건은 현재 모형의 직접 계산 결과이며, 다른 데이터나 신경망에 그대로 적용할 수 없습니다.

선을 움직이며 AI 학습 원리 실험하기

54초 · 직접 제작한 자막 애니메이션 · 음성 없음

이번 편은 학습의 기본 구조를 작게 떼어 본 실험입니다. 다음 편에서는 최적화—학습률·모멘텀·Adam으로 이동하고, 그다음에 신경망—왜 층을 쌓는가를 살펴보면 흐름이 이어집니다.

자료 확인: 2026년 11월 20일. 그림 6장과 영상은 직접 제작한 교육용 자료입니다. 실험 데이터와 수치는 공개용 가상 예제 및 직접 계산 결과이며 실제 업무 데이터나 특정 AI 제품의 성능 수치가 아닙니다. 영상은 음성 없는 한국어 자막 애니메이션입니다.

#AI #인공지능 #머신러닝 #AI학습 #선형회귀 #손실함수 #평균제곱오차 #MSE #경사하강법 #학습률 #AI공부 #인터랙티브애니메이션