센티미터와 걸음 수를 나란히
단위를 맞추는 일

4차시에서 우리는 학생 52명의 기록을 손질했습니다. 빈칸 여덟 자리를 어떻게 메울지 정하고, 키 1750.0이라는 자릿수 오타를 찾아내고, 진짜로 큰 학생과 잘못 적힌 값을 가려내는 데 한 시간을 썼지요. 이제 데이터는 깨끗합니다. 그런 데이터로 무엇을 할 수 있을까요?

기계학습이 하는 일 중 가장 단순한 것부터 해 봅시다. 비슷한 것 찾기입니다. "나와 생활 습관이 가장 닮은 친구는 누구인가?" 이 물음에 답할 수 있으면 "이 학생에게는 어떤 학습 방법이 맞을까"도, "이 손님에게 무엇을 추천할까"도 같은 방식으로 답할 수 있습니다. 8차시에서 배울 k-최근접 이웃이 정확히 이 물음 위에 서 있습니다.

손으로 끝까지 따라갈 수 있게 아주 작은 표를 하나 만들었습니다. 우리 반 친구 셋과 나, 그리고 특성은 딱 두 개입니다 — 하루 걸음 수와 하루 공부 시간.

친구 이름을 '가·나·다'로 쓰면 셋째 친구 '나'와 나 자신이 화면에서 구별되지 않습니다. 그래서 첫 글자만 지켜 가람·나래·다온으로 부르기로 합니다.

사람	하루 걸음 수 (걸음)	하루 공부 시간 (시간)
나	5000	2.0
가람	5100	4.5
나래	2000	2.1
다온	4000	3.0

표를 눈으로 훑어봅시다. 누가 나와 가장 비슷해 보입니까? 걸음 수만 보면 가람입니다. 5100과 5000, 겨우 100걸음 차이니까요. 공부 시간만 보면 나래입니다. 2.1과 2.0, 0.1시간 차이입니다. 둘을 함께 보면 어떻게 될까요? 그것을 정하는 것이 오늘의 일입니다.

미리 결과를 말해 두겠습니다. 위 네 사람에게 오늘 배울 계산을 그대로 적용하면 1등이던 가람이 3등으로 내려가고, 2등이던 다온이 1등으로, 3등이던 나래가 2등으로 올라옵니다. 두 사람이 자리를 맞바꾸는 정도가 아니라 셋이 전부 자리를 옮기는 것이지요. 데이터는 한 글자도 고치지 않았는데 말입니다. 오늘 15분 동안 여러분은 그 뒤집힘을 직접 일으켜 보고, 왜 일어나는지 손으로 계산해 확인할 것입니다.

사진의 자는 같은 길이에 두 가지 숫자를 붙여 놓았습니다. 10이라는 숫자가 아래 눈금에서는 10센티미터지만 위 눈금에서는 한참 더 긴 길이를 가리킵니다. 사람은 이것을 헷갈리지 않습니다. 숫자 뒤에 붙은 단위를 함께 읽으니까요. 오늘 우리는 여기서 한 걸음 더 나가, 걸음 수와 공부 시간처럼 재는 대상부터 다른 두 숫자를 한 식에 나란히 집어넣습니다.

그런데 컴퓨터에게 우리는 보통 숫자만 넘깁니다. [5000, 2.0]이라고 적어 주면 컴퓨터는 5000과 2.0을 그냥 두 개의 수로 봅니다. 앞의 것이 걸음이고 뒤의 것이 시간이라는 사실은 어디에도 적혀 있지 않습니다. 그래서 걸음 수 쪽 숫자가 크다는 그 이유 하나만으로 그쪽이 판정을 독점하게 됩니다. 오늘 배울 정규화는 그 착각을 바로잡는 일입니다.

'비슷하다'는 말은 그대로는 계산할 수 없습니다. 컴퓨터에게 시키려면 숫자로 바꿔야 합니다. 가장 널리 쓰는 방법은 두 사람을 점 두 개로 보고 그 사이의 거리를 재는 것입니다. 거리가 짧으면 비슷하고, 멀면 다릅니다. 아주 단순하지만 그래서 어디에나 쓰입니다.

중학교에서 배운 좌표평면 위 두 점 사이의 거리 공식을 그대로 씁니다. 가로축을 걸음 수, 세로축을 공부 시간으로 놓으면 나는 (5000, 2.0), 가람은 (5100, 4.5)인 점입니다. 이 거리를 유클리드 거리(Euclidean distance)라고 부릅니다.

특성이 두 개면 항이 두 개, 네 개면 항이 네 개입니다. 항을 더 붙이기만 하면 특성이 몇 개든 똑같이 잽니다. 15차시에서는 특성 네 개짜리 데이터에 이 식을 그대로 쓰게 됩니다. 그래서 오늘 짤 함수는 특성 수를 미리 정하지 않고 len(a)만큼 도는 꼴로 만들 것입니다.

값을 넣어 봅시다

가람과의 거리부터 손으로 계산합니다.

나머지 둘도 같은 방식입니다.

가장 가까운 사람은 가람입니다. 순위는 가람 < 다온 < 나래. 여러분이 표를 눈으로 보고 짐작한 것과 같습니까? 아마 그럴 것입니다. 그런데 이 답에는 심각한 문제가 하나 숨어 있습니다.

거리 안을 뜯어 보면

계산 과정에서 나온 두 제곱 값을 나란히 놓아 봅시다. 왼쪽이 걸음 수 쪽에서 나온 제곱, 오른쪽이 공부 시간 쪽에서 나온 제곱입니다.

나래를 봅시다. 걸음 쪽에서 9,000,000이 나왔고 공부 쪽에서 0.01이 나왔습니다. 비율로 9억 배입니다. 이 둘을 더하면 어떻게 될까요? 9,000,000 + 0.01 = 9,000,000.01. 소수점 아래 둘째 자리에만 흔적이 남습니다. 제곱근을 씌우면 그마저 사라져 3000.0이 됩니다.

즉 공부 시간은 계산에 참여하지 못했습니다. 우리는 특성 두 개로 비슷함을 재는 프로그램을 짰다고 생각했지만, 실제로 답을 정한 것은 걸음 수 하나뿐이었습니다. 세 사람의 격차를 각각 계산해 보면 나래가 9억 배(9,000,000 : 0.01), 다온이 100만 배(1,000,000 : 1.0), 격차가 가장 작은 가람도 1,600배(10,000 : 6.25)입니다. 어느 쪽도 대등한 싸움이 아닙니다.

앞의 주장이 정말인지 확인하는 방법이 있습니다. 데이터는 그대로 두고 단위만 바꿔 다시 재 보는 것입니다. 값이 같은 것을 다르게 적었을 뿐이니, 제대로 된 방법이라면 답이 같아야 합니다.

걸음 수를 거리로 바꿔 적어 봅시다. 한 걸음을 0.7m로 잡으면 한 걸음은 0.0007km입니다. 가람의 5100걸음은 3.57km, 나의 5000걸음은 3.5km가 됩니다. 같은 사람, 같은 하루, 같은 사실입니다. 적는 방법만 달라졌습니다.

사람	걸음 수로 적으면	km로 적으면	공부 시간
나	5000	3.5	2.0
가람	5100	3.57	4.5
나래	2000	1.4	2.1
다온	4000	2.8	3.0

이제 km로 적힌 표에 같은 거리 식을 씁니다. 가람과의 거리는 √( (3.5−3.57)² + (2.0−4.5)² ) = √( 0.0049 + 6.25 ) = 2.501입니다. 아까는 걸음 쪽이 10000이고 공부 쪽이 6.25였는데, 이번에는 걸음 쪽이 0.0049입니다. 이번에는 공부 시간이 이겼습니다.

같은 사람, 같은 하루. 단위를 바꿔 적었을 뿐인데 1등이 바뀝니다.

자	가람	나래	다온	가장 비슷한 친구
걸음 수 그대로	100.0312	3000.0	1000.0005	가람
km로 바꿔 적음	2.501	2.1024	1.2207	다온

답이 바뀌었습니다. 걸음 수로 적으면 가람이 1등, km로 적으면 다온이 1등입니다. 데이터를 고친 적이 없는데도 그렇습니다. 이것이 무엇을 뜻하는지 분명히 해 둡시다.

반대쪽으로도 해 볼 수 있습니다. 걸음 수를 그대로 두고 공부 시간에 배율을 곱해 크기를 키우는 것입니다. 공부 시간을 분으로 바꾸면 60배가 됩니다. 이러면 답이 바뀔까요? 실제로 돌려 보면 ×60으로는 순위가 하나도 안 바뀝니다. 여전히 가람 < 다온 < 나래입니다. 60배로는 걸음 수를 이길 수 없다는 뜻이지요.

1등이 처음 바뀌는 자리는 약 434.25배입니다. 초 단위(×3600)까지 가면 순위가 완전히 뒤집혀 정규화한 답과도 정반대가 됩니다. 이 배율이 왜 하필 434.25인지는 5절에서 밝힙니다.

공부 시간에 곱한 배율	순위	1등
×1 (시간)	가람 < 다온 < 나래	가람
×60 (분)	가람 < 다온 < 나래	가람
×434	가람 < 다온 < 나래	가람
×435	다온 < 가람 < 나래	다온
×3600 (초)	나래 < 다온 < 가람	나래

표가 말하는 것은 단위 선택이 곧 가중치 선택이라는 사실입니다. 우리가 아무 생각 없이 '걸음 수'라고 적는 순간, 우리는 이미 "걸음 수를 공부 시간보다 수백 배 무겁게 쳐 달라"고 컴퓨터에게 지시한 셈입니다. 의도한 적이 없는데도 말이지요.

그러니 할 일은 분명합니다. 모든 특성을 같은 자로 옮겨 놓고 재는 것. 그러면 단위가 무엇이었든 상관없어집니다.

특성마다 제각각인 값의 크기를 서로 견줄 수 있게 옮기는 일을 정규화라고 합니다. 방법은 여러 가지지만 현장에서 쓰는 것은 사실상 둘입니다. 하나는 0과 1 사이로 눌러 넣기(min-max 정규화), 다른 하나는 평균 0·표준편차 1로 옮기기(z 점수 표준화)입니다.

① min-max 정규화 — 0과 1 사이로

생각은 간단합니다. 그 특성에서 가장 작은 값을 0, 가장 큰 값을 1로 만들고 나머지는 그 사이 어딘가에 놓는 것입니다. 식은 이렇습니다.

친구 셋의 값에서 기준을 뽑아 봅시다. 걸음 수의 최솟값은 나래의 2000, 최댓값은 가람의 5100입니다. 공부 시간의 최솟값은 나래의 2.1, 최댓값은 가람의 4.5입니다. 기준을 lo = [2000, 2.1], hi = [5100, 4.5]로 적어 둡니다.

다온의 걸음 수 4000을 옮겨 봅시다.

네 사람을 모두 옮기면 이렇게 됩니다.

기준(lo·hi)은 친구 셋만으로 뽑았습니다. 왜 나를 빼야 하는지는 다음 절에서 다룹니다.

사람	원래 값	걸음 수 → 0~1	공부 시간 → 0~1
가람	[5100, 4.5]	1.0	1.0
나래	[2000, 2.1]	0.0	0.0
다온	[4000, 3.0]	0.6452	0.375
나	[5000, 2.0]	0.9677	-0.0417

0~1을 벗어난 값은 고장이 아니다

표에서 눈에 걸리는 값이 하나 있습니다. 나의 공부 시간이 -0.0417입니다. 0~1로 옮긴다고 해 놓고 음수가 나왔습니다. 코드가 잘못된 걸까요?

아닙니다. 기준을 친구 셋만으로 뽑았기 때문입니다. 친구 셋 중 공부 시간이 가장 적은 사람은 나래의 2.1시간이고, 그 값이 0이 되었습니다. 그런데 내 공부 시간은 2.0시간, 그보다도 적습니다. 그러니 0보다 작아지는 것이 당연합니다. 계산해 보면 (2.0 − 2.1) ÷ (4.5 − 2.1) = −0.1 ÷ 2.4 = −0.0417입니다.

내 공부 시간을 바꿔 가며 좌표가 어떻게 되는지 보면 규칙이 한눈에 보입니다.

훈련에 쓰인 최솟값 2.1에서 정확히 0, 최댓값 4.5에서 정확히 1이 됩니다. 그 바깥은 음수거나 1보다 큽니다. 2등과 3등이 처음 자리를 바꾸는 자리는 2.2시간입니다.

나의 공부 시간	옮긴 좌표	범위	이웃 순위
1.5시간	-0.25	0 아래	다온 < 나래 < 가람
2.0시간 (지금)	-0.0417	0 아래	다온 < 나래 < 가람
2.1시간	0.0	딱 0	다온 < 나래 < 가람
2.2시간	0.0417	안쪽	다온 < 가람 < 나래
4.5시간	1.0	딱 1	가람 < 다온 < 나래
5.0시간	1.2083	1 위	가람 < 다온 < 나래

정리하면 훈련에 없던 값이 0~1을 벗어나는 것은 규칙을 지켰다는 증거입니다. 만약 모든 새 값이 얌전히 0~1 안에 들어온다면, 오히려 기준을 잡을 때 그 값들을 함께 봤다는 뜻입니다. 다음 절의 주제가 바로 이것입니다.

옮긴 좌표로 다시 재면 — 답이 뒤집힌다

이제 옮긴 좌표로 거리를 다시 잽니다. 다온부터 손으로 해 봅시다. 나는 (0.9677, -0.0417), 다온은 (0.6452, 0.375)입니다.

세 사람을 모두 재고, 처음에 잰 값과 나란히 놓아 보겠습니다.

원래 값 가람 < 다온 < 나래 → 정규화 다온 < 나래 < 가람. 셋이 전부 자리를 바꿉니다.

사람	원래 값 거리	순위	정규화 거리	순위	자리 변화
가람	100.0312	1등	1.0422	3등	▼ 2계단
다온	1000.0005	2등	0.5269	1등	▲ 1계단
나래	3000.0	3등	0.9686	2등	▲ 1계단

1등이 3등으로, 2등이 1등으로, 3등이 2등으로 갔습니다. 우연히 두 명이 바뀐 정도가 아니라 순위표가 통째로 갈렸습니다. 그리고 이 뒤집힘은 특정한 세 사람 때문에 생긴 우연도 아닙니다. 다온을 빼고 둘만 남겨도 원래 값 가람 < 나래가 정규화 뒤 나래 < 가람으로 뒤집힙니다.

② z 점수 표준화 — 평균에서 얼마나 떨어졌나

두 번째 방법은 기준을 다르게 잡습니다. 최솟값·최댓값 대신 평균과 표준편차를 씁니다.

옮긴 값의 뜻이 분명합니다. "평균에서 표준편차 몇 개만큼 떨어져 있는가"입니다. 0이면 딱 평균, +1이면 평균보다 표준편차 하나만큼 큼, −2면 평균보다 표준편차 둘만큼 작음. 이 값을 z 점수(z-score)라고 부릅니다.

친구 셋의 걸음 수 평균은 (5100+2000+4000)÷3 = 3700입니다. 평균에서 떨어진 거리를 제곱해 더하고 사람 수 3으로 나눈 뒤 뿌리를 씌우면 표준편차 1283.2251이 나옵니다. 공부 시간은 평균 3.2, 표준편차 0.9899입니다. 나의 걸음 수 5000을 옮기면 (5000 − 3700) ÷ 1283.2251 = 1.0131. 평균보다 표준편차 하나쯤 많이 걷는다는 뜻입니다.

기준 : 평균 [3700.0, 3.2], 표준편차 [1283.2251, 0.9899]. 역시 친구 셋만으로 뽑았습니다.

사람	걸음 수 z	공부 시간 z	나와의 거리	순위
가람	1.091	1.3132	2.5266	3등
나래	-1.3248	-1.1112	2.34	2등
다온	0.2338	-0.202	1.2758	1등
나	1.0131	-1.2122	—	—

거리 값은 min-max 때와 전혀 다릅니다(1.2758 대 0.5269). 그런데 순위는 똑같습니다 — 다온 < 나래 < 가람. 이것을 보고 "두 방법은 결국 같구나" 하고 넘어가면 안 됩니다. 친구가 셋뿐이고 값이 고르게 퍼져 있어서 같은 답이 나온 것뿐입니다. 5절에서 이 말을 직접 깨 보겠습니다.

앞 절에서 슬쩍 지나간 결정이 하나 있습니다. 최솟값·최댓값을 뽑을 때 친구 셋만 넣고 나는 뺐습니다. 왜 그랬을까요? 네 사람을 다 넣으면 계산이 더 자연스러워 보이는데 말입니다. 실제로 다 넣으면 나의 좌표가 [0.9677, 0.0]이 되어 아까 그 껄끄러운 음수도 사라집니다.

그런데 이것이 규칙 위반입니다. 오늘 지켜야 할 규칙을 한 줄로 적으면 이렇습니다.

여기서 '나'는 훈련 데이터가 아닙니다. 나는 앞으로 판정을 받아야 할 새 사람입니다. 실제 상황을 떠올려 봅시다. 추천 시스템이 새 손님을 받을 때마다 "잠깐만요, 당신 값까지 넣어서 기준을 다시 계산할게요"라고 할 수는 없습니다. 기준은 서비스를 열기 전에 이미 정해져 있어야 합니다.

2차시에서 본 그 문제가 다시 나온다

2차시에서 우리는 데이터 누수를 배웠습니다. 급식 데이터의 '만족도' 열이 잔반량과 상관 −0.961로 가장 셌지만, 그 설문은 점심을 다 먹고 난 뒤 걷는 것이라 아침에 예측할 때는 쓸 수 없었지요. 알 수 없어야 할 정보가 모델에 새어 들어오는 것 — 그것이 데이터 누수(data leakage)입니다.

정규화 기준을 잡는 일에서도 똑같은 일이 일어납니다. 새로 들어올 값까지 넣어 최솟값·최댓값을 정하면, 아직 오지 않은 데이터를 미리 들여다본 것이 됩니다. 시험 문제를 먼저 보고 채점 기준을 만든 셈이지요. 누수는 알고리즘 안에서만 일어나는 사고가 아니라 데이터를 손질하는 단계에서 이미 일어날 수 있습니다.

정직하게 — 이 예에서는 답이 안 바뀐다

여기서 여러분을 겁주고 싶은 유혹이 있습니다. "규칙을 어기면 답이 틀려진다!"라고 쓰면 훨씬 극적이니까요. 그런데 실제로 돌려 보면 그렇지 않습니다. 결과를 그대로 보여 드립니다.

기준이 lo = [2000, 2.1]에서 lo = [2000, 2.0]으로 바뀝니다. 내 공부 시간 2.0이 새 최솟값이 되기 때문입니다. hi는 그대로입니다.

사람	규칙을 지킨 거리 (기준 = 친구 셋)	규칙을 어긴 거리 (기준 = 친구 셋 + 나)
가람	1.0422	1.0005
나래	0.9686	0.9686
다온	0.5269	0.5139
순위	다온 < 나래 < 가람	다온 < 나래 < 가람

거리 값은 셋 다 달라졌지만 순위는 같습니다. 이 작은 예에서는 규칙을 어겨도 답이 틀려지지 않았습니다. 사실 그대로 적어 둡니다. 그러면 규칙은 왜 지켜야 할까요? 두 가지 까닭이 있습니다.

• 운이 좋았을 뿐입니다. 친구가 셋, 특성이 둘, 새 값이 하나인 아주 작은 판이라 기준이 조금 밀려도 순위가 버텼습니다. 훈련 데이터가 40개, 새 값이 15개인 8차시의 씨앗 데이터쯤 되면 이야기가 달라집니다. 어길 때마다 결과가 조금씩 흔들리고, 언제 뒤집힐지는 미리 알 수 없습니다.
• 성적표를 믿을 수 없게 됩니다. 이것이 더 큰 문제입니다. 누수가 있는 모델은 시험 점수가 실제보다 좋게 나옵니다. 11차시에서 훈련 데이터와 테스트 데이터를 갈라 성능을 재는 법을 배우는데, 그때 잰 점수가 정직하려면 전처리 기준부터 훈련 데이터만 보고 정해져 있어야 합니다.

덧붙여, 규칙을 어기면 증거도 사라집니다. 규칙을 지켰을 때 나온 −0.0417이라는 값은 "새 값은 기준을 잡을 때 안 봤다"는 표시였습니다. 다 넣고 계산하면 그 값이 0.0으로 얌전해집니다. 겉보기에는 깔끔하지만, 깔끔해졌다는 사실 자체가 규칙을 어겼다는 표시입니다.

지금까지 자를 여섯 가지로 바꿔 봤습니다. 원래 값, ×60(분), ×435, km 환산, 0~1 정규화, z 점수. 결과가 제각각이라 어지러웠을 것입니다. 그런데 이 모두를 숫자 하나로 정리할 수 있습니다.

거리 식을 다시 봅시다. 우리가 재는 것은 언제나 이 꼴입니다.

여기서 r은 "공부 1시간을 걸음 몇 걸음으로 칠 것인가"입니다. 이 차시에서 우리가 한 일은 전부 r을 정한 일이었습니다.

• 원래 값 그대로 쓰면 r = 1입니다. 공부 1시간을 1걸음과 같게 친다는 뜻이지요. 이렇게 적어 놓고 보면 얼마나 이상한 결정이었는지 분명해집니다. 아무도 그렇게 결정한 적이 없지만, 표를 그렇게 적는 순간 그렇게 결정된 것입니다.
• km로 바꿔 적으면 r = 1428.57입니다(1km = 1428.57걸음이므로).
• min-max 정규화는 r = 1291.67입니다. 걸음 눈금 폭 3100을 시간 눈금 폭 2.4로 나눈 값이지요.
• z 점수 표준화는 r = 1296.25입니다. 걸음 표준편차 1283.2251을 시간 표준편차 0.98995로 나눈 값입니다.

min-max와 z가 왜 같은 답을 냈는지, 이제 정확히 말할 수 있습니다. "데이터가 고르게 퍼져 있어서"가 아닙니다. 두 자가 고른 r이 1291.67과 1296.25로 0.36%밖에 차이 나지 않기 때문입니다. 거의 같은 자였던 것이지요.

r에 따라 답이 갈리는 자리 셋

r을 1부터 천천히 키우면 순위가 어떻게 될까요? 세 사람의 거리를 r에 대한 식으로 놓고 서로 같아지는 자리를 풀면 경계가 정확히 셋 나옵니다.

이 눈금선이 알려 주는 것이 하나 더 있습니다. 원래 값과 분 단위가 같은 칸에 있다는 사실입니다. 2절에서 ×60으로 순위가 안 바뀌었던 까닭이 이것입니다 — 60은 434.25에 한참 못 미칩니다. 그리고 초 단위(×3600)는 맨 오른쪽 칸이라 정규화와도 다른 답을 냅니다.

이상치 한 명이 두 자를 벌려 놓는다

친구 라온이 들어옵니다. 공부 시간은 3.1시간으로 평범한데, 만보기가 고장 나 걸음 수가 터무니없이 크게 찍힙니다. 4차시에서 본 걸음 수 41000(자전거 대회)이나 키 1750.0(자릿수 오타) 같은 값이지요.

라온이 들어오면 두 자가 고르는 r이 어떻게 되는지 봅시다.

이상치가 커질수록 두 자가 벌어집니다. 그런데 차이가 크다고 답이 갈리는 것은 아닙니다 — 40,000에서 15.94%나 벌어졌는데도 답은 같습니다.

라온의 걸음 수	min-max의 r	z 점수의 r	두 r의 차이	답이 갈리나
라온 없음	1291.67	1296.25	0.36%	같다
6,000	1666.67	1738.41	4.30%	같다
8,718	2799.17	2843.10	1.57%	갈린다
8,823	2842.92	2890.35	1.67%	같다
40,000	15833.33	18356.64	15.94%	같다
48,452	19355.00	22611.49	16.83%	갈린다

8,718이라는 자리를 봅시다. 두 r이 2799.17과 2843.10입니다. 경계 하나가 2842.68에 있었지요. z만 그 선을 넘었고 min-max는 아직 못 넘었습니다. 그래서 답이 갈립니다. 차이가 1.57%밖에 안 나는데도 갈리는 까닭이 이것입니다.

즉 두 r의 차이가 크냐 작냐가 아니라, 그 사이에 경계가 끼었느냐가 답을 정합니다. 8,823까지 105걸음만 더 올리면 min-max도 선을 넘어 다시 같은 답이 됩니다. 폭 105걸음짜리 틈이지요. 손으로 찍어서는 절대 못 찾고 기계에게 훑게 해야 보이는 자리입니다. 잠시 뒤 시뮬레이터로 여러분이 직접 찾아볼 것입니다.

정직하게 — 흔히 오해하는 것 하나

"min-max는 이상치에 짓눌리고 z 점수는 덜 흔들린다"는 말을 자주 듣습니다. 절반만 맞는 말이라 짚고 갑니다. 라온이 40,000걸음일 때 걸음 수 좌표를 보세요.

사람	원래 걸음 수	min-max	z 점수
가람	5100	0.0816	-0.4871
나래	2000	0.0	-0.6838
다온	4000	0.0526	-0.5569
라온	40000	1.0	1.7277
나	5000	0.0789	-0.4934

min-max 쪽은 라온을 뺀 넷이 0.00 ~ 0.09에 뭉쳤습니다. 눈금 전체가 1이니 8.16%를 씁니다. z 쪽은 -0.68 ~ -0.49에 있고, 눈금 전체가 -0.68에서 1.73까지 2.41이니 역시 8.16%입니다. 완전히 같습니다. 두 방법 모두 나누기 하나로 축을 옮기는 1차 변환이라, 한 축 안에서 서로 얼마나 떨어져 있는지는 바뀔 수가 없습니다.

그런데 정규화가 필요 없는 알고리즘도 있다

여기까지 읽고 "그럼 늘 정규화부터 하면 되겠구나"라고 결론 내리기 쉽습니다. 그런데 그렇지 않습니다. 무조건 해야 하는 전처리는 없습니다.

아주 단순한 판정 규칙을 하나 만들어 봅시다. "걸음 수가 3000보다 많으면 많이 걷는 쪽." 이 규칙을 km 자로 옮겨 적으면 "2.1km보다 많으면"이 됩니다. 결과를 견주면 이렇습니다.

네 사람 모두 판정이 같습니다. 자를 바꿔도 답이 안 바뀝니다.

사람	걸음 수 자로 판정	km 자로 판정
가람	많이 걷는 쪽	많이 걷는 쪽
나래	적게 걷는 쪽	적게 걷는 쪽
다온	많이 걷는 쪽	많이 걷는 쪽
나	많이 걷는 쪽	많이 걷는 쪽

까닭은 분명합니다. 이 규칙은 '크다/작다'만 따집니다. 단위를 바꿔도 누가 더 큰지는 그대로이므로 판정도 그대로입니다. 이런 성질을 가진 대표적인 알고리즘이 결정 트리입니다. 결정 트리는 "이 특성이 이 값보다 큰가"라는 질문만 던지기 때문에 정규화가 필요 없습니다. 환산율 r이라는 것이 아예 등장하지 않으니까요.

정규화가 꼭 필요한 것은 값의 크기를 직접 계산에 넣는 알고리즘입니다.

• 거리를 재는 알고리즘 — 8차시의 k-최근접 이웃, 10차시의 k-평균 군집. 오늘 본 그대로, 큰 숫자가 거리를 독점합니다. 8차시에서 씨앗의 무게를 mg로 바꾸고 정규화를 끄면 정확도가 46.7~66.7%로 무너지고, 예측이 '무게 하나만 쓴 것'과 15개 전부 같아집니다.
• 가중치를 곱하는 알고리즘 — 9차시의 회귀, 13~15차시의 퍼셉트론과 신경망. 입력 값의 크기가 제각각이면 학습이 한쪽으로 쏠려 잘 수렴하지 않습니다. 9차시에서 공부 시간을 분 단위로 바꿔 보면 학습률의 문턱이 3600배(= 60²) 작아져야 겨우 돌아갑니다.

정리하면 "정규화를 할까 말까"는 데이터가 아니라 알고리즘이 정합니다. 쓸 알고리즘을 먼저 정하고, 그것이 크기를 보는 종류인지 순서만 보는 종류인지 따지면 됩니다.

지금까지 읽은 것을 화면에서 직접 움직여 봅시다. 가로축이 걸음 수, 세로축이 공부 시간인 산점도입니다. 분홍색 점이 나이고, 나에게서 가까운 이웃 셋까지 선이 이어집니다. 자를 바꾸면 점들이 자리를 옮기고 선이 다시 그어집니다.

시뮬레이터가 화면 뒤에서 하고 있던 계산을 직접 짜 봅니다. 오늘 만들 함수는 다섯 개입니다.

이 다섯 개는 오늘로 끝나지 않습니다. 8차시 k-최근접 이웃, 11차시 과적합 실험, 15차시 신경망이 이 함수들을 이름도 식도 고치지 않고 그대로 다시 싣습니다 (오늘의 빈칸 안내 주석만 뺍니다 — 그 차시에서는 이미 채워진 부품이니까요). 파이썬은 차시마다 새로 뜨므로 "앞 차시에서 만들었다"가 통하지 않기 때문입니다.

함수	하는 일	넣는 것	나오는 것
dist(a, b)	두 점 사이 유클리드 거리	점 둘	거리 하나
minmax_fit(rows)	0~1 기준을 뽑는다	훈련 데이터만	최솟값·최댓값
minmax_apply(v, lo, hi)	그 기준으로 점 하나를 옮긴다	점 하나 + 기준	옮긴 좌표
zscore_fit(rows)	z 기준을 뽑는다	훈련 데이터만	평균·표준편차
zscore_apply(v, mu, sd)	그 기준으로 점 하나를 옮긴다	점 하나 + 기준	옮긴 좌표

빈칸 넷을 채우세요

아래 코드에 ?????가 다섯 자리 있습니다. 채울 것은 네 종류입니다.

• 빈칸 ① dist() — 각 특성의 차를 제곱해 모두 더하고, 마지막에 ** 0.5로 뿌리를 씌웁니다.
• 빈칸 ② minmax_apply() — 최솟값을 빼고, 최댓값과 최솟값의 차로 나눕니다.
• 빈칸 ③ zscore_apply() — 평균을 빼고, 표준편차로 나눕니다.
• 빈칸 ④ minmax_fit(?????)와 zscore_fit(?????) — 여기에 무엇을 넣을지가 오늘의 핵심입니다. 친구 셋만입니까, 친구 셋에 나까지입니까? 답을 고르는 것이 아니라 4절의 규칙을 지킬지 말지를 판단하는 자리입니다. 두 곳에 같은 답이 들어갑니다.

이어서 — 라온을 넣고 두 자를 갈라 보기

두 번째 상자는 5절의 실험을 그대로 돌립니다. 라온의 걸음 수를 6,000부터 4,000씩 올려 가며 두 방법의 답을 견주고, 갈리는 자리를 1걸음 단위까지 좁혀 찾습니다. 6,000부터 80,000까지 100걸음 간격으로 741자리를 훑은 뒤, 답이 바뀐 곳만 1걸음씩 다시 재는 방식입니다.

오늘 한 일을 다섯 줄로 줄이면 이렇습니다.

• 비슷함은 거리로 잰다. 유클리드 거리는 각 특성의 차를 제곱해 더하고 뿌리를 씌운 값입니다. 특성이 몇 개든 항을 더 붙이면 됩니다.
• 단위가 큰 특성이 판정을 독점한다. 걸음 차의 제곱 9,000,000이 공부 차의 제곱 0.01을 삼켰습니다. 특성 두 개로 쟀다고 생각했지만 실제로는 하나만 쓰였습니다.
• 정규화는 모든 특성을 같은 자로 옮기는 일이다. 최솟값·최댓값으로 0~1에 넣는 min-max, 평균·표준편차로 옮기는 z 점수. 어느 쪽이든 정하는 것은 환산율 하나입니다.
• 기준은 훈련 데이터에서만 뽑는다. 새 값이 0~1을 벗어나는 것은 고장이 아니라 규칙을 지켰다는 증거입니다. 새 값까지 넣어 기준을 잡으면 전처리 단계의 데이터 누수입니다.
• 무조건 하는 전처리는 없다. 크기를 계산에 넣는 알고리즘(거리·가중치)에만 필요하고, 크다·작다만 따지는 알고리즘(결정 트리)에는 필요 없습니다.

오늘의 숫자	값	어디서 나왔나
원래 값 거리	가람 100.0312 · 다온 1000.0005 · 나래 3000.0	실습 ① 【1】
정규화 거리	다온 0.5269 · 나래 0.9686 · 가람 1.0422	실습 ① 【2】
나의 옮긴 좌표	[0.9677, -0.0417]	실습 ① 【2】
환산율 r	원래 값 1 · min-max 1291.67 · z 1296.25 · km 1428.57	5절 · 시뮬레이터
순위가 갈리는 경계	434.25 · 1200.29 · 2842.68	5절 그림 3
두 방법이 갈리는 라온의 걸음 수	8,718 ~ 8,822 · 48,452 이상	실습 ② 【6】

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.