정답표가 있는가
학습을 가르는 하나의 질문

자전거를 처음 배우던 날을 떠올려 봅시다. 옆에서 잡아 주던 사람이 이렇게 말했나요?

아무도 그렇게 말하지 않았습니다. 대신 이런 것만 있었지요. 넘어졌다. 또 넘어졌다. 이번엔 세 바퀴쯤 갔다가 넘어졌다. 그러다 어느 순간 안 넘어졌다. 정답을 알려 준 사람은 아무도 없는데, 여러분은 자전거를 탑니다.

지난 여섯 차시를 돌아봅시다. 1차시의 학교 메일함에는 메일마다 스팸/정상 표시가 붙어 있었습니다. 2차시의 급식 잔반 기록에는 날마다 실제로 몇 kg 남았는지가 적혀 있었고요. 3차시의 강아지 사진 400장에는 품종 정답이, 6차시에서 특성을 고를 때는 시험 점수가 답 열로 놓여 있었습니다. 4차시에서 빈칸을 메우고 5차시에서 단위를 맞춘 일에는 답 열이 나오지 않았지만, 그 손질도 결국 답 열을 잘 맞히려고 한 준비였지요. 우리는 늘 답이 적힌 열을 목표로 두고 일했습니다.

그런데 자전거에는 그런 열이 없습니다. 바둑에도 없습니다 — 지금 이 수가 좋은 수인지는 200수 뒤에 이기고 나서야 알 수 있으니까요. 로봇이 걷는 것도, 게임 AI가 점수를 올리는 것도 마찬가지입니다. 정답을 아는 사람이 세상에 한 명도 없는 문제가 있습니다.

답은 여러분이 자전거를 배운 방식과 똑같습니다. 해 보고, 상과 벌을 받고, 고친다. 오늘 15분 동안 여러분은 24칸짜리 격자 위에서 로봇 하나를 그렇게 가르칠 것입니다. 정답 경로는 아무도 알려 주지 않습니다. 로봇은 열네 판을 헤맨 뒤에야 7걸음짜리 길을 찾아내고, 500판을 도는 동안 구덩이에 117번 빠집니다. 그리고 여러분이 상벌 값을 조금만 바꾸면 로봇은 도착 지점 대신 구덩이로 뛰어들기 시작합니다. 그것도 오늘 직접 보게 됩니다.

기계학습을 세 갈래로 나눈다는 말은 여러 번 들어 봤을 것입니다. 그런데 그 셋을 무엇으로 나누는지는 잘 안 적혀 있습니다. 기준은 놀랄 만큼 단순합니다. 질문 하나면 됩니다.

이 질문에 대한 답이 셋이라서 갈래가 셋입니다.

여기서 가장 중요한 것은 손에 든 데이터의 모양 자체가 다르다는 점입니다. 말로만 다른 게 아니라 파일을 열어 보면 눈으로 구별됩니다.

왜 하필 ‘정답표’인가

정답표가 있으면 기계는 자기 답과 정답을 뺄 수 있습니다. 그 차이가 곧 고칠 방향입니다. 2차시에서 잔반량을 예측할 때 우리는 예측값과 실제값의 차이를 평균절대오차(MAE)로 쟀지요. 그 차이가 있으니까 “이만큼 틀렸다”를 알고, 다음에 덜 틀리게 고칠 수 있었습니다.

정답표가 없으면 뺄 것이 없습니다. 그러면 기계는 “틀렸다”를 알 방법이 없습니다. 그래서 목표를 바꿉니다 — 맞히는 대신 구조를 찾습니다. “이 데이터에는 세 덩어리가 있다”는 결론에는 정답이 필요 없습니다.

강화학습은 이 둘 사이에 있습니다. 매 순간의 정답은 없지만, 한참 뒤에 점수가 옵니다. 바둑에서 152번째 수가 좋은 수였는지는 아무도 안 알려 줍니다. 다만 250수쯤 뒤에 이겼다 / 졌다가 옵니다. 이렇게 한참 뒤에야 오는 점수를 지연 보상이라 하고, 그 점수를 앞선 수들에게 어떻게 나눠 줄지가 강화학습의 핵심 문제입니다.

유형은 문제가 아니라 데이터가 정한다

가장 자주 틀리는 지점이 여기입니다. “영화 추천은 무슨 학습인가?”라는 물음에는 답이 하나가 아닙니다. 같은 문제라도 데이터를 어떻게 모았느냐에 따라 갈래가 바뀝니다.

그러니 문제를 보고 “이건 지도학습”이라고 반사적으로 답하지 마세요. 먼저 물어야 할 것은 “그래서 지금 손에 뭐가 있는데?” 입니다.

큰 갈래를 셋으로 나눴으니, 이제 그 안을 들여다봅시다. 다음 세 차시가 여기서 하나씩 이어집니다.

지도학습 — 답이 범주냐 수냐로 갈린다

이름표가 있다는 점은 같습니다. 그런데 그 이름표가 몇 개 중 하나를 고르는 것이면 분류(classification), 연속된 수면 회귀(regression)입니다.

둘의 경계가 흐릿해 보일 수 있습니다. “잔반이 많을까 적을까”는 분류이고 “잔반이 몇 kg일까”는 회귀입니다. 같은 데이터로 둘 다 할 수 있습니다. 2차시의 급식 기록이 정확히 그랬지요 — 잔반량(kg)을 그대로 쓰면 회귀, 기준선을 정해 많음/적음으로 접으면 분류가 됩니다. 무엇을 하고 싶은지가 갈래를 정합니다.

비지도학습 — 구조를 찾는 세 가지 방식

여기에 하나 더 있습니다. 이상 탐지입니다. 대다수와 동떨어진 것을 찾는 일인데, “무엇이 이상인지”를 아무도 표시해 두지 않았으니 비지도학습입니다. 4차시에서 키가 1750.0으로 잘못 적힌 17번 학생을 IQR로 찾아냈던 것 — 그것이 이상 탐지의 가장 단순한 형태였습니다.

그리고 강화학습은 오늘이 처음이자, 이 단원에서 유일한 자리입니다. 그래서 오늘은 갈래를 나누는 데서 멈추지 않고, 강화학습이 실제로 어떻게 도는지까지 봅니다.

말로 배운 기준은 문제 앞에서 흔들립니다. 열넷을 직접 판정해 봅시다. 아래 코드의 MY_ANSWER 열네 칸에 "지도" · "비지도" · "강화" 중 하나를 적고 실행하면, 채점표와 근거가 함께 나옵니다.

지도학습에는 부품이 둘뿐이었습니다. 특성과 이름표. 강화학습은 넷입니다. 이 넷만 정확히 잡으면 나머지는 계산일 뿐입니다.

가치 — 칸마다 매기는 숫자 하나

정책을 어떻게 찾을까요? 가장 널리 쓰이는 방법은 칸마다 숫자를 하나씩 매기는 것입니다. 그 숫자를 가치(value)라 부릅니다. 가치는 “지금 여기서 받는 점수”가 아니라 “여기서 출발하면 결국 몇 점을 받게 될까”입니다.

이것이 왜 중요한지 격자로 보면 즉시 이해됩니다. 도착 칸 바로 옆 칸은 당장 받는 점수가 −0.1(걸음 값)뿐입니다. 하지만 한 걸음만 더 가면 +10이지요. 그러니 그 칸의 가치는 10 − 0.1 = 9.9입니다. 그 옆 칸은 9.8, 또 그 옆은 9.7… 이렇게 도착 지점에서 물결처럼 번져 나옵니다.

가치가 다 매겨지면 정책은 저절로 나옵니다. 이웃 칸 중 가치가 가장 큰 쪽으로 가면 됩니다. 1단원 6·7차시의 A*에서 f가 가장 작은 칸을 먼저 꺼냈던 것과 방향만 반대일 뿐 구조가 같습니다. 다만 결정적인 차이가 하나 있습니다 —

이제 로봇 하나를 직접 가르쳐 봅시다. 격자는 4행 6열, 모두 24칸입니다. 왼쪽 아래가 출발, 오른쪽 아래가 도착이고, 그 사이 아래 줄 네 칸은 구덩이입니다. 구덩이에 빠지면 그 판은 거기서 끝납니다.

규칙은 이렇습니다. 로봇은 매 걸음 네 방향 중 하나를 고릅니다. 격자 밖으로 나가려 하면 제자리에 머물지만 걸음 값은 그대로 냅니다. 도착 칸을 밟으면 +10, 구덩이를 밟으면 −10, 그 밖의 모든 걸음은 −0.1. 한 판은 도착·구덩이·100걸음 중 먼저 오는 것에서 끝납니다.

같은 계산을 파이썬으로 — 화면과 숫자가 맞는지 확인한다

화면의 시뮬레이터와 아래 코드는 같은 알고리즘·같은 난수·같은 씨앗을 씁니다. 그래서 두 결과가 마지막 자리까지 같아야 합니다. 다르면 둘 중 하나가 틀린 것이지요. 실행하고 위 표와 맞춰 보세요.

학습 도중 구덩이에 117번 빠지고 383번 도착하며 모두 4,111걸음을 걷습니다. 그 대가로 얻은 것이 9.30이라는 숫자 하나와, 칸마다 찍힌 화살표입니다.

격자 시뮬레이터의 슬라이더 중에 탐험 비율 ε이라는 것이 있었습니다. 그 값이 무엇이었는지 이제 제대로 봅시다. 강화학습에만 있는, 지도학습에는 아예 없는 갈등입니다.

이것이 탐험(exploration)과 활용(exploitation)의 갈등입니다. 둘은 같은 100일을 나눠 씁니다. 한쪽에 더 주면 다른 쪽이 줄어듭니다. 저울이지요.

가장 단순한 해결책이 ε-탐욕(epsilon-greedy) 정책입니다. 동전을 던져서, ε의 확률로는 아무거나 고르고(탐험), 나머지 확률로는 지금까지 최고인 것을 고릅니다(활용). ε = 0.1이면 열 번 중 한 번은 새로운 것을 시험합니다.

탐험에는 값이 매겨져 있다

탐험은 공짜가 아닙니다. ε의 비율만큼은 일부러 나쁜 선택도 해 본다는 뜻이니까요. 기계가 정답을 이미 다 안다고 해도, ε-탐욕을 쓰는 한 최선을 고를 수 있는 비율에 천장이 생깁니다. 선택지가 셋일 때 그 천장은 이렇습니다.

최선을 고르는 비율의 천장 = 1 − ε × 2/3

탐험할 때도 3분의 1의 확률로는 최선이 걸리기 때문에 ε이 아니라 ε × 2/3만큼 손해입니다. ε = 0.1이면 천장이 93.3%, ε = 0.3이면 80.0%로 떨어집니다. 천장만 보면 ε은 작을수록 좋습니다.

그런데 정말 그럴까요? ε을 0으로 두면 천장은 100%가 됩니다. 다만 그 100%가 무엇에 대한 100%인지가 문제입니다. 최선이 무엇인지 영영 못 찾은 채로 100%를 지킬 수도 있으니까요. 이 모순을 다음 실습에서 숫자로 확인합니다.

격자보다 더 단순한 강화학습 문제가 있습니다. 상태가 아예 없는 문제입니다. 슬롯머신 세 대가 있고, 당길 때마다 당첨(1) 또는 꽝(0)이 나옵니다. 당첨 확률은 기계마다 다른데 기계는 그 확률을 모릅니다. 500번 안에 최대한 많이 따야 합니다.

코드에 빈칸 두 개가 있습니다. ε-탐욕의 심장에 해당하는 두 줄입니다.

• 빈칸 ① — 활용은 무엇을 고르는가? value 안에서 가장 큰 값이 몇 번째 자리에 있는지를 찾으면 됩니다.
• 빈칸 ② — 새 결과를 보고 추정을 어떻게 고칠까? (이번에 받은 것 − 지금 믿는 값)을 당긴 횟수로 나눠 더하면, 지금까지 받은 보상의 평균이 저절로 유지됩니다.

두 표가 서로 반대를 가리킨다 — 그것이 이 실습의 핵심이다

실행 결과를 자세히 보면 이상한 일이 벌어져 있습니다.

실제로 EPS = 0.01로 20판을 돌리면 8판은 3번 기계를 끝내 못 찾습니다. 한 판만 보면 317점으로 멀쩡해 보이는데, 20판을 모으면 최저 106점짜리 판이 섞여 있습니다. 한 판의 성적으로 좋은 설정을 고르면 안 된다는 뜻이지요 — 3차시에서 밝은 털 사진만으로 성적을 재면 안 됐던 것과 같은 종류의 잘못입니다.

오늘 여러분은 슬라이더를 몇 번 움직여서 로봇의 성격을 통째로 바꿨습니다. 알고리즘은 한 줄도 안 고쳤는데 말이지요. 그 사실을 다시 봅시다.

세 번째 줄을 다시 보세요. 한 걸음 값을 0으로 두자 로봇은 500판을 돌고도 도착 칸을 한 번도 못 밟았습니다. 서두를 이유가 사라지자 100걸음 상한에 걸릴 때까지 헤매기만 했고, 헤매기만 하니 도착이 무엇인지 배울 기회도 없었습니다. 벌이 없으면 배울 것도 없다는 말이 그대로 숫자로 나온 셈입니다.

두 번째 줄은 더 노골적입니다. 구덩이에 상을 주자 로봇은 한 걸음 만에 구덩이로 뛰어들었습니다. 500판 중 499판이 그랬습니다. 로봇을 나무랄 수 있을까요? 우리가 시킨 대로 한 것뿐입니다.

이렇게 보상의 빈틈을 파고들어 목표와 상관없는 방법으로 점수만 올리는 현상을 보상 해킹(reward hacking)이라 합니다. 오늘 여러분이 구덩이 벌점을 +10으로 올렸을 때 본 것이 바로 그 축소판입니다.

그러면 보상을 어떻게 설계해야 하나

• 대리 지표를 목표로 착각하지 않는다. ‘게임 점수’는 ‘경주에서 이기기’의 대리 지표였을 뿐입니다. 정말 원하는 것이 완주라면 완주에 보상을 주어야 합니다.
• 목표와 상관없는 행동에는 값을 매긴다. 격자에서 걸음마다 −0.1을 준 것이 그것입니다. 그 −0.1이 없으면 로봇은 서두르지 않고, 서두르지 않으면 아무것도 못 배웠습니다.
• 이상한 방법으로 점수를 올릴 수 있는지 먼저 찾아본다. 설계자가 스스로 “이 보상으로 반칙할 방법이 있나?”를 묻는 것이 가장 값싼 안전장치입니다.
• 배운 결과를 반드시 눈으로 본다. 오늘 우리가 [🎯 배운 길로 가 보기]를 누른 것처럼요. 총점만 보면 구덩이로 뛰어드는 로봇도 “학습에 성공했다”고 보고됩니다.

이 이야기는 오늘로 끝나지 않습니다. 3단원에서 인공지능의 사회적 영향을 다룰 때, “무엇을 점수로 삼을 것인가”라는 오늘의 질문이 훨씬 무거운 모습으로 다시 나옵니다. 추천 알고리즘이 ‘머문 시간’을 보상으로 삼으면 무슨 일이 벌어질지 — 그건 게임 속 보트가 뱅뱅 도는 것과 같은 구조입니다.

그래서 강화학습은 어디까지 왔나

알파고는 오늘 배운 두 갈래를 이어 붙인 시스템이었습니다. 먼저 사람의 기보를 따라 배웠고(지도학습 — 기보의 다음 수가 정답표입니다), 그다음 자기 자신과 두면서 이기면 +1, 지면 −1로 다듬었습니다(강화학습). 14문항 게임의 13번이 바로 이 구조를 물은 것이었지요.

• 세 갈래를 가르는 질문은 하나다 — “지금 손에 정답이 적힌 열이 들려 있는가?” 있으면 지도학습, 없으면 비지도학습, 없지만 행동 뒤에 점수가 오면 강화학습. 문제의 성질이 아니라 데이터의 모양이 갈래를 정한다.
• 지도학습은 답이 범주냐 수냐로 갈린다 — 분류와 회귀. 비지도학습은 군집·차원 축소·연관 규칙으로 구조를 찾는다. 8·9·10차시가 이 셋을 하나씩 맡는다.
• 강화학습의 부품은 넷이다 — 상태·행동·보상·정책. 결과물은 예측값이 아니라 상황마다 무엇을 할지의 규칙이다.
• 가치는 도착점에서 물결처럼 번진다 — 격자의 칸 값은 10 − 0.1 × 남은 걸음이었고, 500판을 돌린 로봇의 출발 칸 값은 정확히 9.30이었다. 다만 안 가 본 0행은 참값과 어긋났다. 강화학습은 가 본 곳만 안다.
• 탐험과 활용은 같은 판을 나눠 쓴다 — ε을 키우면 최선을 빨리 찾지만 손해도 커지고, 줄이면 손해는 적지만 최선을 못 찾을 수 있다. 천장 표와 20판 평균 표가 서로 반대를 가리키는 까닭이다.
• 보상을 설계하는 일이 곧 목표를 설계하는 일이다 — 한 걸음 값을 −3.33에서 −3.34로 0.01만 내리자 로봇은 도착 대신 구덩이를 골랐다. 그 문턱은 손으로 푼 부등식과 정확히 맞았다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.