무엇을 맞히고, 무엇으로 맞힐까
급식 잔반으로 배우는 문제 정의

점심시간이 끝난 급식실 뒤편입니다. 커다란 잔반통 세 개가 거의 가득 찼습니다. 영양 선생님이 한숨을 쉬며 말합니다. "인공지능으로 이것 좀 어떻게 안 될까?"

세 사람이 곧바로 대답합니다. 그런데 세 대답이 서로 다른 문제입니다.

세 사람은 같은 잔반통을 보고 있지만, 컴퓨터에게 시킬 수 있는 일은 뒤의 둘뿐입니다. "줄이고 싶다"는 바람이고, "많을까 적을까"와 "몇 kg일까"는 물음입니다. 인공지능은 바람을 받지 못합니다. 물음만 받습니다. 그리고 둘 중 어느 물음을 고르느냐에 따라 모으는 데이터도, 답을 채점하는 방법도 통째로 달라집니다.

다행히 우리 학교 급식실에는 기록이 있습니다. 조리실무사님이 매일 잔반통을 저울에 올려 무게를 적어 두셨고, 행정실은 급식 인원과 메뉴를 따로 관리하고 있었습니다. 두 기록을 붙였더니 12주 × 5일 = 60일치 표가 나왔습니다. 앞의 여덟 줄만 볼까요.

표를 보면 벌써 눈에 걸리는 것이 있습니다. 3번 날(수요일, 양식)은 18.8kg이 남았고 5번 날(금요일, 분식)은 6.8kg밖에 안 남았습니다. 거의 세 배 차이입니다. 요일 때문일까요, 메뉴 때문일까요, 아니면 그날 유난히 더웠기 때문일까요? 눈으로 보고 짐작하는 것과, 재서 확인하는 것은 다릅니다.

인공지능 프로젝트가 실패하는 자리는 대개 알고리즘이 아닙니다. 시작하는 자리입니다. "무엇을 만들 것인가"가 흐릿한 채로 데이터부터 모으면, 몇 주 뒤에 아무도 그 결과가 좋은지 나쁜지 말하지 못하는 상황이 옵니다. 그것을 막는 장치가 문제 정의이고, 문제 정의는 다음 세 칸을 채우는 일입니다.

① 목표 변수 — 답이 될 칸 하나를 고른다

목표 변수는 표의 열 하나입니다. 우리 표에서는 잔반kg을 고를 수도 있고 많음을 고를 수도 있습니다. 둘은 같은 잔반 이야기지만 전혀 다른 문제가 됩니다.

오늘은 회귀 쪽, 그러니까 잔반kg을 목표 변수로 삼아 걸어가겠습니다. 숫자를 맞히는 문제가 성공 기준을 이야기하기에 더 정직하기 때문입니다. 다만 손으로 해 보는 시간에는 분류 쪽도 함께 재 볼 겁니다. 두 답이 어떻게 다르게 생겼는지 눈으로 봐야 하니까요.

② 입력 특성 — 무엇을 보고 맞힐 것인가

특성은 목표 변수를 뺀 나머지 열 가운데 우리가 쓰기로 고른 것들입니다. 표에 있다고 다 특성이 되는 것이 아닙니다. 여기가 오늘의 진짜 승부처이고, 3절에서 두 개의 체로 거를 겁니다.

③ 성공 기준 — 얼마나 맞혀야 성공인가

세 칸 가운데 학생들이 가장 자주 비워 두는 칸입니다. 비워 두면 어떻게 될까요? 프로젝트가 끝난 날 이런 대화가 오갑니다.

기준선(baseline)은 학습이라고 부르기도 민망한, 가장 단순한 예측입니다. 우리 문제에서 가장 단순한 예측은 무엇일까요? 아무것도 안 보고 늘 같은 숫자만 답하는 것입니다.

그럼 늘 무슨 숫자를 답하면 좋을까요? 60일치의 전체 평균 11.49kg이 무난합니다. 월요일이든 수요일이든, 한식이든 분식이든, 무조건 "11.49kg 남을 겁니다"라고 답하는 모델입니다. 바보 같아 보이지만 이 모델도 성적을 매길 수 있습니다.

평균오차를 손으로 재 본다

성적을 매기려면 틀린 정도를 숫자 하나로 줄여야 합니다. 가장 쉬운 방법은 하루하루 얼마나 벗어났는지를 재서 평균을 내는 것입니다. 이것을 평균절대오차(MAE, mean absolute error)라고 부르고, 이 책에서는 그냥 평균오차라고 쓰겠습니다. 앞의 세 날로 직접 해 봅시다.

기준선 사다리 — 특성을 하나씩 더하면 오차가 얼마나 주나

아무것도 안 보는 모델이 2.628kg이었습니다. 이제 요일만 봐 봅시다. 월요일에는 월요일들의 평균을, 수요일에는 수요일들의 평균을 답하는 겁니다. 데이터를 요일별로 다섯 칸에 나눠 담고, 각 칸의 평균을 그 칸의 답으로 쓰는 방법이지요. 60일치의 요일별 평균은 이렇게 나왔습니다.

같은 방법으로 메뉴별·시험기간별, 그리고 둘·셋을 한꺼번에 묶은 칸까지 만들어 재면 사다리가 하나 나옵니다. 아래는 오늘 실습 코드가 실제로 찍어 주는 값입니다.

읽을 것이 세 가지 있습니다.

• 요일 하나로 24.5%가 줄었다. 2.628 → 1.984kg. '요일'이라는 낱말 하나를 알려 준 것뿐인데 오차가 4분의 1쯤 사라졌습니다. 좋은 특성 하나가 복잡한 알고리즘보다 낫다는 것을 이 한 줄이 보여 줍니다.
• 어느 특성이 셀지는 재 봐야 안다. 요일(1.984)이 메뉴(2.401)보다 낫긴 하지만 격차가 크지 않습니다. 실제로 크게 준 것은 둘을 합쳤을 때(1.116)입니다. "요일이 제일 중요할 거야"라는 짐작만으로 특성을 골랐다면 절반을 놓쳤을 겁니다.
• 맨 아랫줄은 좋아 보이지만 함정이다. 칸이 31개인데 데이터는 60줄뿐입니다. 칸 하나에 평균 두 줄씩 들어 있어요. 그러니 "칸 평균"이라고 해 봐야 사실상 그 두 날의 값을 외운 것입니다. 이 함정의 이름이 과적합(overfitting)이고, 11차시에서 정면으로 다룹니다.

그래서 합격선은 1.98kg이다

이제 성공 기준을 정할 수 있습니다. 우리가 만들 인공지능은 평균오차 1.98kg보다 잘해야 합니다. 요일별 평균이라는 초등학생도 할 수 있는 방법이 이미 1.984kg을 냈으니까요. 그것을 못 이기는 인공지능은 만들 이유가 없습니다.

분류 쪽 기준선도 미리 재 둡시다. 많음을 맞히는 문제에서 가장 단순한 방법은 늘 한쪽으로만 찍는 것입니다. 60일 가운데 '많음'이 28일, '적음'이 32일이었으니 무조건 '적음'이라고만 답해도 53.3%가 맞습니다. 아까 발표회에서 나온 "정확도 80%"라는 말은, 이 문제에서라면 53.3%짜리 찍기보다 26.7%포인트 나은 것이라는 뜻이 됩니다. 이제 말에 뜻이 붙었습니다.

평균오차 말고도 오차를 재는 자가 더 있습니다. 크게 틀린 날을 더 무겁게 치는 자인데, 맨 끝 더 알아보기에서 그림으로 견주어 봅니다.

표에는 열이 아홉 개 있습니다. 목표 변수로 쓸 잔반kg과 많음을 빼면 후보가 일곱 개 남습니다. 회차 · 요일 · 메뉴 · 기온 · 시험기간 · 급식인원 · 만족도. 이 일곱을 전부 넣으면 될까요? 그러면 안 됩니다. 두 개의 체로 걸러야 합니다.

체 ① — 이 특성은 잔반과 함께 움직이는가

첫 번째 체는 쉽습니다. 잔반량이 오르내릴 때 같이 오르내리는가를 봅니다. 두 숫자가 함께 움직이는 정도를 하나의 수로 줄인 것이 상관계수(correlation coefficient)이고 보통 r이라고 씁니다. −1에서 +1 사이 값을 가지며, 0에 가까울수록 "따로 논다"는 뜻입니다.

여기서 표를 두 번 봐야 합니다. 맨 위가 만족도이고 값이 −0.961입니다. 두 번째로 센 시험기간(+0.369)의 2.6배입니다. 인공지능 프로젝트에서 이런 열을 찾으면 보통은 축제 분위기가 됩니다. 그런데 이 특성은 쓸 수 없습니다. 왜인지는 두 번째 체에서 밝히겠습니다.

체 ② — 예측하는 그 순간에 이 값이 내 손에 있는가

두 번째 체가 오늘의 핵심입니다. 상관계수는 과거 데이터 안에서 잰 값입니다. 그러나 우리가 쓸 모델은 미래를 향해 씁니다. 그러니 물어야 합니다.

"예측하려는 그 시각에, 이 값을 실제로 알 수 있는가?"

급식 잔반 예측이 실제로 쓰이려면 아침에 답이 나와야 합니다. 조리실무사님이 배식량을 조절하려면 늦어도 오전에는 알아야 하니까요. 그 시각을 시간 축 위에 놓아 봅시다.

이렇게 예측 시점에 알 수 없는 값이 특성 속으로 섞여 들어가는 것을 데이터 누수(data leakage)라고 합니다. 누수가 있으면 성적표가 아주 좋게 나오기 때문에 가장 발견하기 어려운 종류의 실패입니다. 우리 표에는 누수가 두 가지 유형으로 심어져 있습니다.

누수 유형 ㉠ — 정답에서 만들어 낸 값

이제 표의 맨 오른쪽 많음 칸이 무엇인지 밝힐 때가 됐습니다. 그 칸은 하늘에서 떨어진 것이 아니라 우리가 만든 값입니다.

많음 = 1 (잔반kg ≥ 11.5) · 0 (그 밖)

급식실에서 "11.5kg 넘게 남으면 많이 남은 날로 친다"고 정한 기준을 그대로 옮겨 적은 것입니다. 그렇다면 잔반kg을 특성으로 넣고 많음을 맞히면 어떻게 될까요? 정확도 100.0%입니다. 당연합니다 — 답을 만들어 낸 재료를 그대로 넣었으니까요. 시험 문제의 답을 문제지 여백에 적어 두고 푼 셈입니다.

누수 유형 ㉡ — 아직 존재하지 않는 값

㉠은 그래도 눈에 띕니다. 잡기 어려운 것은 ㉡입니다. 만족도가 그렇습니다.

만족도는 정답 자체가 아닙니다. 그래서 표를 훑어봐도 반칙처럼 보이지 않습니다. 상관계수를 재면 −0.961로 최고이고, 그것 하나로 '많음/적음'을 맞히면 91.7%가 나옵니다. 요일·메뉴·시험기간을 다 합쳐서 낸 85.0%보다 높아요. 아무 의심 없이 쓰게 됩니다.

그런데 만족도 설문은 점심을 다 먹고 난 뒤 걷습니다. 만족도를 알게 되는 시각에는 이미 잔반통 무게도 알고 있습니다. 예측할 것이 남아 있지 않아요. 이 모델은 실제로 쓰는 순간 입력이 비어서 아무 답도 못 냅니다.

두 체를 통과한 특성 목록

여기까지는 표가 이미 있다고 치고 이야기했습니다. 실제 프로젝트에서는 그 표를 만드는 일이 전체 시간의 절반을 훌쩍 넘깁니다. 데이터는 어디서 올까요? 크게 네 갈래입니다.

이름표(정답)는 공짜가 아니다

여기서 한 가지가 더 남습니다. 표의 목표 변수 칸, 곧 이름표(정답, label)는 누군가 사람이 붙인 것입니다. 기온이나 급식인원은 이미 어딘가에 적혀 있지만, "이 날은 잔반이 많았다"는 판정은 누군가 저울을 읽고 기준과 견주어 적어야 나옵니다.

이름표를 붙이는 일에는 언제나 세 가지 물음이 따라붙습니다.

• 누가 붙이나. 조리실무사님 한 분이 계속 붙이면 기준이 일정합니다. 당번 학생이 돌아가며 붙이면 사람마다 기준이 달라집니다.
• 어떤 기준으로 붙이나. 우리는 11.5kg을 경계로 삼았습니다. 그런데 이 숫자는 누가 정했을까요? 근거가 없으면 결과 전체가 흔들립니다. 손으로 해 보는 시간에 이 경계를 직접 움직여 볼 겁니다.
• 얼마나 드나. 60일치를 모으는 데 12주가 걸렸습니다. 하루 3분씩 60일이면 3시간입니다. 사진 10만 장에 이름표를 붙이는 프로젝트라면 사람 여럿이 몇 달을 씁니다. 이름표는 데이터에서 가장 비싼 부분입니다.

아래 특성 고르기 판은 지금까지 이야기한 그 60일치 기록 그대로입니다. 체크박스를 켜면 그 특성으로 데이터를 칸에 나누고, 칸마다 평균을 내서 60일 전부를 다시 예측한 뒤 그 자리에서 오차와 정확도를 계산합니다. 미리 적어 둔 답을 꺼내는 것이 아닙니다. 공책을 펴 두세요. 적지 않으면 확인 문제를 풀 수 없습니다.

• 사다리를 다시 만든다. ▶ 사다리 자동 재생을 눌러 여섯 단계가 한 걸음씩 지나가는 것을 봅니다. 그다음 체크박스를 직접 켜고 끄며 아래 표 ㉮의 칸 수 · 평균오차 · 정확도를 채웁니다.
• 오차를 0.00kg으로 만든다. 반칙을 써도 좋습니다. 서로 다른 두 가지 방법이 있습니다. 둘 다 찾아서 어떤 특성을 켰는지 적고, 그때 화면이 무슨 경고를 띄우는지도 적으세요.
• 문턱을 찾는다. 특성을 요일 + 메뉴 + 시험기간으로 두고 '많음' 기준 슬라이더를 10.0에서 13.0까지 0.5씩 올립니다. 두 값을 찾아 표 ㉯에 적으세요 — ⓐ '늘 한쪽으로만 찍기'가 가장 낮아지는 기준, ⓑ 모델 정확도가 가장 높아 보이는 기준. 둘은 같은 자리가 아닙니다.
• 미끼를 잡는다. 다른 것을 다 끄고 급식인원 하나만 켜 보세요. 아무것도 안 볼 때(2.628kg)와 견주어 오차가 어느 쪽으로 움직이는지 적습니다.

표 ㉮ — 사다리를 내 손으로 다시 만든다

표 ㉯ — 반칙과 문턱

코드로 다시 — 같은 숫자가 나와야 한다

시뮬레이터가 낸 값이 진짜인지 확인할 차례입니다. 아래 코드는 화면과 정확히 같은 60일치를 쓰고 정확히 같은 방법으로 계산합니다. 빈칸이 네 곳 있습니다. ?????를 지우고 채운 뒤 ▶ 실행을 누르세요. 빈칸을 안 채우면 문법 오류가 납니다 — 그건 정상입니다.

실행하면 124줄이 찍힙니다. 【1】부터 【8】까지 여덟 토막인데, 그 가운데 【2】의 사다리와 【6】의 정확도는 방금 시뮬레이터에서 본 값과 소수점까지 같아야 합니다. 다르면 빈칸을 잘못 채운 것입니다. 다만 【4】는 다릅니다 — 거기만 모델이 다르거든요. 무슨 말인지 바로 아래에서 봅시다.

6차시로 넘길 스무 줄

오늘 만든 60일치 말고, 스무 줄짜리 연습용 기록이 하나 더 있습니다. 코드 상자 ①의 【8】에 들어 있는 것이고, 아래 상자 ②는 그 부분만 따로 떼어 낸 것입니다. 6차시(특성 선택)가 이 스무 줄을 글자 그대로 받아 가서 기온과 행사 두 열을 덧붙입니다. 그때 오차가 어디까지 내려가는지가 6차시의 이야기예요. 오늘은 출발점만 만들어 둡니다.

합격선도 데이터마다 따로 붙습니다. 60일치의 합격선은 앞에서 정한 1.98kg이고, 이 스무 줄의 합격선은 0.70kg입니다 — 둘 다 '요일별 평균'이라는 같은 기준선에서 나왔지만 잰 데이터가 다릅니다. 6차시가 "2차시의 합격선 0.70kg"이라고 부르는 것은 이 스무 줄 쪽 값입니다. 두 숫자를 섞어 쓰지 마세요.

오늘 우리 조의 문제 정의는 이렇게 완성됐습니다. 이 세 줄이 오늘의 산출물입니다.

그리고 오늘 얻은 것 가운데 세 칸에 안 적히는 것이 더 중요할지도 모릅니다.

• 기준선 없는 성능은 뜻이 없다. "정확도 80%"는 좋은 소식일 수도 나쁜 소식일 수도 있습니다. 늘 한쪽으로만 찍어도 53.3%인 문제에서라면 80%는 겨우 그만큼이고, 기준을 13kg로 올려 71.7%가 된 문제에서라면 80%는 거의 아무것도 아닙니다. 성능은 언제나 짝을 지어 적습니다.
• 상관계수는 특성을 고르는 도구지 결론이 아니다. 가장 센 특성(만족도 −0.961)이 가장 쓸모없었고, 순서 없는 값에 번호를 매기면 같은 데이터에서 −0.474와 +0.480이 동시에 나왔습니다.
• 성능이 갑자기 아주 좋아지면 의심부터 한다. 100%, 오차 0.00kg 같은 숫자는 기뻐할 일이 아니라 어디가 새는지 찾을 신호입니다. 오늘 우리는 그 신호를 두 번 직접 만들어 봤습니다.
• 쓸모없는 특성은 해롭기까지 하다. 급식인원 하나를 넣었더니 오차가 2.628에서 2.671kg으로 늘었습니다. 특성은 많이 넣는 것이 아니라 골라 넣는 것입니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.