전체 85%는 누구의 85%인가
성능을 쪼개어 본다

발표 자료의 첫 줄을 이렇게 적었다고 해 봅시다.

틀린 문장은 아닙니다. 견본 데이터로 돌리면 실제로 그 값이 나옵니다. 테스트 48장 가운데 41장을 맞혔으니 85.4%입니다. 그런데 이 한 줄은 맞힌 41장만 말하고 틀린 7장에 대해서는 아무 말도 하지 않습니다.

물어볼 것이 셋 있습니다.

• 틀린 7장은 어느 쪽으로 틀렸습니까? 없는 것을 있다고 했습니까, 있는 것을 없다고 했습니까?
• 그 7장은 골고루 흩어져 있습니까, 아니면 한 곳에 몰려 있습니까?
• 85.4%는 누구의 85.4%입니까? 밝은 데서 찍은 사진과 어두운 데서 찍은 사진이 같은 점수를 받았습니까?

Ⅱ-3에서 이미 이 문장을 만난 적이 있습니다. “전체 85%가 누구에겐 20%”라는 제목이었습니다. 그때는 남이 만든 모델의 이야기였습니다. 오늘은 우리 표입니다. Ⅲ-7에서 “정확도는 같은데 차별은 어디에”를 따졌던 눈을, 오늘은 우리가 만든 모델에 그대로 들이댑니다.

Ⅱ-12 “정확도 98%짜리 쓸모없는 모델”에서 맞고 틀림을 넷으로 갈랐습니다. 그때 만든 함수 confusion()과 scores()를 오늘 코드가 한 글자도 고치지 않고 그대로 싣고 있습니다. 그래서 함수 안의 설명이 아직 ‘환자’라고 되어 있습니다. 어색해 보여도 고치지 마세요. 두 차시를 나란히 놓았을 때 같은 함수임을 알아보는 것이 이 규칙의 목적입니다.

대신 Ⅳ단원이 이음매 한 줄을 새로 붙였습니다.

네 칸을 우리 문제의 말로 옮기면 이렇게 됩니다. 견본 데이터·k=7·테스트 48장에서 나온 숫자를 함께 적었습니다.

이 넷을 하나로 뭉갠 값이 정확도입니다. (22 + 19) ÷ 48 = 85.4%. 뭉개는 순간 “어느 쪽으로 틀렸는가”가 사라집니다. 위 네 칸을 보면 우리 모델은 헛짚는 쪽으로는 한 번도 틀리지 않았고(FP 0), 놓치는 쪽으로만 일곱 번 틀렸습니다(FN 7). 한쪽으로 완전히 쏠려 있는데 정확도 한 줄에는 그 사실이 남지 않습니다.

짝의 순서를 뒤집으면 — 오류가 나지 않아서 위험하다

confusion()에 넣는 짝은 (실제, 예측) 순서입니다. 뒤집어 넣어도 파이썬은 아무 말 없이 돌아갑니다. 그리고 이런 일이 벌어집니다.

정확도와 F1은 한 자리도 안 바뀌고, 정밀도와 재현율만 자리를 맞바꿉니다. 화면만 보아서는 잡을 수가 없습니다. 그래서 오늘 코드는 줄 하나를 더 찍습니다.

1을 반대쪽으로 두면 무엇이 달라지나

POSITIVE를 "불가"로 바꿔 같은 예측을 다시 재 보면 이렇게 됩니다.

정확도 85.4%는 꿈쩍도 하지 않는데 F1은 0.863에서 0.844로 달라지고, 정밀도와 재현율은 통째로 다른 이야기가 됩니다. 지표는 무엇을 1로 두었는지에 매달려 있습니다. 발표 자료에 “재현율 75.9%”라고만 적으면 읽는 사람은 무엇의 재현율인지 알 수 없습니다.

정밀도와 재현율의 뜻은 Ⅱ-12에서 배운 그대로입니다. 정밀도는 “가능이라고 한 것 중 진짜로 가능이었던 비율”, 재현율은 “진짜 가능인 것 중 우리가 찾아낸 비율”입니다. 정의를 다시 외우지 말고, 우리 표에 넣어 봅시다.

정밀도가 100%라고 해서 “다 맞혔다”는 뜻이 아닙니다. 헛짚지 않았다는 뜻일 뿐이고, 같은 판에서 7장을 놓쳤습니다. 게다가 이 100%는 우리가 잘해서 나온 값이라기보다, 모델이 확실할 때만 가능이라고 말하는 쪽으로 치우쳐 있어서 나온 값에 가깝습니다. 확실할 때만 손을 들면 헛짚지는 않지만 많이 놓칩니다.

k만 7에서 5로 내려 보면 그것이 곧바로 보입니다.

k=5는 정확도가 2.1%p 낮습니다. 대신 헛짚음이 2건 생기는 값으로 놓침을 하나 줄였습니다. 어느 쪽이 좋은 모델입니까? 이 물음에는 계산으로 답할 수 없습니다. 우리 문제가 무엇을 더 겁내는가로 답해야 합니다.

이제 같은 표를 집단마다 하나씩 만듭니다. 견본 데이터에서 성능을 쪼갤 열은 촬영조건입니다. 이 열은 모델에 넣지 않았습니다. 맞히는 데 쓰라고 모은 열이 아니라, 나중에 갈라 재려고 남겨 둔 열입니다.

한 줄이 세 줄이 되었습니다. 그리고 다른 이야기가 됩니다.

• 정확도 격차 26.4%p — 밝음 96.4% 대 어두움 70.0%.
• 재현율 격차 39.9%p — 밝음 93.8% 대 어두움 53.8%. 재현율 쪽이 더 벌어집니다. 정확도만 보면 격차를 실제보다 작게 읽습니다.
• 놓친 7장 중 6장이 어두움입니다. 어두운 데서 찍은 ‘가능’ 병의 절반 가까이를 버리고 있습니다.

“어두움 70%”는 나쁜 값인가

아직 모릅니다. Ⅱ-11에서 세운 규칙을 그대로 씁니다 — 정확도는 홀로는 아무 뜻이 없고 기준선과의 차이로만 읽힙니다. 그런데 여기에 함정이 하나 있습니다. 기준선도 집단마다 다릅니다.

여기가 오늘의 심장입니다. 전체로는 기준선을 25.0%p나 넘었는데, 어두움 집단에서는 5.0%p뿐입니다. 그 집단만 놓고 보면 우리 모델은 “늘 가능”이라고만 외치는 바보 모델과 거의 같습니다. “전체 85.4%” 한 줄이 이 사실을 통째로 감춥니다.

그리고 반드시 n을 함께 적는다

어두움 집단은 20장입니다. 20장으로 잰 70.0%는 얼마나 단단한 숫자일까요? 만약 그 집단이 3장뿐이었다면 어땠을까요?

얼마나 튀는지, 그리고 최소 몇 개가 있어야 하는지는 오늘 직접 재 봅니다. 먼저 아래 해부대에서 눈으로 보고, 그다음 코드로 숫자를 뽑습니다.

아래 해부대는 파이썬을 부르지 않고 브라우저가 그 자리에서 계산합니다. 들어 있는 것은 우리 모델이 실제로 낸 예측 48개입니다 — 손으로 적어 둔 정답표가 아니라, 7차시에서 고른 k로 knn()이 낸 결과를 그대로 담았습니다.

기본값은 k=7 · 촬영조건으로 둘로 쪼개기 · 표본 전부입니다. 먼저 [▶ 갈라 보기]를 그대로 눌러, 위 표의 96.4% / 70.0%가 그대로 나오는지 확인하세요.

과제 ① — 표를 채운다

표본은 전부로 두고, 쪼개는 기준은 촬영조건(둘)으로 둔 채 k만 갈아 끼웁니다. 네 줄을 돌려 공책에 옮겨 적으세요. 칸에 바로 적어도 됩니다. 마지막 칸 ‘어두움 − 기준선’은 해부대의 [최저 집단 − 기준선] 칸에 그대로 나옵니다.

과제 ② — 반례를 만든다

k를 훑으며 어두움 집단이 그 집단의 기준선(65.0%)보다 낮아지는 k를 모두 찾으세요. 찾았으면 그때 전체 정확도와 밝음 정확도가 얼마인지도 함께 적습니다. 전체와 밝음이 얼마나 태연한지 보는 것이 이 과제의 핵심입니다.

과제 ③ — 문턱을 찾는다

k를 7로 되돌리고 [집단 크기 m] 슬라이더를 3까지 내린 다음, [🎲 다시 뽑기]를 열 번쯤 눌러 보세요. 어두움 막대가 어디까지 뛰는지 봅니다. 그다음 [📉 흔들림 재기]를 누르면 그 m에서 흔들림의 폭이 숫자로 나옵니다.

m을 3에서 하나씩 올리며, 흔들림의 폭(2×표준오차)이 두 집단의 격차 26.4%p보다 처음으로 좁아지는 m을 찾으세요. 그 수가 왜 중요한지는 곧 코드가 설명합니다.

아래 코드는 6·7·8차시에서 쓰던 같은 골격입니다. 한 글자도 바뀌지 않았습니다. 브라우저의 파이썬은 차시가 바뀌면 새로 시작하므로, 앞 차시에서 만든 함수를 기억하지 못합니다. 그래서 매번 다시 싣습니다. 오늘 새로 붙은 것은 아래 셋뿐입니다.

• to01() — 이름표를 1과 0으로 바꾸는 이음매. Ⅳ단원이 새로 붙인 유일한 줄입니다.
• confusion() · scores() — Ⅱ-12에서 통째로 가져왔습니다. 설명이 ‘환자’인 채로 두었습니다.
• by_group() · show_groups() — 집단마다 네 칸을 세고, n을 반드시 함께 돌려줍니다.

채울 곳은 일곱 군데(?????)입니다. 하나라도 남아 있으면 실행조차 되지 않습니다 (SyntaxError: invalid syntax). 그것은 고장이 아니라 안전장치입니다.

실행하면 무엇이 나오나

화면이 아홉 토막으로 나옵니다. 【1】은 6·7차시의 복습이고, 오늘 읽을 것은 【2】부터입니다. 【3】과 【4】는 아래 과제 ④의 표에 옮겨 적으세요. 그 표가 오늘의 산출물입니다.

과제 ④ — 우리 팀 표를 채운다

【3】과 【4】는 화면에 따로 뜨지만 같은 줄을 두 번 나눠 찍은 것입니다. 아래 한 표에 합쳐 적으세요. 새로 고침 한 번이면 화면은 사라지고, 이 표가 다음 시간 실험 기록의 첫 줄이 됩니다. 견본으로 진행하는 팀은 견본 값을 그대로 옮겨 적으면 됩니다.

다 채웠으면 가장 낮은 줄에 동그라미를 치고 그 옆에 한 문장을 적으세요 — “우리 모델은 ○○ 집단(n=○)에서 그 집단의 기준선을 ○○%p 넘는 데 그쳤다.” 발표 자료의 첫 줄은 전체 정확도가 아니라 이 문장이어야 합니다.

【5】가 오늘 가장 쓸모 있는 화면이다

틀린 7장을 하나씩 늘어놓고, 놓친 것과 잡은 것의 특성 평균을 나란히 놓습니다. 둘 다 실제로는 ‘가능’인 병들입니다. 차이가 있다면 그것이 우리 모델이 걸려 넘어지는 자리입니다.

다섯 특성 가운데 넷이 한쪽으로 쏠려 있습니다. 놓친 것은 어둡고, 덜 비쳐 보이고, 이물질이 많고, 더 찌그러져 있습니다. 어두운 데서 찍으면 투명도가 덜 보인다는 것까지 표가 말해 줍니다.

코드를 만지다 걸리는 함정 하나

“MIN_GROUP을 15에서 5로 바꾸면 경고가 사라지겠지” 하고 맨 위 값을 고쳐 보는 학생이 반드시 나옵니다. 고쳐도 아무 일도 일어나지 않습니다. check_sizes()는 여전히 “15개는 넘겨야”라고 찍습니다.

파이썬은 def 줄을 읽는 그 순간에 기본값을 한 번 묶어 둡니다. 나중에 MIN_GROUP을 바꿔도 이미 묶인 값은 따라오지 않습니다. 정말 바꾸려면 인자로 넘겨야 합니다 — by_group(triples, 5). “설정을 바꿨는데 반영이 안 된다”의 정체가 대개 이것입니다.

자기 데이터를 쓰는 팀을 위한 짧은 점검기입니다. 견본으로 진행하는 팀은 그냥 한 번 실행해 보고 넘어가세요. 맨 위 세 줄만 우리 것으로 바꾸면 됩니다.

모자란 집단이 있으면 그 숫자가 다음 시간까지 할 일이 됩니다. “데이터를 더 모으자”가 아니라 “어두움에서 찍은 가능 사진을 열두 장 더”처럼 적을 수 있게 됩니다.

전체는 얌전한데 한 집단이 무너진다 (【8】)

“전체는 그럭저럭인데 한 집단만 망가지는 판”을 일부러 만들 필요가 없습니다. k만 갈아 끼우면 우리 데이터에서 이미 나옵니다.

k를 키우면 전체는 70.8%에서 85.4% 사이에서 얌전히 움직이고, 밝음은 96.4%에서 꿈쩍도 하지 않습니다. 그런데 어두움은 70.0%에서 45.0%까지 내려앉습니다. k가 1·9·15·25일 때는 그 집단의 기준선보다도 낮습니다. 전체 정확도만 보고 k를 골랐다면 이 사실을 끝까지 몰랐을 것입니다.

더 잘게 쪼개면 (【9】)

촬영조건에 ‘찌그러짐이 심한가(6점 이상)’를 곱해 넷으로 쪼개 보면 이렇게 됩니다.

격차가 26.4%p에서 33.3%p로 벌어졌습니다. 그런데 넷 중 셋이 15개 미만이 되었습니다. 100.0%라고 적힌 칸도 19장에서 나온 값입니다.

오늘 한 일은 한 줄을 여러 줄로 만든 것입니다. 정확도 85.4%는 사라지지 않았습니다. 다만 그 옆에 이제 이런 줄들이 붙어 있습니다.

오늘의 산출물 — 다음 시간에 이 셋을 가져옵니다

• 집단별 표(과제 ④에서 채운 것) — 집단 이름 · n · 정확도 · 정밀도 · 재현율. n을 빼면 표가 아닙니다.
• 그 집단의 기준선과의 차이 — 가장 낮은 집단이 기준선을 몇 %p 넘었는지 한 줄. 같은 표의 마지막 칸입니다.
• 다음에 무엇을 더 모을지 한 문장 — “어두운 데서 찍은 ‘가능’ 사진을 ○장 더”처럼 수를 넣어서.

점검표 — 발표 전에 스스로 걸러 낼 것 다섯

다음 시간에는 오늘 만든 표를 들고 설정을 바꿔 가며 실험 기록을 남깁니다. 그때 알게 될 것이 하나 있습니다 — 전체 정확도 1등과 약한 집단 1등이 서로 다른 설정이라는 것입니다. 오늘 k=5와 k=7을 나란히 본 것이 그 예고편이었습니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.