무엇을 고쳤고 무엇이 남았나
실험 기록과 모델 카드

지난 시간에 세 팀이 같은 진단을 받았습니다. 전체는 그럴듯한데 한 집단에서 무너진다는 진단이었습니다. 일주일 뒤 세 팀이 각각 이렇게 말합니다.

세 팀 모두 숫자는 올라갔습니다. 그런데 셋 다 다음 질문에 답하지 못합니다.

ㄱ팀은 네 가지를 한꺼번에 바꿨습니다. 넷 중 셋이 도움이 되고 하나가 해가 됐어도 결과는 그냥 좋아 보입니다. 해가 된 하나는 다음 프로젝트에도 그대로 따라갑니다. ㄴ팀은 나빠진 줄을 지웠습니다. 지운 순간 남은 줄들이 서로 이어지지 않게 되어, 남은 줄까지 거짓말을 하게 됩니다. ㄷ팀은 아예 기록이 없습니다. 89%는 다시 낼 수 없으니 없는 것과 같습니다.

오늘은 이 셋을 한꺼번에 막는 두 가지 도구를 만듭니다. 하나는 실험 기록이고, 다른 하나는 모델 카드입니다. 둘 다 코드가 아니라 표입니다. 그런데 이 두 표가 없으면 지난 아홉 시간이 통째로 증발합니다.

실험 기록은 한 판 돌릴 때마다 한 줄이 쌓이는 표입니다. 한 줄에 다섯 칸이 들어갑니다.

네 번째 칸에 집단 이름을 함께 적으라고 한 데에는 까닭이 있습니다. 최저 집단은 설정마다 바뀝니다. 견본 데이터로 실제로 확인해 보면 이렇습니다. 특성 다섯 개를 다 쓴 판에서는 어두움이 가장 낮은데, 특성을 반사도·밝기 둘로 줄이면 밝음이 가장 낮아집니다. 이름을 빼고 숫자만 적으면 “최저 집단이 60.0%에서 67.9%로 좋아졌다”라고 읽히지만, 사실은 다른 집단의 숫자입니다. 표가 거짓말을 하는 것입니다.

기록의 규칙은 하나뿐입니다. 한 번에 하나만 바꾼다. 두 가지를 함께 바꾼 줄은 그 줄만으로는 아무것도 말해 주지 않습니다. 다만 어디쯤을 뒤져야 할지 감이 없을 때는, 먼저 넓게 한 번 훑어 지도를 그리고 그다음 그 지도를 따라 한 칸씩 옮기며 기록합니다. 오늘 코드가 정확히 그 순서로 되어 있습니다.

이 지도가 오늘의 함정을 그대로 보여 줍니다. k=1 칸만 보면 특성 2개(72.9%)가 특성 5개(70.8%)보다 높습니다. “특성을 늘렸더니 나빠졌다”로 읽힙니다. 그런데 k=7 칸에서는 뒤집힙니다 — 특성 2개 70.8%, 특성 5개 85.4%. 나쁜 것은 특성 수가 아니라 k=1이었습니다. k=1은 가장 가까운 이웃 한 점에만 기대므로, 특성이 늘어 잡음이 함께 늘면 그 한 점이 더 자주 어긋납니다. 한 칸만 보고 원인을 정하면 틀립니다.

맨 아랫줄도 읽어 두십시오. 특성을 찌그러짐 하나로 줄인 세 판은 47.9%~50.0%로, 기준선 60.4%보다 낮습니다. 특성을 잘못 고르면 아무것도 안 한 것만 못합니다.

기록표에서 가장 지우고 싶어지는 줄은 내가 한 일이 성능을 떨어뜨린 줄입니다. 발표 자료에 넣기 부끄럽기 때문입니다. 그런데 그 줄을 지우면 무슨 일이 생기는지, 견본 데이터의 앞부분 네 줄로 실제로 보겠습니다.

오른쪽 기록에는 거짓말이 한 줄도 없습니다. 적힌 숫자는 전부 실제로 나온 값입니다. 그런데 세 번째 줄에서 두 가지가 함께 바뀌었습니다 — 특성이 2개에서 5개로, k가 1에서 3으로. 읽는 사람은 앞 줄과 견줘 원인을 짐작할 수밖에 없으니 “특성 덕분”이라고 읽습니다. 사실은 특성 때문에 2.1%p 내려갔고, k 때문에 10.4%p 올라간 것입니다. 한 줄을 지우면 두 걸음이 한 걸음으로 합쳐지고, 원인이 뒤바뀝니다.

그래서 오늘 만드는 실험 기록판에는 줄을 지우는 기능이 없습니다. 휴지통 단추가 있긴 하지만 누르면 지워지지 않고 안내만 뜹니다. 일부러 그렇게 만들었습니다. 11차시에서 “실패를 감추지 않은 발표가 더 좋은 발표”라고 말하려면, 감추지 않은 기록이 손에 있어야 합니다.

마지막 줄은 특히 조심해서 읽어야 합니다. 정규화를 뺀 판은 전체가 2.1%p 내려가는데 어두움 집단은 70.0%에서 80.0%로 올라갑니다. 여기서 “그럼 정규화를 빼는 게 낫네?”라고 결론 내리기 쉽습니다. 그러나 어두움 집단은 테스트에 20개뿐이고, 70.0%와 80.0%의 차이는 20개 중 2개입니다. 두 개로 설정을 고르면 안 됩니다. 정규화의 목적은 애초에 정확도를 올리는 것이 아니라, 단위를 고르는 사람의 손을 떼는 것이었습니다(Ⅱ-8).

기록이 쌓이면 “그래서 어느 것을 쓸 거냐”를 정해야 합니다. 가장 높은 줄을 고르면 될 것 같지만, ‘가장 높은’이 무엇을 뜻하는지부터 갈립니다. 견본 데이터의 세 판을 네 가지 잣대로 재 보면 이렇습니다.

네 개의 1등이 서로 다릅니다. 셋 중 어느 것도 네 잣대를 다 이기지 못합니다. 여기서부터는 계산이 아니라 결정입니다. 결정의 근거는 “우리 문제에서 무엇이 더 아픈가”입니다.

• 재활용 가능한 병을 놓치면(FN) 그만큼 그냥 버려집니다. 놓치는 것이 더 아프면 재현율을 봅니다.
• 불가능한 병을 가능이라 우기면(FP) 선별장에서 되돌아옵니다. 헛짚는 것이 더 아프면 정밀도를 봅니다.
• 어두운 사진에서만 자꾸 틀린다면, 그 조건에서 찍는 사람에게만 손해가 갑니다. 그것이 아프면 최저 집단을 봅니다.

정밀도 100.0%도 같은 종류의 함정입니다. 견본의 기준 판은 FP가 0이라 정밀도가 100.0%로 찍힙니다. 완벽해 보이지만, 이는 헛짚지 않는다는 뜻일 뿐 다 맞힌다는 뜻이 아닙니다. 같은 판에서 7개를 놓쳤고, 그래서 재현율은 75.9%입니다. k를 5로 내리면 FP가 2개 생겨 정밀도가 92.0%로 내려가는 대신 재현율이 79.3%로 올라갑니다. 지표가 결정을 바꿉니다.

모델 카드는 우리 반이 만든 양식이 아닙니다. 2019년에 발표된 논문 「Model Cards for Model Reporting」(Margaret Mitchell 외, FAT* 2019, arXiv:1810.03993)이 제안한 서식입니다. 그 논문의 핵심은 성능을 한 줄로 적지 말고 집단마다 나누어 보고하라는 것, 그리고 이 모델을 쓰도록 의도한 맥락을 함께 밝히라는 것입니다. 9차시에서 우리가 밝음과 어두움으로 쪼개어 잰 것, 그리고 오늘 카드의 ⑥칸에 집단별 성능을 적는 것은 편의로 정한 규칙이 아니라 그 서식의 본체입니다.

카드는 여덟 칸입니다. 칸마다 “비우면 무슨 일이 생기나”가 있습니다.

④에 씨앗과 비율을, ⑤에 양성으로 둔 이름표를 굳이 못 박은 것은 빈말이 아닙니다. 씨앗을 안 적으면 같은 코드·같은 데이터로도 다른 숫자가 나오고, 양성을 안 적으면 정확도와 F1은 그대로인 채 정밀도와 재현율만 자리가 바뀝니다. 오류가 나지 않으므로 아무도 눈치채지 못합니다.

⑦칸은 가장 자주 비는 칸이고, 그래서 오늘 코드는 여덟 칸 중 하나라도 비면 카드를 아예 찍지 않습니다. “한계 없음”이라고 쓰고 싶어지겠지만, 한계가 없는 모델은 없습니다. 견본 카드의 한계 칸에는 이런 것이 들어갑니다 — 어두움 조건에서는 70.0%뿐이고 그 집단 기준선보다 +5.0%p에 지나지 않는다, 놓친 것이 7개다, 테스트가 48개뿐이라 1개가 2.1%p라서 소수점 아래를 믿을 수 없다. 숫자가 없는 한계는 한계가 아닙니다.

카드 옆에는 표 하나가 더 붙습니다. 책임 있는 AI 다섯 점검입니다. 성능표만 있으면 ‘잘 만든 AI’이고, 이 표가 함께 있어야 ‘좋은 AI’입니다.

‘안전·오용’과 ‘사람의 최종 확인’ 두 칸은 3단원에서 이미 다룬 이야기입니다. 3단원에서는 남의 사례를 놓고 물었지만, 오늘은 우리가 만든 것에 대고 묻습니다. 답이 “딱히 없는데요”가 나온다면, 그 답 자체를 카드에 적으십시오. 빈칸으로 두는 것보다 훨씬 낫습니다.

오늘 22분은 셋으로 나뉩니다. ①은 화면에서 손으로, ②는 파이썬으로, ③은 다시 화면에서 손으로 합니다. ③의 산출물이 다음 시간에 다른 팀에게 넘길 인쇄물입니다.

① 실험 기록판 — 한 줄씩 쌓는다

아래 기록판은 지금 이 화면에서 실제로 계산합니다. 미리 적어 둔 표를 여는 것이 아닙니다. 견본 데이터 158행을 씨앗 42로 훈련 110 · 테스트 48로 가르고, 여러분이 고른 특성과 k로 k-NN을 돌린 뒤, 전체와 집단별 성능을 그 자리에서 잽니다. 그래서 파이썬 실행기에서 나오는 값과 소수점까지 같습니다. 자기 팀 데이터가 아직 없어도, 이 견본으로 오늘 차시를 끝까지 할 수 있습니다.

② 같은 표를 파이썬으로 — 빈칸 다섯

아래 코드는 6차시에서 만든 골격을 그대로 다시 실은 것입니다. 브라우저의 파이썬은 차시가 바뀌면 새로 시작하므로, 앞 차시에서 정의한 함수는 남아 있지 않습니다. 그래서 매번 다시 싣습니다. 함수는 한 글자도 고치지 마십시오 — 6·7·8·9·10차시가 나란히 놓고 보는 같은 함수입니다.

④와 ⑤는 정답이 하나가 아닙니다. 팀이 쓰는 문장입니다. 대신 ⑤를 비운 채로 돌리면 카드가 안 찍히는 것이 곧 채점입니다. 문자열이므로 따옴표 안에 넣어야 하고, 줄을 나누려면 \n을 씁니다.

③ 모델 카드 편집기 — 여덟 칸을 채우고 인쇄한다

기록판에서 쓸 줄을 고른 다음, 그 줄의 숫자를 손으로 옮겨 적지 말고 단추로 꽂으십시오. 손으로 옮기면 설정을 바꿨을 때 카드가 따라오지 않아, 카드가 거짓말을 하게 됩니다.

오늘 팀에서 나가야 할 것은 인쇄물 세 장입니다 — 실험 기록 한 장, 모델 카드 한 장, 그리고 카드와 반드시 함께 가는 데이터 표 한 장입니다. 다음 시간에는 다른 팀이 이것만 보고 여러분의 숫자를 다시 내 봅니다. 카드만 주고 데이터 표를 빼면 재현이 아예 불가능합니다 — 성능 숫자만으로는 아무것도 확인되지 않기 때문입니다.

다음 시간은 공유회입니다. 다른 팀의 카드를 받아 그것만으로 결과를 다시 내 보고, 서로의 카드를 ‘한계를 밝혔는가’로 평가합니다. 오늘 ⑦칸에 “없음”이라고 쓴 팀은 그 자리에서 걸립니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.