만든 것을 두고 무엇을 말할 수 있는가

📖 예시 답안 ① "기준선은 몇 %인가요?"(7차시) — 늘 한쪽만 답하는 모델이 이미 90%를 받는 문제라면 92%는 아무 뜻이 없다. 우리 견본에서도 기준선 60.4%를 알아야 85.4%가 +25.0%p로 읽혔다.
② "집단별로 쪼개면 어떻게 되나요?"(9차시) — 전체 한 줄은 최악의 집단을 감춘다. 우리 모델은 전체 85.4%인데 어두운 사진에서는 70.0%였고, 그 집단의 기준선(65.0%)과 견주면 +5.0%p밖에 안 됐다. 집단 크기도 함께 물어야 한다 — 작으면 숫자가 튄다.
③ "테스트가 몇 개인가요? 훈련 정확도인가요 테스트 정확도인가요?"(6·7차시) — 테스트가 열 개면 가능한 값이 10% 단위로만 나온다. 그리고 훈련 정확도라면 92%는 외운 것일 수 있다.
덧붙여 "정밀도와 재현율은 어떤가요?"(Ⅱ-12)도 좋다. 우리 모델은 정밀도 100.0%였지만 대신 일곱 개를 놓쳤다(재현율 75.9%).

📖 예시 답안 모델 카드가 하는 일은 자랑이 아니라 남이 같은 결과를 다시 낼 수 있게 하는 것이다. 11차시에서 칸을 하나씩 지우고 실제로 재 봤더니, 「쓴 특성 목록」을 지우자 남이 낼 수 있는 값이 47.9%에서 85.4%까지 벌어졌다 — 폭이 37.5%포인트다. 「데이터」나 「집단 열」을 지우면 아예 돌릴 수도 없다. 곧 카드의 칸은 장식이 아니라 재현에 꼭 필요한 정보다.
「한계와 쓰면 안 되는 곳」은 그중에서도 특별하다. 다른 칸이 "어떻게 만들었나"를 적는다면 이 칸은 "어디에 쓰면 안 되나"를 적는다. 우리 모델은 어두운 사진에서 기준선을 겨우 5%포인트 넘었으므로, 어두운 곳에서 쓰면 안 된다고 카드에 적어야 한다. 그것을 비우면 읽는 사람이 모든 상황에서 85.4%인 줄 안다. 그때 카드는 정보가 아니라 오해를 만드는 종이가 된다.

📖 예시 답안 데이터부터 다시 하겠다. 우리 팀은 주제를 먼저 정하고 데이터를 찾았는데, 찾다 보니 공개된 것이 없어 2주를 잃었다. 4차시의 판정기를 그때 썼다면 「공개돼 있나」에서 바로 걸렸을 것이다.
다시 한다면 순서를 바꾸겠다. ① 첫 주에 후보 주제 다섯 개에 대해 데이터가 있는지부터 확인한다(4차시 판정기 네 조건). ② 둘째 주에 데이터가 확인된 것만 남겨 3차시의 두 축에 올린다. ③ 공개 데이터가 없으면 직접 만든다 — 우리 반 30명에게 3문항씩 10일 걷으면 300행이고, 테스트 20개는 충분히 나온다(6차시 규칙).
그리고 플랜 B를 먼저 쓰겠다. 5차시에서 플랜 B를 계획서 맨 끝에 썼는데, 사실은 맨 앞에 써야 했다. 무너질 자리를 알고 시작하는 것과 무너진 뒤에 찾는 것은 다르다.