기계가 듣고 말한다
다음 낱말 맞히기가 만들어 낸 것

휴대전화에 오늘이라고 치면 자판 위쪽에 날씨 저녁 학교 같은 낱말이 뜹니다. 아직 아무것도 치지 않았는데 말이에요. 스마트 스피커에게 "내일 아침 일곱 시에 깨워 줘"라고 말하면 알람이 맞춰집니다. 글쓰기 도우미에게 한 줄을 던지면 문단 하나가 돌아옵니다.

이 셋은 겉보기에 아주 다른 일 같습니다. 그런데 속에서 도는 계산은 하나입니다.

오늘 여러분은 낱말을 세어 나누기만 하는 스무 줄짜리 모델을 만듭니다. 그 모델은 문장을 만들어 냅니다. 실제로 이런 문장이 나옵니다.

첫 줄과 둘째 줄의 차이가 오늘의 전부입니다. 해가 다음에 뜨면이 오는 것은 자연스럽습니다. 뜨면 다음에 새가가 오는 것도 자연스럽고요. 그런데 맨 앞에 저녁에가 있었다는 사실은 세 낱말 뒤에서 이미 잊혔습니다.

왜 잊었을까요? 우리가 만들 모델이 바로 앞 낱말 하나만 보기 때문입니다. 오늘 수업은 이 "얼마나 멀리 보는가"라는 물음을 따라갑니다. 그리고 그 물음의 답이 길어져 온 역사가 곧 바이그램 → RNN → 트랜스포머의 역사입니다.

먼저 아주 작은 것부터 만듭니다. 문장 다섯 개짜리 말뭉치입니다.

이제 오면이라는 낱말에 주목합시다. 이 낱말은 말뭉치에 네 번 나옵니다. 그 뒤에 온 낱말을 순서대로 적으면 이렇습니다.

그러면 오면 다음에 올 낱말의 확률은 나눗셈 한 번으로 정해집니다. 각 낱말이 나온 횟수를, 전체 횟수 4로 나누면 됩니다.

이것이 바이그램(bigram) 언어 모델의 전부입니다. 신경망도, 학습도, 9차시에서 배운 경사하강법도 없습니다. 낱말을 세고 나눈 것뿐입니다.

말뭉치를 문장 마흔 개로 늘리면 같은 계산이 이렇게 바뀝니다. 오면이 이제 일곱 번 나오고, 뒤에 올 수 있는 낱말도 다섯 가지로 늘었습니다.

문장을 만드는 방법도 간단합니다. 시작 낱말을 하나 정하고, 그 확률대로 다음 낱말을 뽑고, 뽑은 낱말을 다시 열쇠로 삼아 또 뽑습니다. 멈출 자리는 <끝>이라는 표시로 알려 줍니다 — 말뭉치의 각 문장 끝에 이 표시를 붙여 두면, 모델은 "여기서 문장이 끝났다"는 것도 하나의 선택지로 배웁니다.

말뭉치 ②(마흔 문장)로 문장 스무 개를 만들어 보았습니다. 그냥 눈으로 보고 "이건 이상하다"고 말하면 사람마다 다르겠지요. 그래서 기계적으로 판정하는 잣대를 하나 세웠습니다.

이 잣대로 판정한 스무 문장입니다. 씨앗을 17로 못박았기 때문에 여러분이 오늘 실습에서 돌려도 글자 하나까지 같은 결과가 나옵니다.

여기에서 두 가지를 함께 읽어야 합니다.

같은 시작에서 여러 문장이 나오는 것도 확인해 봅시다. 비가로 시작해 200번 만들었더니 서로 다른 문장이 15가지 나왔습니다.

셋째 줄을 보세요. 비가 오면 눈사람을 만든다. 낱말 하나하나로 보면 흠잡을 데가 없습니다. 비가 뒤의 오면도, 오면 뒤의 눈사람을도 말뭉치에 있던 짝이에요. 그런데 비가 오는데 눈사람을 만들 수는 없습니다. 모델이 눈사람을을 뽑는 순간, 맨 앞의 비가는 이미 잊혔기 때문입니다.

고칠 곳은 딱 한 줄입니다. 열쇠를 낱말 하나에서 낱말 둘의 짝으로 바꾸면 됩니다.

이렇게 바꾸면 해가 하나가 아니라 저녁에 해가라는 짝이 열쇠가 됩니다. 말뭉치에서 저녁에 해가 뒤에 온 낱말은 지면뿐이니, 이제 저녁에 해가 뜰 일은 없습니다.

주사위는 그대로 두고(씨앗 17) 모델만 바꿔 다시 스무 문장을 만들어 보았습니다.

어긋난 문장이 7개에서 0개로 사라졌습니다. 성공입니다. 그런데 트라이그램에서는 이 칸이 0개가 될 수밖에 없습니다. 다음 낱말을 뽑을 때 쓰는 열쇠가 이미 낱말 두 개이니, 거기에 뽑은 낱말을 붙인 3연속은 말뭉치에 있던 것일 수밖에 없기 때문이에요. 말뭉치를 어떻게 고쳐도 이 칸은 0에서 움직이지 않습니다. 뒤의 과제 ③에서 직접 확인해 보세요.

그리고 같은 표의 첫 줄을 보세요. 외운 문장이 9개에서 14개로 늘었습니다. 새 문장은 11개에서 6개로 줄었고요.

왜 그런가 — 칸은 폭발하는데 데이터는 그대로다

마흔 문장 말뭉치의 서로 다른 낱말은 107개입니다. 낱말 두 개를 늘어놓는 방법은 107 × 107 = 11,449가지예요. 그중 말뭉치에 실제로 나온 것은 114가지뿐입니다.

0번인 칸이 많으면 무엇이 문제일까요? 고를 것이 없어집니다. 실제로 세어 보면 이렇습니다.

이 표가 위의 결과를 전부 설명합니다. 트라이그램이 "덜 틀리는" 까닭도, "덜 새로운" 까닭도 같습니다 — 선택지가 없어서입니다.

원장에서 4그램(앞 세 낱말)·5그램(앞 네 낱말)까지 늘려 보았더니 끝이 분명해졌습니다.

5그램은 새 문장을 하나도 만들지 못합니다. 말뭉치를 통째로 외운 것이지요. 그러니 "문맥을 길게 보면 된다"가 답이 아닙니다. 문맥을 길게 보면서도 외우지 않는 방법이 필요합니다. 그 방법을 찾는 과정이 곧 다음 절의 이야기입니다.

확률표를 하나 더 보겠습니다. 이번에는 눈이입니다.

한 칸에 두 개의 다른 낱말이 섞여 있습니다. 하늘에서 내리는 눈과 얼굴에 달린 눈이에요. 우리 모델은 이 둘이 다른 낱말이라는 것을 모릅니다. 글자가 같으면 같은 낱말입니다.

그래서 이 모델은 눈이 오면 길이 미끄럽다도 만들 수 있고, 화면이 밝으면 눈이 피로하다도 만들 수 있습니다. 그런데 둘을 섞어 "화면이 밝으면 눈이 오면 길이 미끄럽다"도 만들 수 있어요. 모델에게는 셋 다 똑같이 정당한 문장입니다.

문제는 더 깊은 데 있습니다. 지금 우리 모델에게 낱말은 이름표일 뿐입니다. 107개의 낱말은 서로 아무 관계가 없어요. 비가와 눈이가 둘 다 하늘에서 내리는 것이라는 사실도, 뜨면과 지면이 반대말이라는 사실도 모델은 영원히 알 수 없습니다. 각각 그 낱말 뒤에 무엇이 왔는지를 따로따로 셀 뿐이니까요.

여기에서 나온 답이 임베딩(embedding)입니다. 낱말을 이름표가 아니라 숫자의 목록으로 바꾸는 거예요. 예를 들어 비가를 [0.8, −0.2, 0.5, …]처럼, 눈이를 [0.7, −0.3, 0.6, …]처럼 나타냅니다.

이렇게 하면 5차시에서 배운 거리를 낱말 사이에도 잴 수 있습니다. 뜻이 비슷한 낱말은 가까이, 다른 낱말은 멀리 놓이도록 그 숫자들을 데이터에서 배우게 하는 것이지요. 그러면 비가를 본 적이 있는 모델이 눈이에 대해서도 어느 정도 짐작할 수 있게 됩니다.

개념 3에서 우리는 벽에 부딪혔습니다. 문맥을 늘리면 어긋남은 줄지만 조합이 폭발해서 대부분의 칸이 0번이 되고, 결국 말뭉치를 외우게 됩니다. 이 벽을 넘으려면 "열쇠를 통째로 세는 방식"을 버려야 합니다.

가운데 방식이 RNN입니다. 낱말을 하나씩 읽으면서 지금까지 읽은 것을 요약한 값을 함께 넘깁니다. 이러면 열쇠를 통째로 세지 않아도 되니 조합 폭발을 피할 수 있어요. 다만 요약값의 자리는 정해져 있어서, 멀리 있는 말일수록 요약에 묻혀 흐려집니다.

맨 아래가 어텐션(attention)입니다. 요약해서 넘기는 대신, 앞에 나온 모든 낱말을 한 번에 놓고 지금 필요한 자리를 골라 봅니다. 저녁에가 아무리 멀리 있어도 직접 볼 수 있고, 얼마나 볼지의 정도까지 데이터에서 배웁니다. "문맥을 길게 보면서도 외우지 않는 방법"이 바로 이것이었습니다.

이제 우리 모델과 오늘날의 모델을 같은 표에 놓아 봅시다.

맨 아랫줄을 보세요. 네 칸이 전부 다른데 마지막 한 칸만 같습니다. 오늘 여러분이 만들 것과 오늘날의 언어 모델은 규모가 다르고 방법이 다르지만 목표는 같습니다. 그래서 오늘 만든 것이 뼈대라고 말할 수 있는 겁니다.

스마트 스피커의 앞쪽 절반, 곧 소리를 글자로 바꾸는 일을 봅시다. 소리는 공기의 떨림입니다. 마이크가 그 떨림을 초당 수만 번 재어 숫자의 긴 줄로 만들어요. 이것을 파형이라고 합니다.

그런데 파형을 그대로 신경망에 넣으면 잘 되지 않습니다. "아"와 "이"를 가르는 것은 떨림의 순간값이 아니라 어떤 높낮이의 소리가 섞여 있는가이기 때문입니다. 그래서 파형을 짧은 조각(수십 밀리초)으로 자르고, 조각마다 어떤 높이의 소리가 얼마나 들어 있는지를 재어 표로 만듭니다. 이 표가 스펙트로그램입니다.

여기서 오늘 수업의 두 번째 중요한 대목이 나옵니다. 스펙트로그램은 세로 · 가로가 있는 숫자 격자입니다. 16차시에서 다룬 12×12 손글씨 격자와 다를 것이 없어요. 그러니 그때 만든 도구를 고치지 않고 그대로 쓸 수 있습니다.

이것이 딥러닝이 널리 쓰이게 된 까닭 가운데 하나입니다. 문제를 격자 위의 숫자로 바꿀 수만 있으면, 도구는 한 벌로 돌려 씁니다. 사진에서 얼굴을 찾는 것도, 음성에서 낱말을 찾는 것도, 심지어 심전도에서 이상 신호를 찾는 것도 같은 합성곱을 씁니다.

이 단원에서 우리는 같은 종류의 물음을 네 가지 방법으로 풀어 왔습니다. 1차시의 규칙, 8차시의 이웃, 15차시의 신경망, 그리고 오늘의 세기. 마지막 시간이니 넷을 한 표에 놓아 봅시다. 숫자는 전부 그 차시에서 우리가 실제로 잰 값입니다.

이 표에서 읽어야 할 것은 딥러닝이 늘 이기지 않는다는 사실입니다. 아래 네 가지 자리에서는 오히려 다른 방법이 낫습니다.

• 데이터가 적을 때. 15차시의 신경망은 훈련 168일치를 300번 되풀이해서 겨우 80.6%에 닿았습니다. 데이터가 40개뿐이라면 8차시의 k-NN이 훨씬 낫습니다. 손잡이가 많은 모델은 데이터가 적을 때 11차시의 과적합에 곧장 빠집니다.
• 판단의 이유를 설명해야 할 때. 대출을 거절하거나 의료 판정을 내릴 때 "왜 그렇게 판단했나"에 답하지 못하면 쓸 수 없습니다. 신경망은 가중치 숫자만 남기지만, 규칙 기반은 걸린 규칙의 이름을 그대로 댈 수 있어요. 역설이지만 오늘 만든 바이그램은 오늘날의 언어 모델보다 설명 가능성이 높습니다 — probs() 한 줄만 찍으면 왜 그 낱말을 골랐는지 전부 보이니까요.
• 규칙이 이미 명확할 때. "학번이 여덟 자리인가"를 판정하는 데 신경망을 학습시킬 이유는 없습니다. 1차시에서 우리는 규칙 4개로 72.7%를 얻었고, 규칙을 하나 더 넣었더니 오히려 정확도가 내려가는 지점도 보았습니다. 규칙이 통하는 자리에서는 규칙이 가장 정직합니다.
• 전기와 돈이 문제일 때. 오늘 만든 바이그램은 노트북에서 0.04초 만에 끝납니다. 큰 언어 모델을 한 번 학습시키는 데는 데이터센터가 필요합니다. 얻는 것이 그만한 값을 하는가는 언제나 따져야 할 물음입니다.

12차시에서 우리는 네 칸(혼동행렬)을 만들고 정확도 · 정밀도 · 재현율을 계산했습니다. 그 계산이 가능했던 까닭은 정답이 하나였기 때문입니다. 스팸인가 아닌가, 많이 남는가 아닌가 — 맞았는지 틀렸는지가 분명했지요.

그런데 오늘 만든 모델의 출력은 문장입니다. "비가 오면"에 이어질 정답은 무엇일까요? 우산을도 맞고 길이도 맞고 버스가도 맞습니다. 정답이 하나가 아닙니다. 그러니 12차시의 네 칸을 그대로 쓸 수 없어요.

그래서 생성형 모델은 다른 방식으로 잽니다. 크게 셋입니다.

환각이 왜 생기는지는 오늘 만든 모델이 이미 보여 주었습니다. 비가 오면 눈사람을 만든다 — 이 문장을 만들 때 모델은 망설이지 않았습니다. 각 낱말이 앞 낱말 다음에 올 확률이 높다는 것만 확인했을 뿐, 그 문장이 사실인지는 아예 확인하지 않았어요. 확인할 방법 자체가 모델 안에 없습니다.

아래 판은 진짜로 셉니다. 미리 적어 둔 문장을 꺼내 오는 것이 아니라, 오른쪽 아래 말뭉치 상자에 들어 있는 글을 그 자리에서 세어 확률을 구합니다. 말뭉치를 고치면 확률이 바로 달라져요.

그리고 이 판의 계산은 아래 파이썬 코드와 같은 알고리즘입니다. 난수기까지 파이썬의 것을 그대로 옮겨 넣었기 때문에, 씨앗을 같게 두면 두 곳에서 같은 문장이 나옵니다. 나란히 놓고 대조해 보세요.

과제 ① 표를 채운다 — 말뭉치 크기를 바꿔 가며 잰다

말뭉치 상자에서 아래쪽 문장을 지워 개수를 줄인 다음 [🔁 말뭉치 다시 세기] → [📊 20문장 만들어 재기]를 누르세요. 씨앗은 17로 고정합니다.

다 채웠으면 '새 문장' 열이 처음으로 크게 늘어나는 자리를 찾으세요. 그리고 40문장 줄에서 '서로 다른 문장'이 30문장 줄보다 늘었는지 줄었는지도 적어 두세요. 확인 문제 3번에서 이것을 묻습니다.

과제 ② 트라이그램이 막히는 자리를 찾는다

개념 3에서 "트라이그램은 대부분의 조합이 0번이라 고를 것이 없다"고 했습니다. 그 0번을 직접 만나 볼 차례입니다.

• 모델을 바이그램으로 두고 눈이에서 시작해 오면까지 이어 봅니다. 이때 후보가 몇 개 뜨는지 세어 적으세요.
• 모델을 트라이그램으로 바꾸고 같은 자리(눈이 오면)까지 옵니다. 후보가 몇 개로 줄었나요? 두 숫자를 나란히 적으세요.
• 이제 [직접 치기] 칸에 낱말 두 개를 여러분이 골라 쳐 넣고 [이 말로 시작]을 누릅니다. 예를 들어 저녁에 뜨면처럼요. 후보가 0개라는 화면이 나오면 성공입니다 — 그 두 낱말이 말뭉치에서 나란히 나온 적이 한 번도 없기 때문입니다. 0개가 되는 짝을 세 개 찾아 공책에 적으세요.
• 반대로 0개가 아닌 짝도 하나 찾아보세요. 훨씬 어렵습니다. 몇 번 만에 찾았는지도 적어 두세요.
• 마지막으로 [🎲 무작위 짝 100번 시험]을 누릅니다. 낱말 둘을 아무렇게나 뽑아 그 짝이 말뭉치에 있는지 100번 확인해 줍니다. 100번 중 몇 번이 있었나요? 이 값을 개념 3의 1.00%와 견주세요.

과제 ③ 말뭉치를 고쳐 숫자를 움직인다

이제 여러분이 말뭉치를 고칠 차례입니다. 아래 둘 중 하나 이상을 해내세요.

이제 판이 아니라 코드로 같은 것을 만듭니다. 빈칸은 네 곳인데, 실은 서로 다른 물음이 셋입니다. 두 곳(★②)은 같은 자리가 두 번 나오는 것이라 답이 같아요.

코드가 길어 보이지만 모델 자체는 스무 줄 남짓입니다 — build_bigram · probs · gen_bigram 세 함수가 전부예요. 나머지는 결과를 재고 화면에 찍는 부분입니다. 길이에 겁먹지 말고 이 세 함수부터 읽으세요.

빈칸 ①에는 틀렸는데 정상으로 보이는 함정이 하나 있습니다. 전체 횟수 대신 후보 가짓수로 나누는 실수예요. 화면에는 그럴듯한 소수가 찍히기 때문에 눈으로는 알아채기 어렵습니다.

아래 코드는 다섯 문장 말뭉치로 그 차이를 나란히 보여 줍니다. 그대로 실행해 보세요.

실행하면 이렇게 나옵니다.

가운데 토막이 그 함정입니다. 숫자만 보면 확률처럼 보입니다. 0.67, 0.33, 0.33 — 이상할 것이 없어 보이지요. 그런데 다 더하면 1.33입니다. 확률의 합은 반드시 1이어야 합니다.

세 번째 토막은 더 미묘합니다. 목록의 중복을 set으로 "정리"했더니 합은 1.00이 되었는데, 길이가 두 번 나왔다는 사실이 사라졌습니다. 셋 다 0.33으로 평평해졌어요.

오늘 우리는 낱말을 세어 나누기만 하는 모델로 문장을 만들었습니다. 그 문장은 때로 그럴듯했고 때로 무너졌으며, 무너지는 자리는 말뭉치에 없던 3연속으로 기계가 짚어 주었습니다.

• 언어 모델의 계산은 나눗셈 한 번이다. 어떤 낱말 다음에 무엇이 몇 번 나왔는지 세고, 전체 횟수로 나눈다. 다섯 문장 말뭉치에서 오면 다음은 길이 0.50 · 눈사람을 0.25 · 우산을 0.25였다.
• 앞을 한 낱말만 보면 앞을 잊는다. 바이그램 20문장 중 3연속이 어긋난 문장이 7개였다. 저녁에 해가 뜨면, 비가 오면 눈사람을이 그 결과다.
• 문맥을 늘리면 어긋남은 줄지만 새로움도 준다. 트라이그램에서 어긋남은 7개 → 0개가 됐지만 외운 문장이 9개 → 14개로 늘었다. 5그램은 새 문장을 하나도 만들지 못했다.
• 까닭은 조합 폭발이다. 어휘 107개에서 낱말 두 개 조합은 11,449칸인데 채워진 것은 1.00%, 세 개 조합은 0.00678%다. 트라이그램은 열쇠의 95%가 갈림길이 아니라 되뇔 수밖에 없다.
• 그래서 어텐션이 나왔다. 열쇠를 통째로 세는 대신, 앞에 나온 낱말을 직접 보되 어디를 볼지 배우게 한 것이 트랜스포머다. "길게 보면서도 외우지 않는" 방법이다.
• 소리는 그림이 된다. 스펙트로그램은 숫자 격자라서 16차시의 필터 · 특징지도 · 풀링을 그대로 쓴다. 도구는 하나인데 문제만 다르다.
• 딥러닝이 늘 이기지는 않는다. 데이터가 적을 때 · 이유를 설명해야 할 때 · 규칙이 이미 분명할 때 · 전기와 돈이 문제일 때는 규칙이나 k-NN이 낫다. 역설이지만 오늘 만든 바이그램은 오늘날의 언어 모델보다 설명 가능성이 높다.

이것으로 Ⅱ단원이 끝납니다. 단원 전체를 한 줄로 꿰면 이렇습니다 — 1차시에서 우리는 규칙을 손으로 적다가 막혔습니다. 그래서 데이터를 모으고(2~4차시), 재는 법을 배우고(5~6차시), 스스로 규칙을 찾게 만들었습니다(7~10차시). 그것이 제대로 된 것인지 재는 법을 익히고(11~12차시), 층을 쌓아 어려운 문제까지 풀었으며(13~15차시), 마지막으로 그림과 말이라는 사람의 감각에 가까운 자료에까지 이르렀습니다(16~17차시).

그런데 오늘 마지막 절에서 남긴 물음이 하나 있습니다 — 언어 모델은 '참'이 아니라 '그럴듯함'을 고른다는 것. 이 성질이 사회에서 무엇을 일으키는지, 그리고 사람이 그것을 어떻게 다뤄야 하는지가 Ⅲ단원의 주제입니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.