<h1>음성으로 코딩하기 (6편) — 한국어로 말했는데 영어로 알아듣는 이유</h1>

"취소해"라고 말했는데 화면엔 "This way" 가 떴어요. 분명 한국어로 말했는데 영어로 알아듣다니. 이 황당한 현상의 범인은, 뜻밖에도 좋으라고 켜둔 기능이었습니다.

지난 편 → 5편 — Claude가 답했는데 왜 조용하지?

짧은 명령어가 자꾸 이상하게 들렸어요

긴 문장은 그럭저럭 인식됐는데, "취소"·"전송" 같은 짧은 명령어가 유독 자주 틀렸어요. "취소해"가 엉뚱한 한국어로 들리는 건 그렇다 쳐도, 가끔은 아예 영어("This way", "async")로 알아듣더라고요.

한국어로 쓰라고 설정도 해뒀는데 영어라니. 처음엔 "모델이 이상한가?" 했죠.

whisper large-v3에 한국어(ko)로 고정해뒀고, 자주 쓰는 단어를 미리 알려주는 힌트(initial_prompt)도 넣어봤어요. 그런데도 짧은 명령어의 영어 오인식은 안 사라졌죠. 원인은 인식기 앞단, 소리를 다듬는 단계에 있었어요.

저는 노이즈 제거(denoise) 를 켜두고 있었어요. 팬 소리나 잡음을 걷어내라고요. 긴 문장에서는 이게 도움이 됐어요.

그런데 짧은 키워드에서는 정반대였습니다. "취소"는 0.5초짜리 약한 신호예요. 노이즈 제거가 그 약한 신호까지 과하게 깎아버리니, whisper 입장에선 뭉개진 소리를 받고 "그럴듯한 무언가"로 채워 넣다가 영어를 뱉은 거였죠.

발화 종류	노이즈 제거 효과
긴 문장	✅ 도움 (잡음만 걷어냄)
짧은 키워드(0.5초)	❌ 독 (약한 신호까지 깎아 영어·환각 오인식)

같은 기능이 발화 길이에 따라 정반대로 작동한 거예요.

"그럼 키워드는 아예 다른 방식으로 인식하면?" 싶어서 Vosk라는 엔진을 시도했어요. 인식 후보를 "취소·전송·다시" 같은 키워드로만 한정하면 정확할 줄 알았죠.

그런데 이게 더 위험했어요. 키워드가 아닌 말(잡음이나 창 이름)까지 억지로 "전송"·"취소"로 매핑해버리더라고요. 심지어 "취소"를 "전송"으로 알아듣기도 했고요. 취소하려다 전송되면 큰일이잖아요. 그래서 접었습니다.

결론은 단순했어요. 긴 문장(일반 발화)은 노이즈 제거를 켜두고, 짧은 키워드만 노이즈 제거를 끄는 거였죠. 발화 종류에 따라 정반대로 처리하니 영어 오인식이 확 줄었어요.

노이즈 제거는 분명 좋은 기능이에요. 하지만 "항상 켜두면 좋다"는 건 없었어요. 짧고 약한 신호에는 오히려 독이었죠.

AI(Claude)는 "노이즈 제거를 켜라"까진 제안했지만, "짧은 키워드에선 그게 역효과" 라는 건 결국 제가 데이터를 뽑아 직접 확인해야 했어요. 도구의 좋고 나쁨은 상황에 달렸더라고요.

이번엔 음량이 문제였어요. 소리를 키우면 인식이 좋아질까? 그리고 마주한 무료 모델의 벽 이야기. → 7편 — 소리를 키워도 안 됐다: 무료 모델의 벽