<h1>음성으로 코딩하기 (10편) — 최신 그래픽카드가 오히려 발목을 잡았다</h1>

9편에서 번역용 로컬 AI를 돌리려다 GPU가 말썽이라고 했죠. 사실 성능을 위해 일부러 최신 그래픽카드를 들였는데, 아이러니하게도 너무 최신이라 안 되는 것들이 있었어요.

지난 편 → 9편 — 한국어로 말하면 영어로: 코딩하며 영어 배우기

처음엔 CPU로 버텼어요

초기엔 그래픽카드 없이 CPU만으로 음성 인식(whisper) 을 돌렸어요. 되긴 됐는데, 정확한 큰 모델을 쓰면 느리고 버벅였죠. hands-free로 대화하듯 쓰려는데 인식이 굼뜨면 흐름이 끊겨요.

그래서 "이건 GPU가 있어야겠다" 결론을 내렸어요. 검증부터 했죠 — CPU로 작은 모델을 돌려보며 "GPU만 있으면 큰 모델도 실시간이겠다"를 확인하고, 메인보드·CPU 호환까지 따진 뒤 RTX 5060 Ti(16GB) 를 들였습니다.

그런데 "너무 최신"이 문제였어요

카드를 꽂고 신나서 로컬 AI들을 돌렸는데, 일부가 아예 실행이 안 됐어요. 대표적으로 번역에 쓰려던 Ollama가 그랬죠.

이유는 이랬어요. 이 카드는 너무 최신 세대(Blackwell) 라서, 소프트웨어들이 아직 이 칩에 맞는 코드를 준비 못 한 상태였어요. "가장 좋은 걸 샀는데 생태계가 아직 못 따라온" 상황이었죠.

소프트웨어	최신 GPU에서
Ollama (번역용으로 시도)	❌ 실행 크래시 (아직 미지원)
LM Studio	✅ 정상
faster-whisper (음성 인식)	✅ 정상 (GPU 가속)

되는 걸로 갈아타니 날아다녔어요

안 되는 Ollama는 접고, LM Studio로 번역을 돌리니 잘 됐어요. 그리고 정작 핵심인 음성 인식(faster-whisper)은 GPU에서 문제없이 가속돼서, 큰 모델도 실시간으로 착착 인식됐죠. 애초에 GPU를 산 목적은 완벽히 달성한 거예요.

교훈 — 최신 하드웨어는 양날의 검

성능은 최고인데, 소프트웨어 생태계가 따라오는 데 시간이 걸린다 — 이게 최신 하드웨어의 함정이에요. "제일 좋은 걸 사면 다 잘 되겠지"가 항상 맞진 않더라고요. 안 되는 걸 붙잡고 씨름하기보다, 되는 대안으로 빠르게 갈아타는 게 시간을 아꼈어요.

다음 편

이제 거의 다 왔어요. 마지막 삽질은 "어느 창에 넣지?" — 여러 개 열린 창 중에 목소리로 골라 넣는 창 타겟팅 이야기. → 11편 — 어느 창에 넣지? 목소리로 창 고르기

---

(이전 편: 9편 — 한국어로 말하면 영어로: 코딩하며 영어 배우기)