VRAM 계산기 — 내 그래픽카드로 돌아가는 로컬 LLM

그래픽카드와 설정을 고르면 어떤 크기의 모델이 여유 있게 돌아가는지 표로 보여줍니다.

내 그래픽카드 확인하는 법

모델명을 모르셔도 1분이면 확인됩니다.

윈도우

  1. Ctrl + Shift + Esc 를 눌러 작업 관리자를 엽니다
  2. 성능 탭 → 왼쪽 목록에서 GPU 클릭
  3. 오른쪽 위에 카드 이름이 나옵니다 (예: NVIDIA GeForce RTX 4060 Ti)
  4. 오른쪽 아래 전용 GPU 메모리가 이 계산기에서 말하는 메모리입니다

화면 왼쪽 위 사과 아이콘 → 이 Mac에 관하여. 메모리 항목에 적힌 숫자를 그대로 고르시면 됩니다.

이 계산기가 실제로 계산하는 것

그래픽카드 메모리를 얼마나 쓰는지는 세 가지가 정합니다.

  • 모델 자체의 크기 — 똑똑할수록 큽니다
  • 한 번에 다루는 내용의 길이 — 길수록 메모리를 더 씁니다
  • 여유 공간 — 프로그램이 돌아가는 데 필요한 몫

두 번째가 자주 놓치는 부분입니다. "처음엔 빨랐는데 대화가 길어지니 느려진다"는 대부분 여기서 옵니다. 같은 모델이라도 긴 문서를 넣으면 메모리를 훨씬 많이 씁니다.

메모리가 모자라면 어떻게 되나요

에러가 나지 않습니다. 그냥 느려집니다. 이게 헷갈리는 지점입니다.

그래픽카드에 다 안 들어가면 프로그램이 나머지를 컴퓨터의 일반 메모리로 넘깁니다. 동작은 하지만 속도가 몇 배에서 수십 배까지 떨어집니다.

표시
여유쾌적하게 씁니다
빠듯짧은 내용만 다루면 됩니다
느림답답할 정도로 느려집니다
불가사실상 못 씁니다

"돌아간다"와 "쓸 만하다"는 다릅니다.

이 결과를 얼마나 믿어야 하나요

근사치입니다. 실제로 쓰는 프로그램과 모델 종류에 따라 조금씩 달라집니다.

그래서 경계선에 있다면 한 단계 위를 택하는 편이 안전합니다. 메모리가 남는 것은 손해가 아니지만, 모자라면 아예 못 씁니다.

더 자세한 내용은 Ollama 최소 사양 정리에 있습니다.