스펙핏 — 내 조건에 맞는 스펙
내 그래픽카드로 어떤 크기의 AI 모델이 돌아가는지 30초면 확인됩니다.
여유 쓸 수 있습니다
RTX 5060 Ti 16GB로 12~14B 모델은 무리 없습니다. 지금 카드를 그대로 쓰시면 됩니다.지금 카드로는 12~14B까지입니다. 더 큰 20~22B 모델까지 돌리려면 RTX 5090(메모리 32GB) 이상이 필요합니다.
이 길이에서는 대부분이 모델 가중치입니다. 짧게 써도 크게 안 줄어듭니다.
필요 10.6GB = 가중치 8.8 + 컨텍스트 0.8 + 여유 1.0 내 카드 16GB
다른 크기도 함께 보기
| 모델 크기 | 필요 메모리 | 내 카드에서 |
|---|---|---|
| 3B Llama 3.2 3B, Qwen 3B |
3.3GB 가중치 1.9 · 컨텍스트 0.4 |
여유 전부 그래픽카드 메모리에 올라감 |
| 7~8B Llama 3.1 8B, Qwen 7B |
6.5GB 가중치 5.0 · 컨텍스트 0.5 |
여유 전부 그래픽카드 메모리에 올라감 |
| 12~14B Qwen 14B, Gemma 12B |
10.6GB 가중치 8.8 · 컨텍스트 0.8 |
여유 전부 그래픽카드 메모리에 올라감 |
| 20~22B Mistral Small |
15.7GB 가중치 13.9 · 컨텍스트 0.9 |
빠듯 짧은 내용만 다루면 가능 |
| 32B Qwen 32B, QwQ 32B |
22.2GB 가중치 20.2 · 컨텍스트 1.0 |
느림 일부가 CPU로 넘어가 답답해짐 |
| 70B Llama 3.3 70B |
46.4GB 가중치 44.1 · 컨텍스트 1.3 |
불가 실사용이 어려움 |
| 120B+ Mixtral 8x22B급 |
77.6GB 가중치 75.6 · 컨텍스트 1.0 |
불가 실사용이 어려움 |
근사치입니다. 실제로 쓸 모델의 파일 크기는 배포판마다 다릅니다. 경계선에 있다면 한 단계 위 메모리를 택하는 편이 안전합니다.
골라 읽기 좋은 글
- GPU Ollama 최소 사양 — 내 VRAM으로 몇 B 모델까지 돌아가나 로컬 LLM을 돌리기 전에 확인할 것은 GPU 이름이 아니라 VRAM입니다. VRAM 용량별로 실제 돌아가는 모델 크기를 정리했습니다.
- 노트북 개발용 노트북 사양 — 나중에 못 바꾸는 것부터 고르세요 노트북은 부품 대부분을 나중에 못 바꿉니다. 램, 화면, 그래픽카드 순으로 살 때 정해야 할 것과 나중에 해도 되는 것을 갈랐습니다.
- 모니터 코딩용 모니터 — 27과 32, QHD와 4K 조합 고르기 코딩에서 갈리는 건 주사율이나 색재현율이 아니라 해상도와 크기의 조합입니다. 27 QHD·32 QHD·27 4K·32 4K를 PPI로 계산해 어느 조합이 맞는지 정리했습니다.
- 메모리·스토리지 램 16GB vs 32GB — 로컬 LLM과 개발에서 갈리는 지점 32GB를 사라는 답은 쓸모가 적습니다. 로컬 LLM에서 필요한 램은 GPU가 정합니다. VRAM을 넘긴 만큼이 시스템 램으로 넘어오기 때문입니다. 계산해서 정리했습니다.
- 미니PC 미니PC vs 노트북 — 갈림길은 성능이 아니라 이동입니다 어차피 책상에서만 쓰는데 노트북이 맞을까요. 속이 같은 두 물건이라 성능으로는 안 갈립니다. 밖에서 화면을 열 일이 있는지, 이미 갖고 있는 물건이 무엇인지로 갈립니다.
- 네트워크 메시 와이파이 — 성능은 위성이 아니라 백홀이 정합니다 방마다 안 터져서 메시를 알아보면 위성 개수부터 세게 됩니다. 순서가 반대입니다. 위성들이 서로 어떻게 연결되는가(백홀)가 성능을 정하고, 집에 벽 랜포트가 있느냐로 답이 갈립니다.
새로 쓴 글
- 메모리·스토리지 램이 절반만 인식될 때 — 어느 숫자가 모자란지부터 봅니다
- 네트워크 인터넷은 멀쩡한데 게임 핑만 튈 때 — 속도가 아니라 변동의 문제입니다
- 네트워크 인터넷이 툭 끊겼다 돌아올 때 — 범위와 층, 두 번만 자르면 됩니다
- 모니터 144Hz 모니터인데 60Hz만 잡힐 때 — 목록에 없는 숫자는 길이 못 실어온 겁니다
- GPU 게임 중 CPU 온도, 몇 도까지 괜찮나 — 답이 갈리는 이유부터가 힌트입니다
- 모니터 HDR을 켰더니 화면이 물 빠져 보일 때 — 고장이 아니라 무대가 바뀐 겁니다
- GPU 녹화만 켜면 게임이 버벅일 때 — 압축을 누가 하느냐의 문제입니다
- 네트워크 게임패드를 꽂았는데 게임이 몰라볼 때 — 패드와 게임이 다른 언어를 쓰고 있어서입니다
- 메모리·스토리지 전원 버튼을 눌러도 완전 무반응일 때 — 전기의 길을 바깥에서 안으로 자릅니다
- 미니PC 부팅이 오래 걸릴 때 — 어느 구간에서 머무는지가 범인을 알려줍니다
- GPU 전체 화면이냐 테두리 없는 창이냐 — 고르는 기준은 성능이 아니라 생활 패턴입니다
- 모니터 화면이 누렇게 변했을 때 — "갑자기"라면 십중팔구 고장이 아닙니다
전체 200편은 위 카테고리에서 볼 수 있습니다. 찾는 것이 있으면 검색을 쓰세요.