RTX 4060으로 로컬 LLM — 8GB로 어디까지 되나

로컬 LLM을 시작하려는 사람이 가장 많이 들고 있는 카드가 RTX 4060입니다. 신품 입문 가격대에서 무난하고, 전력도 115W로 낮아 기존 PC에 그냥 꽂히기 때문입니다.

그런데 이 카드의 VRAM은 8GB입니다. 로컬 LLM에서 8GB는 애매한 자리이고, 그래서 "되긴 되는데 왜 이러지" 하는 질문이 가장 많이 나옵니다.

⚠️ 지금 새로 사시려는 거라면 — RTX 4060은 단종되어 재고 소진 단계입니다. 대응되는 현행 카드는 RTX 5060이고, VRAM은 같은 8GB인데 대역폭이 272 GB/s → 448 GB/s로 올랐습니다(1.65배).

이 글의 결론은 5060에도 그대로 적용됩니다. VRAM이 8GB로 같아서 돌아가는 모델 크기가 같기 때문입니다. 같은 모델이 더 빨라질 뿐입니다. 아래 "8GB의 벽" 이야기는 두 카드 모두의 이야기입니다.

16GB로 올라가는 선택지는 5060 Ti 16GB vs 5070에 있습니다.

바로 확인하기

용도와 다루는 내용의 길이를 고르면, 지금 카드로 어디까지 되는지 바로 나옵니다.

결론부터

RTX 4060(8GB)에서 Q4 양자화, A4 두세 장 분량 기준입니다.

7~8B가 4060의 자리입니다. 여기서는 전부 VRAM에 올라가 쾌적하게 돌아갑니다.

그리고 14B에서 벽이 옵니다. 10GB가 필요한데 8GB뿐이라 일부가 CPU로 넘어갑니다.

컨텍스트를 줄여도 이 벽은 사라지지 않습니다. 모델 파일 자체가 이미 8GB를 넘기 때문입니다.

qwen2.5:14b 의 Q4 파일    9.0GB   ← 이것만으로 8GB 초과
오버헤드                  약 1GB
────────────────────────────────
컨텍스트를 0 으로 해도 약 10GB > 8GB

9.0GB는 계산값이 아니라 ollama.com 에 표시된 실제 파일 크기입니다(2026-08-15 확인). "짧게 물어보면 되지 않나"가 통하지 않는 구간입니다.

8GB가 애매한 이유

로컬 LLM에서 실질적인 체급 구분은 이렇게 갈립니다.

8GB   →  7~8B 까지     (입문)
12GB  →  12~14B 까지   (실용)
16GB  →  14B 까지      (여유)
24GB  →  32B 까지      (상급)

8GB는 가장 아래 칸입니다. 7~8B 모델은 번역, 간단한 질문, 짧은 글 다듬기에는 충분하지만 코드를 이해시키려 하면 아쉬움이 나오기 시작합니다.

그 아쉬움을 풀려면 12~14B로 올라가야 하는데, 그게 정확히 8GB가 막히는 지점입니다.

자주 하는 착각 세 가지

1. "4060 Ti면 낫지 않나요"

4060 Ti는 8GB와 16GB 두 가지가 있습니다. 이름이 같아서 자주 헷갈립니다.

4060 Ti 8GB는 게이밍에서는 4060보다 빠르지만, 로컬 LLM에서는 같은 자리입니다. VRAM이 같으면 올라가는 모델도 같습니다.

돈을 더 쓸 거라면 4060 Ti가 아니라 16GB 쪽이어야 의미가 있습니다. 지금 신품으로 사신다면 그 자리는 5060 Ti 16GB입니다 (4060 Ti도 단종이고, 5060 Ti 16GB는 대역폭이 1.56배입니다).

2. "중고 3060 12GB보다는 신품 4060이 낫겠지"

로컬 LLM만 놓고 보면 반대입니다.

세대가 낮은 3060이 VRAM과 대역폭 둘 다 앞섭니다. 14B를 돌리고 싶다면 신품 4060으로는 안 되고 중고 3060으로는 됩니다.

다만 3060은 단종이라 신품을 살 수 없고, 중고에는 채굴 이력·보증 없음·팬 노후 문제가 따라옵니다. 그래서 이 사이트의 계산기는 3060을 추천하지 않습니다. 지금 살 수 있는 카드가 아니기 때문입니다. 이미 3060을 쓰고 계시다면 그건 로컬 LLM 입문에 나쁘지 않은 카드입니다.

같은 논리를 더 큰 카드로 확장한 내용은 중고 3090 vs 신품 4070에 있습니다.

3. "램을 32GB로 늘리면 큰 모델이 돌아가겠지"

돌아가긴 하는데 쓸 만하지는 않습니다.

VRAM을 넘긴 부분은 CPU와 시스템 램이 처리합니다. 시스템 램의 대역폭은 VRAM의 1/10 수준이라 속도가 몇 배에서 수십 배 떨어집니다.

램은 부족할 때 문제가 되는 것이지, 늘린다고 성능이 올라가지 않습니다. 자세한 구분은 로컬 LLM 램 몇 GB 필요한가에 정리했습니다.

4060을 이미 쓰고 있다면

카드를 바꾸지 않고 할 수 있는 것들입니다.

7~8B 모델을 기본으로 쓰세요. 8GB에서 가장 좋은 선택입니다. Llama 3.1 8B, Qwen 7B 계열이 여기 들어갑니다.

14B를 꼭 써야 한다면 컨텍스트를 줄이세요. 앞서 적었듯 벽 자체는 남지만, CPU로 넘어가는 양이 줄어 조금은 나아집니다. 짧은 질문 위주라면 견딜 만합니다.

양자화를 Q4 아래로 내리는 건 권하지 않습니다. Q3·Q2로 가면 용량은 줄지만 품질 저하가 체감됩니다. 같은 8GB라면 "14B를 강하게 양자화"보다 "8B를 Q4로"가 낫습니다.

긴 대화에서 느려지면 대화를 새로 시작하세요. 대화가 길어질수록 메모리를 더 쓰기 때문에, 처음엔 괜찮다가 중간부터 느려지는 일이 생깁니다.

지금 사려는 거라면

7~8B로 충분한 용도라면 4060으로 됩니다. 저전력에 신품 보증이 있고, 파워서플라이를 바꿀 필요도 거의 없습니다. 번역·요약·간단한 질문이 주 용도라면 더 쓸 이유가 없습니다.

코딩 보조가 목적이라면 8GB는 좁습니다. 코드를 이해시키려면 12~14B 이상이 편하고, 그러면 12GB 이상이 필요합니다. 신품 기준으로는 5060 Ti 16GB나 5070부터입니다.

위 계산기에서 용도를 "코딩 도우미"로 바꿔보시면 판정이 어떻게 달라지는지 바로 보입니다.

자주 묻는 질문

RTX 4060 8GB로 Ollama가 돌아가나요

돌아갑니다. 7~8B 모델까지는 전부 VRAM에 올라가 쾌적합니다. 14B부터는 일부가 CPU로 넘어가면서 느려집니다.

4060에서 14B 모델을 돌리면 얼마나 느려지나요

전부 VRAM에 올라갈 때와 비교해 몇 배 수준으로 떨어집니다. 에러가 나는 게 아니라 그냥 느려지기 때문에 처음에는 원인을 알기 어렵습니다. 작업 관리자에서 GPU 전용 메모리가 꽉 찼는지 보면 확인됩니다.

4060을 두 장 꽂으면 16GB가 되나요

용량이 단순히 합쳐지지는 않습니다. Ollama는 여러 GPU에 레이어를 나눠 올릴 수 있어 큰 모델을 올리는 데는 도움이 되지만, 카드 간 통신 오버헤드가 생겨 같은 용량의 단일 카드보다 느립니다. 8GB 두 장보다 16GB 한 장이 낫습니다.

노트북용 RTX 4060도 같은가요

다릅니다. 노트북 4060은 VRAM이 8GB로 같지만 전력 제한이 낮아 성능이 떨어지고, 제조사마다 설정이 달라 편차가 큽니다. VRAM 8GB라는 한계선은 동일하므로 돌아가는 모델 크기는 같다고 보시면 됩니다.

4060 Ti 8GB를 사면 로컬 LLM에서 나은가요

아닙니다. VRAM이 8GB로 같아서 올라가는 모델도 같습니다. 로컬 LLM 때문에 4060 Ti 8GB로 올리는 것은 의미가 없고, 올릴 거면 16GB 쪽입니다.

정리

1. RTX 4060의 자리는 7~8B입니다. 이 구간은 쾌적합니다
2. 14B에서 벽이 옵니다. 가중치만으로 7.7GB라 컨텍스트를 줄여도 해결되지 않습니다
3. 4060 Ti 8GB는 로컬 LLM에서 4060과 같은 카드입니다. VRAM이 같으면 결과도 같습니다
4. 중고 3060 12GB는 14B가 여유롭게 돌아갑니다. 다만 단종·중고 리스크를 안아야 합니다
5. 코딩 보조가 목적이면 12GB 이상부터 보세요

VRAM 용량별 전체 표는 Ollama 최소 사양 정리에 있습니다.

스펙이나 판정이 실제 사용 결과와 다르면 알려주세요. 확인 후 갱신합니다.