중고 RTX 3060 12GB — 로컬 LLM 입문에 아직 쓸 만한가

로컬 LLM을 싸게 시작하려는 사람이 중고 시장에서 가장 많이 마주치는 카드가 RTX 3060 12GB입니다.

2021년 카드이고 이미 단종됐습니다. 그런데도 계속 언급되는 이유는 하나입니다. 이 가격대에서 VRAM 12GB가 흔치 않기 때문입니다.

바로 확인하기

3060 12GB를 골라두면 어떤 모델까지 되는지 바로 나옵니다. 4060과 번갈아 바꿔보시면 차이가 보입니다.

결론부터

RTX 3060 12GB에서 Q4 양자화, A4 두세 장 분량 기준입니다.

14B가 여유롭게 들어간다는 것이 이 카드의 전부입니다. 코딩 보조나 문서 요약에서 체감이 갈리는 구간이 바로 12~14B이기 때문입니다.

신품 8GB 카드와 무엇이 다른가

비슷한 예산에서 실제로 고민하게 되는 조합입니다. 비교 대상은 현행 입문 카드인 RTX 5060입니다(4060은 단종됐습니다).

3060이 앞서는 건 VRAM 하나입니다. 대역폭·전력·보증은 5060이 낫습니다.

세대 차이가 여기서 드러납니다. GDDR7로 바뀌면서 신형 입문 카드의 대역폭이 구형 중급 카드를 넘어섰습니다. 3060의 값어치는 이제 순전히 VRAM 12GB뿐입니다.

그런데 로컬 LLM에서는 그 하나가 결정적일 수 있습니다.

14B 한 줄이 만드는 차이

표에서 유일하게 3060이 이기는 줄인데, 이 한 줄이 사실상 결론입니다.

14B 모델 (약 10.0GB 필요)
  3060 12GB  →  전부 VRAM        →  쾌적
  5060 8GB   →  일부 CPU로 이동   →  답답

8GB에서 14B가 막히는 건 컨텍스트를 줄여도 해결되지 않습니다. qwen2.5:14b의 Q4 파일이 9.0GB라 그것만으로 이미 8GB를 넘기 때문입니다. 자세한 내용은 8GB 카드 이야기에 있습니다.

안 들어가는 모델은 대역폭이 높아도 못 돌립니다. 5060이 더 빠른 카드인데도 14B에서는 3060에 밀리는 이유입니다.

⚠️ 3060은 8GB 버전이 따로 있습니다

가장 조심해야 할 부분입니다.

RTX 3060에는 12GB 버전과 8GB 버전이 있습니다. 이름이 그냥 "RTX 3060"으로 같아서 중고 매물 제목만 보고는 구별되지 않습니다.

8GB 버전을 사면 이 글을 읽은 이유가 사라집니다. 4060 8GB와 같은 자리가 됩니다.

매물에서 반드시 확인하세요.

• 제목에 12GB가 명시되어 있는지
• 판매자에게 직접 확인 — "12GB 맞나요"
• 받은 뒤 작업 관리자 → 성능 → GPU → 전용 GPU 메모리로 재확인

같은 함정이 5060 Ti에도 있습니다(8GB/16GB). 로컬 LLM에서는 카드 이름보다 VRAM 숫자가 먼저입니다.

중고로 살 때

3060은 2021년 카드입니다. 5년 넘은 물건을 사는 것이라는 전제를 깔아야 합니다.

채굴 이력

3060은 2021~2022년 채굴 붐 한가운데 있던 카드라 채굴기에 쓰였을 가능성이 다른 카드보다 큽니다.

확실한 판별법은 없습니다. 다만 참고할 것은 있습니다.

• 같은 판매자가 여러 장을 동시에 파는 경우
• 팬 소음이 유난히 큰 경우
• 서멀 재도포 이력이 있는 경우
• 시세보다 크게 싼데 이유를 설명하지 못하는 경우

LHR은 신경 쓰지 않아도 됩니다

3060에는 채굴 성능을 제한한 LHR 버전이 있습니다. 매물 설명에서 자주 보이지만, 로컬 LLM과는 아무 관계가 없습니다. 채굴 연산만 제한하는 장치라 추론 속도에는 영향을 주지 않습니다.

확인할 것

• 보증 잔여 기간 (대부분 끝났습니다)
• 가능하면 직거래로 현장 테스트 — 부하 시 온도, 화면 아티팩트
• 파워서플라이 여유. 170W라 부담은 크지 않지만 550W 이상은 권합니다

이 계산기가 3060을 추천하지 않는 이유

계산기에서 조건을 바꿔봐도 "3060을 사세요"라는 답은 나오지 않습니다. 목록에는 있는데 추천에는 안 나옵니다. 의도한 동작입니다.

단종된 카드는 "지금 사세요"라고 권할 대상이 아니기 때문입니다. 재고가 없고, 보증이 없고, 몇 년 뒤 같은 조건으로 다시 구할 수도 없습니다.

다만 이미 3060을 쓰는 분은 진단을 받아야 하므로 드롭다운에는 남겨뒀습니다.

이 글은 "3060을 사라"는 글이 아닙니다. 중고 시장에서 3060 12GB를 마주쳤을 때 그게 어떤 카드인지 판단할 수 있게 하는 글입니다.

누가 사면 되고, 누가 사면 안 되나

괜찮은 경우

• 로컬 LLM 입문용으로 예산을 최대한 아끼고 싶다
• 14B 모델까지 써보고 싶다
• 중고 거래에 익숙하고 현장 테스트를 할 수 있다
• 이미 3060 12GB를 갖고 있다 → 그대로 쓰시면 됩니다. 나쁘지 않은 카드입니다

피하는 게 나은 경우

• 중고 거래가 부담스럽다 → 신품 5060 Ti 16GB 쪽이 마음이 편합니다
• 보증이 필요하다 → 3060은 대부분 보증이 끝났습니다
• 32B 이상을 쓸 계획이다 → 12GB로는 안 됩니다. 24GB급으로 가야 합니다
• 게이밍을 겸한다 → 세대가 낮아 DLSS 3 같은 최신 기능이 없습니다

신품 중에서 VRAM을 우선한다면 5060 Ti 16GB가 현실적인 대안입니다. VRAM 16GB에 대역폭도 448 GB/s로 3060보다 높습니다. 비교는 5060 Ti 16GB vs 5070에 있습니다.

자주 묻는 질문

RTX 3060 12GB로 14B 모델이 정말 돌아가나요

돌아갑니다. 약 10GB가 필요한데 12GB이므로 전부 VRAM에 올라갑니다. 다만 컨텍스트를 아주 길게(코드 파일 여러 개를 한 번에) 잡으면 빠듯해질 수 있습니다. 위 계산기에서 길이를 바꿔가며 확인해 보세요.

3060 12GB와 5060 Ti 16GB 중에서는 어느 쪽인가요

예산이 되면 5060 Ti 16GB입니다. VRAM 16GB로 32B까지 넘볼 수 있고, 대역폭도 448 GB/s로 3060(360)보다 높으며, 신품에 보증이 있습니다. 이 비교에서는 3060이 이기는 항목이 가격밖에 없습니다.

3060 12GB의 자리는 "14B까지만 쓸 건데 최대한 싸게" 하나로 좁혀집니다.

3060을 두 장 꽂으면 24GB가 되나요

용량이 단순히 합쳐지지는 않습니다. 여러 GPU에 레이어를 나눠 올릴 수는 있지만 카드 간 통신 오버헤드가 생겨 같은 용량 단일 카드보다 느립니다. 전력과 슬롯 간격도 고려해야 합니다. 12GB 두 장보다 24GB 한 장이 낫습니다.

노트북용 RTX 3060은 어떤가요

다릅니다. 노트북 3060은 VRAM이 6GB인 경우가 많아 데스크톱 12GB와 전혀 다른 카드입니다. 6GB면 7~8B 모델도 빠듯합니다. 노트북이라면 VRAM을 반드시 먼저 확인하세요.

시스템 램은 얼마나 필요한가요

14B까지 VRAM에 올린다면 16GB로도 됩니다. 다만 22B 이상을 넘볼 계획이면 CPU 오프로딩이 일어나므로 32GB를 권합니다. 램과 VRAM의 차이에 정리해 뒀습니다.

정리

1. 3060 12GB의 값어치는 14B가 여유롭게 돌아간다는 한 줄입니다
2. 신품 4060 8GB보다 VRAM·대역폭 둘 다 앞섭니다. 세대가 낮아도 그렇습니다
3. 8GB 버전이 따로 있습니다. 매물에서 12GB를 반드시 확인하세요
4. LHR은 로컬 LLM과 무관합니다. 신경 쓰지 마세요
5. 32B 이상을 원하면 12GB로는 안 됩니다. 24GB급으로 가야 합니다

VRAM 용량별 전체 표는 Ollama 최소 사양 정리에 있습니다.

스펙이나 판정이 실제 사용 결과와 다르면 알려주세요. 확인 후 갱신합니다.