RTX 5060 Ti 16GB vs RTX 5070 — VRAM이냐 속도냐
신품으로 로컬 LLM용 카드를 고를 때 가장 많이 갈리는 지점입니다. 비슷한 가격대에서 VRAM이 큰 쪽과 속도가 빠른 쪽 중 무엇을 살 것인가.
지금까지 이 사이트는 "로컬 LLM은 VRAM이 먼저"라고 계속 말해왔습니다. 그런데 이 두 카드에서는 그 원칙만으로 답이 나오지 않습니다.
4060 Ti 16GB나 4070을 알아보고 계셨다면 — 두 카드는 단종됐습니다. 대응되는 현행 카드가 각각 5060 Ti 16GB와 5070입니다. 자세한 내용은 아래에 정리했습니다.
바로 확인하기
두 카드를 번갈아 골라보시면 어디서 갈리는지 보입니다.
여유 쓸 수 있습니다
RTX 5060 Ti 16GB로 12~14B 모델은 무리 없습니다. 지금 카드를 그대로 쓰시면 됩니다.지금 카드로는 12~14B까지입니다. 더 큰 20~22B 모델까지 돌리려면 RTX 5090(메모리 32GB) 이상이 필요합니다.
이 길이에서는 대부분이 모델 가중치입니다. 짧게 써도 크게 안 줄어듭니다.
필요 10.6GB = 가중치 8.8 + 컨텍스트 0.8 + 여유 1.0 내 카드 16GB
다른 크기도 함께 보기
| 모델 크기 | 필요 메모리 | 내 카드에서 |
|---|---|---|
| 3B Llama 3.2 3B, Qwen 3B |
3.3GB 가중치 1.9 · 컨텍스트 0.4 |
여유 전부 그래픽카드 메모리에 올라감 |
| 7~8B Llama 3.1 8B, Qwen 7B |
6.5GB 가중치 5.0 · 컨텍스트 0.5 |
여유 전부 그래픽카드 메모리에 올라감 |
| 12~14B Qwen 14B, Gemma 12B |
10.6GB 가중치 8.8 · 컨텍스트 0.8 |
여유 전부 그래픽카드 메모리에 올라감 |
| 20~22B Mistral Small |
15.7GB 가중치 13.9 · 컨텍스트 0.9 |
빠듯 짧은 내용만 다루면 가능 |
| 32B Qwen 32B, QwQ 32B |
22.2GB 가중치 20.2 · 컨텍스트 1.0 |
느림 일부가 CPU로 넘어가 답답해짐 |
| 70B Llama 3.3 70B |
46.4GB 가중치 44.1 · 컨텍스트 1.3 |
불가 실사용이 어려움 |
| 120B+ Mixtral 8x22B급 |
77.6GB 가중치 75.6 · 컨텍스트 1.0 |
불가 실사용이 어려움 |
근사치입니다. 실제로 쓸 모델의 파일 크기는 배포판마다 다릅니다. 경계선에 있다면 한 단계 위 메모리를 택하는 편이 안전합니다.
정하는 건 하나 — 쓸 모델 크기입니다
예산이나 세대가 아니라 쓸 모델 크기가 정합니다. 14B 이하만 쓸 거면 RTX 5070 — 둘 다 들어가고 5070이 훨씬 빠릅니다. 20~22B를 넘보면 RTX 5060 Ti 16GB — 5070은 여기서 느려집니다. 32B를 넘봐도 5060 Ti 16GB — 5070은 아예 안 됩니다.
두 카드는 강점이 다릅니다
| RTX 5060 Ti 16GB | RTX 5070 | |
|---|---|---|
| VRAM | 16GB | 12GB |
| 메모리 대역폭 | 448 GB/s | 672 GB/s |
| TDP | 180W | 250W |
한쪽이 둘 다 앞서지 않습니다. 이게 3090 vs 4070과 다른 점입니다. 그 비교에서는 3090이 VRAM과 대역폭을 둘 다 앞서서 답이 하나였습니다.
여기서는 진짜 맞바꿈입니다.
5060 Ti 16GB → 더 큰 모델이 들어감 (VRAM +33%)
5070 → 들어간 모델이 더 빠름 (대역폭 1.5배)모델 크기별로 갈라 보면
Q4 양자화, A4 두세 장 분량 기준입니다.
| 모델 크기 | 필요 메모리 | 5060 Ti 16GB | 5070 12GB |
|---|---|---|---|
| 7~8B | 약 6.5GB | 여유 | 여유 |
| 12~14B | 약 10.6GB | 여유 | 여유 |
| 20~22B | 약 15.7GB | 빠듯 | 느림 |
| 32B | 약 22.2GB | 느림 | 불가 |
14B까지는 5070입니다
위 표에서 14B 줄을 보면 둘 다 "여유"입니다.
둘 다 전부 VRAM에 올라가면, 그다음을 정하는 건 대역폭입니다. LLM 추론은 매 토큰마다 모델 가중치를 읽어야 해서 메모리 속도에 묶이기 때문입니다.
5070의 672 GB/s는 5060 Ti의 448 GB/s보다 1.5배 높습니다. 같은 14B 모델을 돌려도 5070이 눈에 띄게 빠릅니다.
VRAM이 먼저라는 원칙은 "모델이 안 들어갈 때" 이야기입니다. 들어가고 나면 그다음은 대역폭입니다. 순서가 있는 것이지 VRAM만 보라는 뜻이 아닙니다.
22B부터 뒤집힙니다
22B는 약 15.7GB가 필요합니다.
5060 Ti 16GB → 15.7GB 가 16GB 안에 → 빠듯하지만 들어감
5070 12GB → 3GB 이상이 CPU로 → 느려짐32B에서는 격차가 더 벌어집니다. 약 22.2GB인데 5070의 12GB로는 절반 가까이가 CPU로 넘어가 실사용이 어렵습니다. 5060 Ti 16GB도 여유롭진 않지만 "느림" 수준으로는 돌아갑니다.
대역폭이 아무리 높아도 안 들어가는 모델을 빠르게 돌릴 수는 없습니다.
⚠️ 5060 Ti는 8GB 버전이 있습니다
이 글에서 가장 중요한 경고입니다.
RTX 5060 Ti에는 8GB와 16GB 두 가지가 있습니다. 이름이 거의 같고 대역폭도 448 GB/s로 완전히 같아서, 게이밍 벤치마크만 보면 차이가 작아 보입니다.
| 5060 Ti 8GB | 5060 Ti 16GB | |
|---|---|---|
| VRAM | 8GB | 16GB |
| 대역폭 | 448 GB/s | 448 GB/s |
| 12~14B | 느림 | 여유 |
| 32B | 불가 | 느림 |
로컬 LLM에서 5060 Ti 8GB는 5060과 같은 자리입니다. 이 글이 5060 Ti를 권하는 이유는 전부 16GB에서 나옵니다. 8GB를 사면 돈을 더 쓰고도 얻는 게 없습니다.
같은 함정이 RTX 3060에도 있었습니다(8GB/12GB). 카드 이름보다 VRAM 숫자가 먼저입니다.
전력과 발열
5060 Ti 16GB가 180W로 5070(250W)보다 낮습니다.
기존 PC에 그냥 꽂으려는 경우 5060 Ti 쪽이 유리합니다. 5070은 250W라 파워서플라이에 여유가 없으면 확인이 필요합니다.
이 구간은 3090(350W)처럼 파워서플라이를 새로 사야 하는 부담까지는 아닙니다.
4060 Ti 16GB, 4070을 보고 계셨다면
두 카드는 단종됐습니다. NVIDIA가 해당 칩 생산을 종료해 재고 소진 단계입니다.
세대가 바뀌면서 같은 VRAM에 대역폭이 크게 올랐습니다. GDDR6X/GDDR6에서 GDDR7로 바뀐 영향입니다.
| 이전 | 현행 | 대역폭 변화 | |
|---|---|---|---|
| 16GB 중급 | 4060 Ti 16GB (288 GB/s) | 5060 Ti 16GB (448 GB/s) | 1.56배 |
| 12GB 중급 | 4070 (504 GB/s) | 5070 (672 GB/s) | 1.33배 |
VRAM은 같은데 대역폭만 올랐습니다. 로컬 LLM에서 이건 그대로 생성 속도 향상입니다. 돌아가는 모델 크기는 같고, 같은 모델이 더 빨라집니다.
중고로 4060 Ti 16GB를 마주쳤다면 VRAM 16GB라는 값어치는 그대로입니다. 다만 신품 5060 Ti 16GB와 가격 차이가 크지 않다면 신품 쪽이 낫습니다. 보증이 있고 대역폭이 1.56배입니다.
둘 다 마음에 안 든다면
| 카드 | VRAM | 대역폭 | 성격 |
|---|---|---|---|
| RTX 5070 Ti | 16GB | 896 GB/s | 둘 다 해결. 대신 비쌉니다 |
| RTX 5080 | 16GB | 960 GB/s | 더 빠르지만 VRAM은 같은 16GB |
| RTX 5090 | 32GB | 1792 GB/s | 32B를 여유롭게. 가격대가 다릅니다 |
5070 Ti가 이 고민의 정답에 가장 가깝습니다. VRAM 16GB에 대역폭 896 GB/s로 두 카드의 장점을 다 가집니다. 예산이 허락한다면 고민할 필요 없이 이쪽입니다.
다만 16GB라는 천장은 같습니다. 32B를 여유롭게 쓰려면 32GB급이 필요합니다.
결정 직전의 흔들림들
"대역폭이 1.5배면 속도도 1.5배?" — 그렇지는 않습니다. 대역폭은 생성 속도에 가장 큰 영향을 주는 요소지만 유일한 요소가 아니고, 모델 구조·실행 프로그램·컨텍스트 길이가 함께 작용합니다. "5070이 눈에 띄게 빠르다" 정도로 이해하시면 됩니다. "14B만 쓸 건데 굳이 16GB?" — 지금 기준으론 필요 없습니다. 다만 로컬 LLM은 쓰다 보면 더 큰 모델을 원하게 되는 취미라, 14B 만족의 확신이 있으면 5070, 나중에 22B·32B를 건드릴 것 같으면 5060 Ti 16GB가 그 여지를 남겨줍니다.
"5060 Ti 16GB로 32B가 실제로 쓸 만한가?" — "느림" 판정입니다. 돌아가긴 하지만 일부가 CPU로 넘어가 답답합니다. 가끔 무거운 작업 용도면 견딜 만하고, 32B 상시라면 32GB급으로 가야 합니다. 중고 3090 24GB와의 비교는 3090이 VRAM도 대역폭(936 GB/s)도 앞서는 대신 350W·3슬롯·중고 리스크가 붙습니다 — 그 비교는 따로 있습니다. 게이밍을 겸한다면 게이밍 비중이 높을수록 5070, 로컬 LLM에서 더 큰 모델을 원할수록 5060 Ti 16GB입니다.
판정을 한 줄로 접으면 — 14B 이하는 5070, 22B 이상 욕심은 5060 Ti 16GB이고, "VRAM이 먼저"는 모델이 안 들어갈 때 이야기이며 들어가면 그다음은 대역폭입니다. 그리고 5060 Ti는 반드시 16GB인지 확인하세요 — 8GB 버전을 사면 이 글의 전제가 무너집니다. 4060 Ti 16GB·4070은 단종이고, 후계인 이 둘은 VRAM은 그대로 대역폭만 올랐습니다.
VRAM 용량별 전체 표는 Ollama 최소 사양 정리에 있습니다.
스펙이나 판정이 실제 사용 결과와 다르면 알려주세요. 확인 후 갱신합니다.