RTX 5060 Ti 16GB vs RTX 5070 — VRAM이냐 속도냐

신품으로 로컬 LLM용 카드를 고를 때 가장 많이 갈리는 지점입니다. 비슷한 가격대에서 VRAM이 큰 쪽과 속도가 빠른 쪽 중 무엇을 살 것인가.

지금까지 이 사이트는 "로컬 LLM은 VRAM이 먼저"라고 계속 말해왔습니다. 그런데 이 두 카드에서는 그 원칙만으로 답이 나오지 않습니다.

4060 Ti 16GB나 4070을 알아보고 계셨다면 — 두 카드는 단종됐습니다. 대응되는 현행 카드가 각각 5060 Ti 16GB와 5070입니다. 자세한 내용은 아래에 정리했습니다.

바로 확인하기

두 카드를 번갈아 골라보시면 어디서 갈리는지 보입니다.

결론부터

쓸 모델 크기가 정합니다. 예산이나 세대가 아닙니다.

두 카드는 강점이 다릅니다

한쪽이 둘 다 앞서지 않습니다. 이게 3090 vs 4070과 다른 점입니다. 그 비교에서는 3090이 VRAM과 대역폭을 둘 다 앞서서 답이 하나였습니다.

여기서는 진짜 맞바꿈입니다.

5060 Ti 16GB  →  더 큰 모델이 들어감      (VRAM +33%)
5070          →  들어간 모델이 더 빠름    (대역폭 1.5배)

모델 크기별로 갈라 보면

Q4 양자화, A4 두세 장 분량 기준입니다.

14B까지는 5070입니다

위 표에서 14B 줄을 보면 둘 다 "여유"입니다.

둘 다 전부 VRAM에 올라가면, 그다음을 정하는 건 대역폭입니다. LLM 추론은 매 토큰마다 모델 가중치를 읽어야 해서 메모리 속도에 묶이기 때문입니다.

5070의 672 GB/s는 5060 Ti의 448 GB/s보다 1.5배 높습니다. 같은 14B 모델을 돌려도 5070이 눈에 띄게 빠릅니다.

VRAM이 먼저라는 원칙은 "모델이 안 들어갈 때" 이야기입니다. 들어가고 나면 그다음은 대역폭입니다. 순서가 있는 것이지 VRAM만 보라는 뜻이 아닙니다.

22B부터 뒤집힙니다

22B는 약 15.1GB가 필요합니다.

5060 Ti 16GB  →  15.1GB 가 16GB 안에      →  빠듯하지만 들어감
5070 12GB     →  3GB 이상이 CPU로          →  느려짐

32B에서는 격차가 더 벌어집니다. 약 21.5GB인데 5070의 12GB로는 절반 가까이가 CPU로 넘어가 실사용이 어렵습니다. 5060 Ti 16GB도 여유롭진 않지만 "느림" 수준으로는 돌아갑니다.

대역폭이 아무리 높아도 안 들어가는 모델을 빠르게 돌릴 수는 없습니다.

⚠️ 5060 Ti는 8GB 버전이 있습니다

이 글에서 가장 중요한 경고입니다.

RTX 5060 Ti에는 8GB와 16GB 두 가지가 있습니다. 이름이 거의 같고 대역폭도 448 GB/s로 완전히 같아서, 게이밍 벤치마크만 보면 차이가 작아 보입니다.

로컬 LLM에서 5060 Ti 8GB는 5060과 같은 자리입니다. 이 글이 5060 Ti를 권하는 이유는 전부 16GB에서 나옵니다. 8GB를 사면 돈을 더 쓰고도 얻는 게 없습니다.

같은 함정이 RTX 3060에도 있었습니다(8GB/12GB). 카드 이름보다 VRAM 숫자가 먼저입니다.

전력과 발열

5060 Ti 16GB가 180W로 5070(250W)보다 낮습니다.

기존 PC에 그냥 꽂으려는 경우 5060 Ti 쪽이 유리합니다. 5070은 250W라 파워서플라이에 여유가 없으면 확인이 필요합니다.

이 구간은 3090(350W)처럼 파워서플라이를 새로 사야 하는 부담까지는 아닙니다.

4060 Ti 16GB, 4070을 보고 계셨다면

두 카드는 단종됐습니다. NVIDIA가 해당 칩 생산을 종료해 재고 소진 단계입니다.

세대가 바뀌면서 같은 VRAM에 대역폭이 크게 올랐습니다. GDDR6X/GDDR6에서 GDDR7로 바뀐 영향입니다.

VRAM은 같은데 대역폭만 올랐습니다. 로컬 LLM에서 이건 그대로 생성 속도 향상입니다. 돌아가는 모델 크기는 같고, 같은 모델이 더 빨라집니다.

중고로 4060 Ti 16GB를 마주쳤다면 VRAM 16GB라는 값어치는 그대로입니다. 다만 신품 5060 Ti 16GB와 가격 차이가 크지 않다면 신품 쪽이 낫습니다. 보증이 있고 대역폭이 1.56배입니다.

둘 다 마음에 안 든다면

5070 Ti가 이 고민의 정답에 가장 가깝습니다. VRAM 16GB에 대역폭 896 GB/s로 두 카드의 장점을 다 가집니다. 예산이 허락한다면 고민할 필요 없이 이쪽입니다.

다만 16GB라는 천장은 같습니다. 32B를 여유롭게 쓰려면 32GB급이 필요합니다.

자주 묻는 질문

대역폭이 1.5배면 속도도 1.5배인가요

그렇지 않습니다. 대역폭은 생성 속도에 가장 큰 영향을 주는 요소지만 유일한 요소는 아닙니다. 모델 구조, 실행 프로그램, 컨텍스트 길이가 함께 작용합니다. "5070이 눈에 띄게 빠르다" 정도로 이해하시면 됩니다.

14B만 쓸 건데 굳이 16GB가 필요할까요

지금 기준으로는 필요 없습니다. 다만 로컬 LLM은 쓰다 보면 더 큰 모델을 원하게 됩니다. 14B에서 만족한다는 확신이 있으면 5070이 낫고, 나중에 22B·32B를 건드릴 것 같으면 5060 Ti 16GB가 그 여지를 남겨줍니다.

5060 Ti 16GB로 32B를 실제로 쓸 만한가요

"느림" 판정입니다. 돌아가긴 하지만 일부가 CPU로 넘어가 답답합니다. 가끔 무거운 작업을 돌리는 용도라면 견딜 만하고, 32B를 상시로 쓸 계획이면 32GB급으로 가야 합니다.

중고 3090 24GB와 비교하면 어떤가요

3090이 VRAM 24GB에 대역폭 936 GB/s로 두 지표 모두 앞섭니다. 대신 350W에 3슬롯이고 중고 리스크가 있습니다. 자세한 비교는 중고 3090 vs 신품 4070에 있습니다.

게이밍을 겸한다면 어느 쪽인가요

게이밍만 보면 5070이 확실히 빠릅니다. 게이밍 비중이 높으면 5070, 로컬 LLM에서 더 큰 모델을 쓰고 싶으면 5060 Ti 16GB입니다.

정리

1. 14B 이하만 쓸 거면 5070입니다. 둘 다 들어가고 5070이 훨씬 빠릅니다
2. 22B 이상을 넘보면 5060 Ti 16GB입니다. 5070은 그 구간에서 느려집니다
3. "VRAM이 먼저"는 모델이 안 들어갈 때 이야기입니다. 들어가면 그다음은 대역폭입니다
4. 5060 Ti 8GB를 사면 의미가 없습니다. 반드시 16GB를 확인하세요
5. 4060 Ti 16GB·4070은 단종입니다. VRAM은 그대로, 대역폭만 올랐습니다

VRAM 용량별 전체 표는 Ollama 최소 사양 정리에 있습니다.

스펙이나 판정이 실제 사용 결과와 다르면 알려주세요. 확인 후 갱신합니다.