RTX 5090 32GB — 개인용 상한선입니다

이 사이트의 여러 글이 "32GB 로 올라가려면 5090"이라고만 적고 넘어갔습니다. 그 카드가 실제로 무엇을 여는지 정리합니다.

결론부터 말하면, 이 카드의 값어치는 성능이 아니라 천장입니다.

결론부터

RTX 5090
VRAM32GB — 개인용 신품 최대
메모리 대역폭1792 GB/s
TDP575W
32B 모델✅ 여유
70B 모델❌ 여전히 안 됩니다
이런 분답
32B 를 상시로 쓰고 싶다✅ 신품에서는 이것뿐입니다
16GB 로 모자란다✅ 다음 칸이 여기입니다. 사이에 아무것도 없습니다
70B 를 노린다❌ 32GB 로도 안 됩니다. 맥이나 여러 장
14B 면 충분하다❌ 돈이 남는 게 아니라 그냥 남습니다

1. 32GB 가 여는 것 — 32B 한 칸

딱 한 칸 올라갑니다. 그런데 그 한 칸이 큽니다.

Q4 양자화, A4 두세 장 분량 기준입니다.

모델 크기필요 메모리16GB 에서32GB 에서
12~14B약 10.6GB여유여유
20~22B약 15.7GB빠듯여유
32B약 22.2GB느림여유
70B약 46GB불가느림

16GB 에서 "느림"이던 32B 가 "여유"가 됩니다. 여러 글에서 설명한 대로 느림과 여유의 차이는 속도 차이가 아니라 쓸 만한가 아닌가의 차이입니다.

여유 쓸 수 있습니다

RTX 5060 Ti 16GB로 12~14B 모델은 무리 없습니다. 지금 카드를 그대로 쓰시면 됩니다.지금 카드로는 12~14B까지입니다. 더 큰 20~22B 모델까지 돌리려면 RTX 5090(메모리 32GB) 이상이 필요합니다.

이 길이에서는 대부분이 모델 가중치입니다. 짧게 써도 크게 안 줄어듭니다.

필요 10.6GB = 가중치 8.8 + 컨텍스트 0.8 + 여유 1.0 내 카드 16GB

다른 크기도 함께 보기
모델 크기필요 메모리내 카드에서
3B
Llama 3.2 3B, Qwen 3B
3.3GB
가중치 1.9 · 컨텍스트 0.4
여유
전부 그래픽카드 메모리에 올라감
7~8B
Llama 3.1 8B, Qwen 7B
6.5GB
가중치 5.0 · 컨텍스트 0.5
여유
전부 그래픽카드 메모리에 올라감
12~14B
Qwen 14B, Gemma 12B
10.6GB
가중치 8.8 · 컨텍스트 0.8
여유
전부 그래픽카드 메모리에 올라감
20~22B
Mistral Small
15.7GB
가중치 13.9 · 컨텍스트 0.9
빠듯
짧은 내용만 다루면 가능
32B
Qwen 32B, QwQ 32B
22.2GB
가중치 20.2 · 컨텍스트 1.0
느림
일부가 CPU로 넘어가 답답해짐
70B
Llama 3.3 70B
46.4GB
가중치 44.1 · 컨텍스트 1.3
불가
실사용이 어려움
120B+
Mixtral 8x22B급
77.6GB
가중치 75.6 · 컨텍스트 1.0
불가
실사용이 어려움

근사치입니다. 실제로 쓸 모델의 파일 크기는 배포판마다 다릅니다. 경계선에 있다면 한 단계 위 메모리를 택하는 편이 안전합니다.

계산기에서 5090 을 골라 보시면 다른 카드와 어디서 갈리는지 바로 보입니다.

그리고 대역폭도 최상급입니다

1792 GB/s 입니다. 이 사이트가 다룬 것 중 가장 높습니다.

카드별 메모리 대역폭 비교 메모리 대역폭 — 모델이 다 올라간 뒤 속도를 정하는 값 RTX 5090 1792 GB/s RTX 5070 672 GB/s M5 Max (상위) 614 GB/s RTX 5060 Ti 448 GB/s M5 Pro 307 GB/s M5 153 GB/s 용량이 "되느냐" 를 정하고, 대역폭이 "얼마나 빠르냐" 를 정합니다.
같은 모델이 둘 다 VRAM 에 올라간다면, 그다음은 이 값이 체감을 가릅니다.

모델이 다 올라간 다음에는 이 값이 체감을 정합니다. 같은 32B 를 돌려도 5090 이 눈에 띄게 빠릅니다.

2. 32GB 가 못 여는 것 — 70B

여기서 실망하는 분이 많습니다.

70B 급은 Q4 로도 40GB 를 넘습니다. 32GB 로는 못 올립니다.

70B (Q4)  약 46GB  →  32GB 카드에서도 14GB 가 CPU 로

계산기는 이 조합을 "느림"으로 판정합니다. 넘치는 양이 VRAM 의 1.5 배 안이라서입니다. 다만 14GB 가 CPU 로 넘어간 "느림"은 실사용이 어렵습니다. 판정 용어는 경계를 나누는 기준이지 쓸 만함을 보장하지 않습니다.

즉 "제일 비싼 걸 사면 다 되겠지"가 안 통합니다. 개인용 신품 그래픽카드는 32GB 에서 끝나고, 그 위는 다른 길로 가야 합니다.

70B 를 노린다면
맥 통합메모리 128GB가장 현실적입니다. 맥 글
카드 여러 장됩니다. 다만 속도는 안 합쳐집니다
32GB 한 장❌

용량이 필요하면 맥, 속도가 필요하면 그래픽카드 — 이 사이트가 반복해 온 갈림길이 여기서 가장 뚜렷해집니다.

3. 575W 라는 대가

이 카드의 진짜 문제는 값이 아니라 전력일 수 있습니다.

RTX 5090RTX 5070 Ti
TDP575W300W
VRAM32GB16GB

파워서플라이

카드만 575W 입니다. CPU 와 나머지를 더하고 여유를 얹으면 1000W 급을 봐야 합니다. 기존 파워로는 대개 안 되고, 교체 비용이 따라옵니다.

그리고 W 만 맞으면 되는 게 아닙니다. 12V-2x6 커넥터가 없으면 못 꽂습니다 — 계산식과 커넥터 조건은 그래픽카드 파워 용량에 있습니다.

발열과 소음

575W 는 그대로 열입니다. 케이스 통풍이 나쁘면 온도가 올라가고, 팬이 그만큼 돕니다. 조용한 방에서 오래 돌리실 거라면 감안하셔야 합니다.

무게도 이 급에서는 확인 대상입니다 — 쿨러가 커서 끝이 처지는 카드들이라 지지대가 필요한 경우를 함께 보세요.

전기요금

하루 두 시간이면 큰 부담이 아닙니다. 문제는 오래 켜둘 때입니다.

575W × 24시간 × 30일 ≈ 414 kWh

그래픽카드 하나만으로 누진 3단계 경계(400kWh)를 넘깁니다. 집에서 쓰는 다른 전기는 넣지도 않은 숫자입니다. 계산과 확인처는 로컬 LLM 전기요금에 정리했습니다.

4. 그 아래와 비교하면

5090 아래는 전부 16GB 입니다. 이게 중요합니다.

카드VRAM대역폭돌아가는 모델
RTX 5060 Ti 16GB16GB448 GB/s14B 여유
RTX 5070 Ti16GB896 GB/s14B 여유
RTX 508016GB960 GB/s14B 여유
RTX 509032GB1792 GB/s32B 여유

위 세 줄은 돌아가는 모델이 전부 같고 속도만 다릅니다. 줄이 바뀌는 건 5090 하나뿐입니다.

그래서 5070 Ti vs 5080에서 "5080 에 돈을 더 쓰는 대신 32GB 로 한 번에 올라가는 편이 낫다"고 적었습니다. 그 사이에는 아무것도 없습니다.

5. 중고 24GB 는 어떤가

32B 를 노린다면 24GB 도 후보입니다. 3090·4090 이 여기 있습니다.

3090 (중고)5090 (신품)
VRAM24GB32GB
32B (22.2GB)빠듯여유
대역폭936 GB/s1792 GB/s
TDP350W575W
보증없음있음

24GB 에서 32B 는 "빠듯"입니다. 긴 내용을 다루면 밀립니다. 중고 리스크와 함께 판단하셔야 하고, 자세한 내용은 중고 3090 글에 있습니다.

6. 그래서 살 만한가

"32B 를 상시로 쓸 것인가" 하나로 갈립니다.

32B 를 매일 쓴다            →  신품에서는 이것뿐입니다
가끔 무거운 걸 돌린다       →  16GB 에서 "느림" 으로 견딜 만합니다
14B 로 충분하다             →  [5060 Ti 16GB 나 5070]로 갑니다
70B 를 노린다               →  이 카드로도 안 됩니다. 맥을 보세요

14B 면 충분한데 "나중을 위해" 사는 것은 권하지 않습니다. 이 사이트가 노트북 메모리에서는 "애매하면 한 단계 위"라고 적었는데, 그래픽카드는 나중에 바꿀 수 있어서 이야기가 다릅니다.

신품 중급 구간 비교는 5060 Ti 16GB vs 5070에 있습니다.

자주 묻는 질문

5090 이면 70B 가 돌아가나요

안 됩니다. 70B 는 Q4 로도 40GB 를 넘습니다. 개인 장비에서 70B 를 돌리는 현실적인 길은 맥 통합메모리 128GB입니다.

5090 두 장이면 64GB 인가요

총량은 늘어납니다. 다만 속도가 합쳐지지 않고 파워가 1150W 를 넘습니다. 그래픽카드 두 장에 정리했습니다.

노트북용 5090 도 32GB 인가요

아닙니다. 노트북 5090 은 24GB 입니다. 이름은 같지만 다른 물건입니다. 표는 로컬 LLM 되는 노트북 고르기에 있습니다.

파워를 몇 W 로 잡아야 하나요

카드만 575W 이므로 나머지와 여유를 더해 1000W 급을 봅니다. 기존 파워로 되는 경우가 드물어 교체 비용을 함께 계산하셔야 합니다. 계산식과 12V-2x6 커넥터 조건은 그래픽카드 파워 용량에 있습니다.

시스템 램도 늘려야 하나요

32B 가 VRAM 에 다 올라간다면 램은 16GB 로도 됩니다. 램 요구량은 VRAM 을 얼마나 넘기느냐가 정합니다.

게이밍 성능은요

이 글은 로컬 LLM 기준으로만 썼습니다. 게이밍을 겸하신다면 그쪽 리뷰를 함께 보세요.

정리

  1. 32GB 는 개인용 신품의 천장입니다. 그 위가 없습니다
  2. 여는 것은 32B 한 칸입니다. 16GB 의 "느림"이 "여유"가 됩니다
  3. 70B 는 여전히 안 됩니다. 그건 맥이나 여러 장의 영역입니다
  4. 575W 가 실질적인 대가입니다. 파워 교체와 전기요금이 따라옵니다
  5. 5090 아래는 전부 16GB 입니다. 사이에 아무것도 없습니다
  6. 14B 로 충분하면 사지 마세요. 그래픽카드는 나중에 바꿀 수 있습니다

스펙이나 판단이 실제와 다르면 알려주세요. 확인 후 갱신합니다.

RTX5090 VRAM 로컬LLM 32GB 파워서플라이