스펙핏 내 조건에 맞는 스펙

AMD 라데온으로 로컬 LLM — 되긴 되는데 손이 갑니다

이 사이트의 글은 대부분 NVIDIA 기준으로 쓰여 있습니다. 이유가 있습니다. 로컬 LLM 도구들이 NVIDIA 를 먼저 지원하고, 나머지는 나중에 따라옵니다.

그런데 이미 라데온을 쓰고 계신 분도 있고, 같은 VRAM 에 더 싼 카드를 보고 계신 분도 있습니다. 그래서 정리합니다.

결론부터

AMD 라데온NVIDIA
돌아가는 모델 크기VRAM 이 정함 — 같습니다같습니다
생성 속도의 원리대역폭이 정함 — 같습니다같습니다
실행 프로그램 지원⚠️ 카드·운영체제에 따라 갈림사실상 표준
설치 난이도손이 갑니다대체로 그냥 됩니다
문제가 생겼을 때자료가 적습니다자료가 많습니다
상황판단
이미 라데온이 있다✅ 시도해 보세요. 잃을 게 없습니다
로컬 LLM 때문에 새로 산다⚠️ NVIDIA 가 마찰이 적습니다
게이밍 위주 + 가끔 LLM✅ 라데온으로도 충분합니다
문제 생기면 스스로 못 고친다❌ NVIDIA 쪽이 편합니다

하드웨어가 나쁜 게 아닙니다. 소프트웨어 생태계가 기울어져 있는 것입니다.

1. 하드웨어 규칙은 완전히 같습니다

이 사이트가 반복해 온 두 가지가 제조사와 무관하게 성립합니다.

① VRAM 이 "되느냐"를 정합니다

16GB 라데온과 16GB 지포스는 올라가는 모델 크기가 같습니다. 모델 파일이 VRAM 에 들어가느냐 아니냐의 문제라, 로고와 상관이 없습니다.

② 대역폭이 "얼마나 빠르냐"를 정합니다

매 토큰마다 모델 전체를 읽어야 하므로 메모리를 얼마나 빨리 읽느냐가 속도를 정합니다. 이것도 같습니다.

계산기에 라데온 항목은 없습니다. 넣지 않은 이유가 있습니다 — 이 계산기는 "지금 살 카드"를 추천하는데, 지원 여부가 카드마다 갈리는 것을 그냥 권하면 안 되기 때문입니다.

내 라데온의 VRAM 을 확인하고, 같은 용량의 카드를 골라 보시면 판정은 같습니다.

2. 갈리는 건 소프트웨어입니다

그래픽카드에게 계산을 시키려면 그 카드에 맞는 통로가 필요합니다. NVIDIA 의 통로(CUDA)가 사실상 표준이 되어 있고, 도구들이 거기 먼저 맞춥니다.

통로어디에
CUDANVIDIA. 거의 모든 도구가 여기부터 지원합니다
ROCmAMD 의 대응 통로. 지원 카드와 운영체제가 정해져 있습니다
Vulkan제조사를 안 가리는 통로. 넓게 되지만 최적화는 덜합니다

AMD 가 못 돌리는 게 아니라, 어느 통로로 갈지를 사용자가 알아야 하는 상황입니다. NVIDIA 는 그 고민이 없습니다.

그래서 실제로 겪는 차이

  • 설치할 때 추가 구성 요소를 깔아야 하는 경우가 있습니다
  • 내 카드가 지원 목록에 있는지 확인해야 합니다
  • 운영체제에 따라 다릅니다. 리눅스 쪽 지원이 먼저 갖춰지는 경향이 있습니다
  • 막혔을 때 검색해도 자료가 적습니다. 이게 은근히 큽니다

3. 사기 전에 확인할 것

"라데온 되나요"가 아니라 "내 카드가 되나요"입니다. 같은 라데온이라도 갈립니다.

확인어디서
내 카드가 지원 목록에 있나쓰려는 실행 프로그램의 공식 문서
내 운영체제가 지원되나같은 곳. 윈도우와 리눅스가 다릅니다
별도로 깔 것이 있나같은 곳의 설치 안내

⚠️ 이 글에 지원 카드 목록을 적지 않았습니다. 분기 단위로 바뀌기 때문입니다. 목록을 여기 박아두면 몇 달 뒤 이 글이 거짓말이 됩니다. 쓰려는 도구의 공식 문서에서 직접 확인하세요.

설치 절차 자체는 Ollama 설치 가이드와 크게 다르지 않습니다. 다른 건 그 앞 단계입니다.

4. 이미 라데온을 갖고 계시다면

그냥 해보세요. 드는 비용이 시간뿐입니다.

1. 내 카드 VRAM 확인
2. 그 VRAM 에 맞는 크기의 모델을 고름 (위 계산기)
3. 실행 프로그램 문서에서 내 카드·OS 지원 확인
4. 안내대로 설치
5. 작업 관리자에서 GPU 사용률이 올라가는지 확인

5번이 중요합니다. GPU 사용률이 0% 에 가까우면 CPU 로만 돌고 있는 것이고, 그러면 매우 느립니다. 설치는 됐는데 카드를 못 쓰고 있는 상태가 가장 헷갈립니다.

5. 새로 사신다면

로컬 LLM 이 주 목적이면 NVIDIA 를 권합니다. 성능이 아니라 마찰 때문입니다.

같은 VRAM 이면 결과가 같은데, 거기 도달하기까지 손이 더 갑니다. 그 시간을 아끼는 값이라고 보시면 됩니다.

다만 게이밍이 주 목적이고 로컬 LLM 은 가끔이라면 이야기가 다릅니다. 그때는 게이밍 성능과 가격으로 고르시고, LLM 은 되는 만큼 쓰시면 됩니다.

신품 NVIDIA 쪽 기준은 5060 Ti 16GB vs 5070에 정리했습니다.

6. 인텔 Arc 와 내장그래픽은

Arc 도 사정이 비슷합니다. 지원이 붙고 있지만 NVIDIA 만큼 매끄럽지는 않습니다. 확인 절차는 위와 같습니다 — 카드와 운영체제를 문서에서 대조하세요.

내장그래픽은 다른 이야기입니다. 제조사와 무관하게 권하지 않습니다. 전용 메모리가 없어 시스템 램을 나눠 쓰고, 그러면 대역폭이 낮습니다. 이유는 CPU 로 돌리면 얼마나 느린가에 계산해 뒀습니다.

자주 묻는 질문

라데온이 같은 값에 VRAM 이 더 큰데요

VRAM 이 크면 더 큰 모델이 올라갑니다. 그건 사실입니다. 다만 지원 여부를 먼저 확인하셔야 합니다. 안 돌아가는 16GB 는 8GB 보다 못합니다.

지원 목록에 없는 카드는 아예 안 되나요

되는 경우도 있습니다. 제조사가 공식 보증하지 않을 뿐입니다. 다만 문제가 생겼을 때 기댈 곳이 없다는 뜻이라, 처음 시작하시는 분께는 권하지 않습니다.

윈도우와 리눅스 중 어느 쪽이 나은가요

일반적으로 리눅스 쪽 지원이 먼저 갖춰지는 경향이 있습니다. 다만 상황이 계속 바뀌므로 쓰려는 도구의 문서에서 지금 기준으로 확인하세요.

라데온과 지포스를 같이 꽂으면요

권하지 않습니다. 서로 다른 통로를 쓰기 때문에 함께 묶기가 까다롭습니다. 같은 제조사 카드를 두 장 꽂는 것도 이득이 크지 않습니다 — 그래픽카드 두 장에 정리했습니다.

맥은 어떤가요

맥은 또 다른 통로(Metal)를 쓰고, 지원이 잘 되어 있습니다. 대신 대역폭과 용량의 성격이 달라 계산이 다릅니다 — 맥 통합메모리 글을 보세요.

전기요금은 차이가 나나요

카드의 소비 전력만큼 차이가 납니다. 제조사가 아니라 그 카드의 TDP 를 보세요. 계산법은 로컬 LLM 전기요금에 있습니다.

정리

  1. VRAM 과 대역폭 규칙은 제조사와 무관하게 같습니다
  2. 갈리는 건 실행 프로그램의 지원 범위입니다
  3. "라데온 되나요"가 아니라 "내 카드가 되나요"입니다. 공식 문서에서 확인하세요
  4. 이미 갖고 계시면 해보세요. 드는 비용이 시간뿐입니다
  5. 로컬 LLM 때문에 새로 산다면 NVIDIA 가 마찰이 적습니다
  6. 설치 후 GPU 사용률이 올라가는지 꼭 확인하세요

지원 상황이 바뀌었거나 실제 결과가 다르면 알려주세요. 이 글은 특히 빨리 낡습니다. 확인 후 고치고 갱신일을 표시합니다.

AMD 라데온 ROCm 로컬LLM 인텔Arc