스펙핏 — 내 조건에 맞는 스펙

내 그래픽카드로 어떤 크기의 AI 모델이 돌아가는지 30초면 확인됩니다.

여유 쓸 수 있습니다

RTX 5060 Ti 16GB로 12~14B 모델은 무리 없습니다. 지금 카드를 그대로 쓰시면 됩니다.지금 카드로는 12~14B까지입니다. 더 큰 20~22B 모델까지 돌리려면 RTX 5090(메모리 32GB) 이상이 필요합니다.

이 길이에서는 대부분이 모델 가중치입니다. 짧게 써도 크게 안 줄어듭니다.

필요 10.6GB = 가중치 8.8 + 컨텍스트 0.8 + 여유 1.0 내 카드 16GB

다른 크기도 함께 보기
모델 크기필요 메모리내 카드에서
3B
Llama 3.2 3B, Qwen 3B
3.3GB
가중치 1.9 · 컨텍스트 0.4
여유
전부 그래픽카드 메모리에 올라감
7~8B
Llama 3.1 8B, Qwen 7B
6.5GB
가중치 5.0 · 컨텍스트 0.5
여유
전부 그래픽카드 메모리에 올라감
12~14B
Qwen 14B, Gemma 12B
10.6GB
가중치 8.8 · 컨텍스트 0.8
여유
전부 그래픽카드 메모리에 올라감
20~22B
Mistral Small
15.7GB
가중치 13.9 · 컨텍스트 0.9
빠듯
짧은 내용만 다루면 가능
32B
Qwen 32B, QwQ 32B
22.2GB
가중치 20.2 · 컨텍스트 1.0
느림
일부가 CPU로 넘어가 답답해짐
70B
Llama 3.3 70B
46.4GB
가중치 44.1 · 컨텍스트 1.3
불가
실사용이 어려움
120B+
Mixtral 8x22B급
77.6GB
가중치 75.6 · 컨텍스트 1.0
불가
실사용이 어려움

근사치입니다. 실제로 쓸 모델의 파일 크기는 배포판마다 다릅니다. 경계선에 있다면 한 단계 위 메모리를 택하는 편이 안전합니다.

처음이신가요? 시작 가이드

골라 읽기 좋은 글

새로 쓴 글

전체 200편은 위 카테고리에서 볼 수 있습니다. 찾는 것이 있으면 검색을 쓰세요.