미니PC로 로컬 LLM — 사양표의 대역폭 한 줄로 판정됩니다

"미니PC로 로컬 AI 서버를 만들었다"는 글과 영상이 부쩍 늘었습니다. 그걸 보고 미니PC를 알아보면 바로 막힙니다 — 손바닥만 한 건 똑같이 생겼는데, 어떤 건 되고 어떤 건 안 된다고 합니다.

둘 다 사실입니다. 미니PC라는 한 이름 아래 급이 다른 물건이 섞여 있기 때문이고, 갈림선은 사양표의 한 줄 — 메모리 대역폭입니다.

결론부터

내 미니PC(또는 사려는 것)가 어느 급인지는 아래 계산으로 확인됩니다.

왜 하필 대역폭인가

이 사이트가 반복해 온 구조입니다 — LLM 은 한 토큰을 만들 때마다 모델 전체를 메모리에서 읽습니다. 그래서 속도는 계산 능력이 아니라 메모리를 얼마나 빨리 읽느냐가 정합니다.

그래픽카드 데스크톱은 이 일을 VRAM(수백 GB/s~)이 합니다. 그런데 미니PC에는 외장 그래픽카드가 없으니, 시스템 램이 그 일을 대신합니다. 시스템 램의 대역폭이 곧 그 미니PC의 로컬 LLM 성능인 셈입니다.

세 급의 대역폭 — 전부 계산됩니다

램 대역폭은 사양표에 직접 안 적혀 있는 경우가 많지만, 램 규격에서 계산됩니다 (그래픽카드 없이 돌리면 왜 느린가와 같은 식입니다):

대역폭 = 전송 속도(MT/s) × 8바이트 × 채널 수

저가형:   DDR5-4800 × 8 × 1채널  =  38.4 GB/s
일반형:   DDR5-5600 × 8 × 2채널  =  89.6 GB/s
통합메모리 급: LPDDR5X-8000 × 32바이트(256bit) = 256 GB/s

참고 축과 나란히 놓으면 급 차이가 보입니다.

• 저가형(N 계열)은 채널이 하나뿐이라 일반형의 절반도 안 됩니다. 문서·미디어 서버로는 좋은 물건이지만 로컬 LLM 용도로는 접는 게 맞습니다
• 일반 미니PC는 노트북·데스크톱의 시스템 램과 같은 급입니다 — 즉 "그래픽카드 없는 컴퓨터에서 되는 만큼" 됩니다
• 통합메모리 급은 램을 CPU 옆에 붙여 버스를 넓힌 구조로, 맥의 통합메모리와 같은 발상입니다. 대역폭과 함께 메모리를 크게(최대 128GB 급) 실을 수 있다는 것이 핵심이라, 그래픽카드 VRAM 에 안 들어가는 중대형 모델이 "돌아는 가는" 자리가 여기 생깁니다

얼마나 느린지도 계산됩니다 — 상한 공식

생성 속도의 이론 상한은 나눗셈 하나입니다.

초당 토큰 상한 ≈ 대역폭 ÷ 모델 파일 크기

일반형에서 8B(Q4, 약 5GB):    89.6 ÷ 5  ≈ 18토큰/초 상한
통합메모리 급에서 70B(약 44GB): 256 ÷ 44 ≈ 6토큰/초 상한

실제는 이보다 낮습니다 — 상한은 "아무리 잘해도 이 위로는 못 간다"는 선입니다. 그래도 판단에는 충분합니다:

• 일반 미니PC에서 8B 모델은 느리지만 체험 가능한 범위입니다. 읽는 속도보다 조금 빠른 정도의 생성을 감내할 수 있다면요
• 통합메모리 급에서 70B 는 돌아가지만 대화용으로는 인내가 필요한 속도입니다. "돌릴 수 있다"와 "쓸 만하다"가 갈리는 지점이고, 밤새 일괄 처리처럼 속도가 덜 중요한 작업과 궁합이 맞습니다

사기 전 확인 절차 — 사양표 세 줄

1. CPU 이름 — N 으로 시작하는 저가 계열이면 이 용도로는 제외
2. 램 규격과 채널 — "DDR5 SO-DIMM 슬롯 2"면 듀얼 채널 가능 (두 장을 꽂아야 듀얼입니다). "LPDDR5X 온보드"면 대역폭이 규격에 고정돼 있으니 위 식으로 계산해 보세요
3. 메모리 대역폭 표기 — 통합메모리 급은 대개 사양표에 GB/s 를 직접 적습니다. 이 숫자가 안 보이는 제품은 대부분 일반형입니다

탈출구 — eGPU 라는 선택지

USB4·썬더볼트 단자가 있는 미니PC라면 외장 그래픽카드(eGPU)를 붙이는 길도 있습니다. 추론은 VRAM 안에서 끝나는 작업이라 외장 연결의 대역폭 손해를 거의 안 탄다는 것이 그 글의 결론이고, 미니PC에도 그대로 적용됩니다. 다만 비용을 더하면 처음부터 그래픽카드 데스크톱과 비교하는 것이 순서입니다.

아래 계산기의 그래픽카드 목록에는 통합메모리 미니PC 항목(32·64·128GB)도 있습니다 — 골라 보면 어떤 크기의 모델이 들어가는지 바로 나옵니다.

자주 묻는 질문

NPU 가 달려 있으면 빠른가요

생성 속도는 아닙니다. NPU 는 계산을 거드는 장치인데, 위에서 본 대로 생성 속도를 막는 건 계산이 아니라 메모리 읽기입니다. 같은 대역폭이면 NPU 유무와 무관하게 상한이 같습니다.

램을 큰 걸로 바꾸면 빨라지나요

용량은 "돌아가느냐"를, 대역폭은 "얼마나 빠르냐"를 정합니다 — 맥 글의 그 구분 그대로입니다. 용량을 키워도 대역폭은 안 변합니다. 빨라지는 경우는 하나 — 한 장만 꽂혀 있던 걸 두 장으로 만들어 듀얼 채널이 될 때입니다.

맥 미니는 어느 급인가요

구조상 통합메모리 급입니다. 칩별 대역폭과 용량 조합은 맥 통합메모리 글에 표로 있습니다.

AI 전용이라고 파는 소형 컴퓨터도 있던데요

같은 판단 축입니다. 이름이 뭐든 메모리 용량과 대역폭(GB/s) 두 숫자를 사양표에서 찾아 위 표에 놓아 보면 급이 나옵니다.

서버로 쓸 거라 속도는 상관없는데요

그렇다면 미니PC의 강점(전기·소음·자리)이 살아나는 자리가 맞습니다 — 개발용 미니PC 글의 상시 가동 절이 그 이야기입니다. 다만 요청이 들어올 때마다 기다리는 건 사용자라, "배치 처리는 느려도 되고, 대화는 느리면 못 쓴다"로 갈라 생각하세요.

정리

1. 미니PC의 로컬 LLM 은 메모리 대역폭 한 줄로 판정됩니다 — 저가형 38 / 일반형 90 / 통합메모리 급 256 GB/s
2. 대역폭은 램 규격에서 계산됩니다: 전송 속도 × 8바이트 × 채널
3. 속도 상한도 계산됩니다: 대역폭 ÷ 모델 크기 — 실제는 그보다 낮습니다
4. 일반 미니PC = 작은 모델 체험까지, 중대형 모델은 통합메모리 급의 영역입니다. "돌아간다"와 "쓸 만하다"를 갈라 판단하세요
5. USB4 가 있으면 eGPU 탈출구가 있고, 거기까지 가면 그래픽카드 데스크톱과 비교가 순서입니다

로컬 LLM 이 처음이면 용어 없이 읽는 시작 가이드부터, 지금 장비로 뭐가 되는지는 위 계산기로 확인하세요.

계산이나 급 구분이 실제와 다르면 알려주세요. 확인 후 갱신합니다.