Ollama 설치부터 첫 대화까지 — 명령어 두 줄

시작 가이드에서 내 장비로 뭐가 되는지 확인하셨다면, 이제 실제로 돌려볼 차례입니다.

Ollama가 가장 빠른 길입니다. 설치하고 명령어 두 줄이면 대화가 시작됩니다.

1. 설치

ollama.com 에서 내려받아 실행하면 됩니다.

설치가 끝나면 백그라운드에서 서버가 돌아갑니다. 창이 뜨지 않아도 정상입니다.

확인하려면 터미널(윈도우는 명령 프롬프트나 PowerShell)에서:

ollama --version

버전이 찍히면 설치된 것입니다.

2. 모델 받기

여기가 실제로 판단이 필요한 유일한 지점입니다.

먼저 내 그래픽카드 메모리를 확인하고, 아래에서 맞는 줄을 고르세요.

태그를 붙이지 않으면 기본 크기가 받아집니다. 크기를 직접 정하는 편이 안전합니다.

용량이 꽤 큽니다. 8B가 약 4.7GB, 14B가 약 9GB입니다. 받는 동안 진행률이 표시됩니다.

내 조합에서 어떤 크기가 맞는지는 아래에서 바로 확인하실 수 있습니다.

3. 대화

ollama run qwen2.5:7b

프롬프트가 뜨면 그냥 한국어로 물어보시면 됩니다. 나가려면 /bye 를 입력하거나 Ctrl + D 를 누릅니다.

run 은 모델이 없으면 알아서 받습니다. 그래서 사실 2번을 건너뛰고 바로 run 만 해도 됩니다. 다만 어떤 크기를 받는지 모른 채 받게 되므로 크기를 정해서 받는 편을 권합니다.

알아두면 좋은 명령어

용량이 금방 찹니다. 이것저것 받아보다 보면 수십 GB가 됩니다. ollama list 로 확인하고 안 쓰는 건 rm 하세요.

어떤 모델을 고르나

처음에는 qwen2.5 계열로 시작하는 편이 무난합니다. 한국어가 잘 되는 편입니다.

크기를 먼저, 종류는 나중에 고르세요. 내 장비에 안 들어가는 모델은 아무리 좋아도 의미가 없습니다.

모델 목록과 실제 용량은 ollama.com/library 에서 볼 수 있습니다.

잘 안 될 때

답변이 한 글자씩 나옵니다

모델이 VRAM에 다 안 들어간 상태입니다. 일부가 CPU로 넘어가 느려진 것입니다. 더 작은 모델을 받으면 해결됩니다.

어느 크기가 맞는지는 Ollama 최소 사양 정리에 있습니다.

처음엔 빨랐는데 점점 느려집니다

대화가 길어질수록 메모리를 더 씁니다. 어느 순간 VRAM을 넘기면서 느려집니다. /bye 로 나갔다가 새로 시작하면 돌아옵니다.

그래픽카드를 안 쓰는 것 같습니다

작업 관리자에서 GPU 사용률을 보세요. 0%에 가깝다면 CPU로만 돌고 있는 것입니다. 그래픽카드 드라이버가 최신인지 확인해 보세요.

용량이 부족하다고 나옵니다

디스크 공간 문제입니다. ollama list 로 받아둔 모델을 확인하고 안 쓰는 것을 ollama rm 으로 지우세요.

자주 묻는 질문

인터넷이 필요한가요

모델을 받을 때만 필요합니다. 받고 나면 인터넷 없이 돌아갑니다.

내 대화 내용이 밖으로 나가나요

나가지 않습니다. 전부 내 컴퓨터 안에서 처리됩니다. 이게 로컬 LLM을 쓰는 가장 큰 이유입니다.

여러 모델을 동시에 쓸 수 있나요

받아두는 건 용량만 있으면 됩니다. 다만 동시에 메모리에 올리면 VRAM을 나눠 써서 둘 다 느려집니다. 하나씩 쓰는 편이 낫습니다.

명령어 말고 화면으로 쓰고 싶습니다

Ollama와 연결되는 채팅 화면 프로그램들이 있습니다. Ollama를 먼저 설치해두면 그런 프로그램들이 자동으로 붙습니다.

모델을 지우면 다시 받아야 하나요

네. 다시 받아야 합니다. 자주 쓰는 모델은 남겨두세요.

정리

1. 설치하고 ollama run 모델명 이면 시작됩니다
2. 판단이 필요한 건 모델 크기 하나입니다. 내 VRAM에 맞춰 고르세요
3. 답변이 한 글자씩 나오면 모델이 너무 큰 것입니다
4. 대화가 길어져 느려지면 새로 시작하면 됩니다
5. 용량이 금방 차니 ollama list 로 정리하세요

내 장비로 뭐가 되는지 아직 확인 전이라면 시작 가이드부터 보세요.

절차가 실제와 다르면 알려주세요. 확인 후 갱신합니다.