내 컴퓨터에서 AI 돌리기, 무엇부터 준비할까

내 컴퓨터에서 AI를 쓰려면 세 가지가 필요하다. 모델을 돌려 주는 실행 프로그램, 모델 파일, 그리고 이를 감당할 메모리와 저장 공간이다. Ollama나 LM Studio를 설치하면 모델을 내려받아 바로 대화할 수 있다. LM Studio는 모델을 미리 받아 두면 인터넷이 없어도 채팅과 문서 대화 같은 핵심 기능을 쓸 수 있다.

내 컴퓨터에서 돌린다는 게 뭘까

로컬 AI는 내 컴퓨터에 내려받은 모델을 직접 실행하는 방식이다. 음악 파일을 기기에 저장해 재생하는 모습을 떠올리면 쉽다. 실행 프로그램만 설치했다고 준비가 끝나지는 않는다. 실제로 쓸 모델 파일도 따로 받아야 한다.

여기서 프로그램 이름과 실행 장소를 구분해야 한다. Ollama는 내 컴퓨터에서 돌리는 모델뿐 아니라 클라우드 모델도 함께 내놓았다. 그래서 Ollama를 쓴다는 사실만으로 AI가 내 컴퓨터에서 돌아간다고 볼 수는 없다. 이 글에서 말하는 컴퓨터 내 실행은 로컬 모델을 고른 경우다.

가장 먼저 해볼 일은 모델과 대화하는 것이다. LM Studio에서는 문서를 첨부해 그 내용을 바탕으로 대화할 수도 있다. 다른 프로그램에 AI를 붙여 쓰는 기능도 있지만, 입문 단계에서는 채팅부터 시작해도 된다.

내 컴퓨터에 설치할 수 있을까

2026년 9월 기준으로 두 도구 모두 macOS, Windows, Linux를 지원한다. 다만 세부 조건이 다르다. 특히 Mac은 운영체제 버전과 함께 칩 종류도 확인해야 한다.

Intel Mac을 쓴다면 이 차이가 도구 선택을 좌우한다. LM Studio는 아예 지원하지 않고, Ollama는 CPU로 실행할 수 있다. Windows에서 LM Studio를 고른다면 CPU가 AVX2라는 명령어 규격을 지원하는지 확인해야 한다.

저장 공간도 따로 살펴야 한다. Ollama의 Windows 설치 파일만 해도 최소 4GB가 필요하다. 이는 모델까지 포함한 용량이 아니다. 내려받을 모델 파일을 둘 공간은 별도로 확보해야 한다.

메모리는 얼마나 필요할까

메모리 용량만 보고 모든 모델을 돌릴 수 있는지 판단하기는 어렵다. 실제 필요한 양은 모델 파일과 실행 설정에 따라 달라진다. 프로그램의 권장 사양과 특정 모델의 메모리 안내도 나눠서 읽어야 한다.

2026년 9월 기준 LM Studio는 Mac에서 메모리 16GB 이상을 권장한다. 메모리가 8GB라면 작은 모델을 고르고, 한 번에 읽을 수 있는 분량을 짧게 설정하라고 안내한다. Windows x64에서는 메모리 16GB 이상과 전용 그래픽 메모리 4GB 이상을 권장한다. 권장 사양은 반드시 맞춰야 하는 최소 조건은 아니다.

모델 크기에 따른 차이는 Ollama의 Llama 2 안내에서 볼 수 있다. 7B 모델은 메모리 최소 8GB, 13B는 16GB, 70B는 64GB를 대략적인 기준으로 제시한다. 여기서 B는 모델 크기를 구분하는 표시다. 이 수치는 Llama 2 기준이라 다른 모델에 그대로 적용할 수는 없다.

실행 전에 필요한 메모리를 미리 가늠하는 방법도 있다. LM Studio는 모델을 불러오기 전에 메모리 사용량을 추정해 준다. 모델 이름이나 크기 표시만 보고 결정하기보다, 실제 쓸 모델과 설정에 맞춰 확인하는 편이 낫다.

처음에는 어떤 순서로 해볼까

처음이라면 모델 검색과 다운로드, 채팅을 앱 안에서 모두 할 수 있는 LM Studio가 편하다. 아래는 메뉴 위치를 따라가는 설명이 아니라 준비와 사용의 순서다.

1. 컴퓨터 조건을 확인한다. 운영체제 버전, 칩 종류, 메모리와 남은 저장 공간을 살핀다.
2. 실행 프로그램을 설치한다. 앞의 지원 조건을 보고 내 컴퓨터에 맞는 도구를 고른다.
3. 모델을 내려받는다. LM Studio에서는 앱 안에서 검색해 받을 수 있다. 메모리가 적다면 작은 모델부터 본다.
4. 채팅으로 시작한다. 모델과 대화해 본 뒤, 필요하면 문서를 첨부해 대화해 본다.

Ollama도 모델을 내려받아 대화하듯 쓸 수 있다. 다른 프로그램에 붙여 쓰고 싶다면, 컴퓨터 안에서 프로그램끼리 연결하는 방식을 쓰면 된다. 두 도구 모두 이런 연결 기능을 갖췄으니 채팅에 익숙해진 뒤 살펴보면 된다.

인터넷 없이 어디까지 쓸까

LM Studio는 모델 파일을 미리 받아 두면 채팅, 문서 대화, 프로그램 연결 같은 핵심 기능을 인터넷 없이 쓸 수 있다. 인터넷이 없는 곳에서 쓸 생각이라면 필요한 모델을 먼저 받아 두는 것이 순서다. 앱 설치와 모델 다운로드는 별개의 준비 과정이라고 기억하면 쉽다.

Ollama에서는 고른 모델이 내 컴퓨터에서 도는 모델인지부터 확인해야 한다. 클라우드 모델도 함께 있기 때문이다. 프로그램을 설치했다는 것과 AI가 컴퓨터 안에서 돌아간다는 것은 다른 이야기다.

시작 전 네 가지만 확인하자

• 내 운영체제와 칩이 프로그램의 지원 대상인지 확인한다.
• 프로그램 설치 공간과 별도로 모델 파일을 저장할 공간을 확보한다.
• 권장 메모리와 고른 모델의 필요 메모리를 각각 살핀다.
• 인터넷 없이 쓸 생각이라면 모델을 미리 받고 실행 방식을 확인한다.

로컬 AI의 시작은 내 컴퓨터에서 돌릴 모델을 직접 준비하는 데 있다. 처음부터 큰 모델을 욕심내기보다, 내 컴퓨터 조건에 맞는 모델로 필요한 일을 해보는 편이 낫다. 익숙해진 다음에 실제로 쓸 모델의 메모리 요구량과 실행 설정을 함께 따져 보면 된다.