LLM 커뮤니티 › 자유게시판

[11편] 2026 로컬 LLM 총정리: 내 PC 메모리별 추천 모델, Ollama·LM Studio·vLLM 선택법, 보안까지

작성자: 관리자A · 게시판: 자유게시판 · 2026-11-19 11:00 · 추천 0 · 댓글 0


먼저 결론

안녕하세요. 이번 11편에서는 개발자분들이 요즘 가장 많이 물어보시는 주제, "내 컴퓨터에서 LLM 돌리려면 뭘 깔고 어떤 모델을 받아야 하나"를 2026년 11월 기준으로 한 번에 정리해 드리겠습니다.

올해 하반기는 로컬 LLM 쪽에 유난히 굵직한 일이 많았습니다. 6월 Gemma 4 12B, 8월 Meta의 Muse Glimmer와 Qwen3.8-27B, 10월 Flint까지 쓸 만한 모델이 전부 Apache 2.0으로 풀렸습니다. 하드웨어 쪽에서도 NVIDIA가 최대 128GB 통합 메모리를 쓰는 RTX Spark 노트북을 10월부터 출시했습니다. 선택지가 늘어난 만큼 헷갈리기도 쉬워서, 기준부터 차근차근 잡아 보겠습니다.

1. 비유로 먼저: 클라우드는 택시, 로컬은 자가용

ChatGPT·Claude 같은 API는 택시입니다. 부르면 오고, 탄 만큼(토큰만큼) 냅니다. 로컬 LLM은 자가용입니다. 처음에 차값(GPU·메모리)이 들지만 이후엔 기름값(전기료)만 들고, 무엇을 싣고 어디로 가는지 아무도 모릅니다.

여기서 중요한 점은 어떤 차를 살지보다 주차장(메모리)이 얼마나 넓은지가 먼저라는 것입니다. 모델이 메모리에 다 들어가지 않으면 시스템 RAM으로 넘쳐서 속도가 몇 분의 1로 떨어집니다. 그래서 로컬 LLM 선택은 항상 "내 VRAM/통합 메모리가 몇 GB냐"에서 시작합니다.

2. 꼭 알아야 할 용어 4가지

용어

뜻

실무에서 의미

파라미터(B)

모델 크기. 27B = 270억 개 숫자

메모리 사용량을 결정

양자화(Q4, Q8…)

숫자를 16비트에서 4~8비트로 줄여 저장

Q4면 원본의 약 1/4 크기. 품질 손실은 생각보다 작음

컨텍스트 / KV 캐시

한 번에 기억하는 대화 길이

길게 쓸수록 메모리를 추가로 먹음 (1편 KV 캐시 글 참고)

MoE (총/활성)

전문가 여러 명 중 일부만 그때그때 일함

총 파라미터 = 메모리, 활성 파라미터 = 속도

어림 계산법 하나만 기억하시면 됩니다. 4-bit 기준 필요한 메모리 ≈ 파라미터(B) × 0.6GB + 컨텍스트 여유 2~6GB. 예를 들어 27B 모델은 약 16GB에 여유분을 더해 24GB 카드가 딱 맞습니다. 실제로 Unsloth는 Qwen3.8-27B 4-bit 권장 GGUF에 17~19GB를 잡으라고 안내합니다.

MoE는 특히 로컬에서 재미있는 구조입니다. Flint는 총 40B지만 토큰마다 2.5B만 계산하기 때문에, 메모리는 40B급으로 먹고 속도는 3B급으로 나옵니다. 반대로 메모리가 부족하면 MoE도 소용이 없습니다.

3. 메모리별 추천 모델 지도

내 메모리

대표 장비

추천 모델

메모

8GB

노트북 내장, 구형 GPU

Gemma 4 E4B, Qwen3.5-4B/9B

요약·분류·간단한 질의응답용

16GB

RTX 5060 Ti 16G, M 시리즈 16GB

gpt-oss-20b, Gemma 4 12B

gpt-oss-20b는 MXFP4로 16GB 안에 들어가도록 설계

24GB

RTX 4090/3090, Mac 24~32GB

Qwen3.8-27B, Muse Glimmer 30B, Gemma 4 26B MoE

현재 가성비가 가장 좋은 구간

32~48GB

RTX 5090, Mac 36~48GB

Flint(코딩), Qwen3.6-35B-A3B, 27B를 Q8로

긴 컨텍스트 에이전트 작업에 여유

96~128GB

Mac Studio, RTX Spark, AI Max+ 미니PC

gpt-oss-120b, Qwen3.5-122B-A10B

대형 MoE를 한 대에서

주의: 표의 메모리는 "모델이 겨우 올라가는" 기준입니다. 코딩 에이전트처럼 컨텍스트를 수만 토큰 이상 쓰면 KV 캐시가 수 GB씩 더 붙습니다. 24GB 카드에 19GB 모델을 올리면 긴 컨텍스트는 사실상 어렵다고 보셔야 합니다.

4. 지금 주목할 모델 한눈에 보기

모델

공개

구조

라이선스

컨텍스트

한 줄 평

Qwen3.8-27B

2026.08.14

27B dense, 텍스트·이미지·영상 입력

Apache 2.0

262K

단일 GPU 범용 1순위

Gemma 4 12B

2026.06.03

12B dense, 인코더 없는 멀티모달(오디오 포함)

Apache 2.0

256K

16GB 노트북 겨냥

gpt-oss-20b

2025.08

21B MoE(활성 3.6B), MXFP4

Apache 2.0

128K

검증된 16GB 선택지

Muse Glimmer

2026.08.10

30B dense, 에이전트 특화

Apache 2.0

128K

Meta가 Llama 4 이후 처음 낸 오픈 웨이트

Flint

2026.10.21

40B MoE(활성 약 2.5B)

Apache 2.0

262K

로컬 코딩 에이전트 전용

Qwen3.6-35B-A3B

2026.04.16

35B MoE(활성 3B)

Apache 2.0

262K

빠른 MoE, 32GB 이상에서

주목할 흐름이 두 가지 있습니다. 첫째, 주요 로컬 모델이 거의 다 Apache 2.0으로 정리됐습니다. Meta도 Llama 커뮤니티 라이선스 대신 Muse Glimmer를 Apache 2.0으로 냈기 때문에, 사내 도입 시 법무 검토가 훨씬 단순해졌습니다. 둘째, 27~30B dense 모델이 "GPU 한 장" 표준 크기로 자리 잡았습니다.

벤치마크는 걸러서 보세요. Flint의 SWE-bench Pro v2 89.7%, Qwen3.8-27B의 에이전트 점수는 모두 제작사 자체 발표입니다. 출시 당시 독립 재현 결과가 없었다는 지적도 있었습니다. 내 코드베이스에서 직접 10~20개 작업을 돌려 보는 게 가장 정확합니다.

5. 실행 도구: Ollama vs LM Studio vs llama.cpp vs vLLM

도구가 많아 보이지만 구조는 단순합니다. 대부분 llama.cpp(GGUF 포맷) 엔진 위에 편의 기능을 얹은 형태이고, 서버용으로는 vLLM·SGLang이 따로 있습니다.

도구

최신 버전(11월 기준)

장점

이런 분께

Ollama

0.40.16 (11/9 안정판)

명령어 한 줄, OpenAI 호환 API, 모델 라이브러리

앱·에이전트에 붙이려는 개발자

LM Studio

0.4.28 (10/31)

GUI로 검색·비교, 0.4부터 병렬 요청·헤드리스 서버

모델 이것저것 써 보고 싶은 분, 비개발 동료

llama.cpp

상시 업데이트

양자화·GPU/CPU 분할을 가장 세밀하게 조정

성능을 끝까지 짜내고 싶은 분

MLX

상시 업데이트

Apple Silicon 최적화

Mac 사용자 (LM Studio에서도 선택 가능)

vLLM

v0.33.0 (11/2, CUDA 13 전용 빌드)

연속 배칭, 높은 동시 처리량

팀·사내 서버로 여러 명이 동시에 쓸 때

혼자 쓰는 개발 PC에 vLLM을 올릴 이유는 거의 없습니다. 반대로 10명 이상이 동시에 붙는 사내 서버를 Ollama 하나로 버티려 하면 대기열이 길어집니다. "몇 명이 동시에 쓰느냐"로 고르시면 대부분 맞습니다.

5분 시작 가이드 (Ollama)

# 1) 모델 받기 (약 18GB)
ollama pull qwen3.8:27b

# 2) 터미널에서 바로 대화
ollama run qwen3.8:27b

# 3) OpenAI 호환 API로 호출
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3.8:27b","messages":[{"role":"user","content":"안녕"}]}'

기존 OpenAI SDK 코드라면 base_url만 http://localhost:11434/v1로 바꾸면 대부분 그대로 돌아갑니다. 이게 로컬 LLM을 기존 서비스에 붙일 때 가장 편한 지점입니다.

from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
res = client.chat.completions.create(
    model="qwen3.8:27b",
    messages=[{"role": "user", "content": "이 함수 리팩터링해줘"}],
)
print(res.choices[0].message.content)

6. 로컬 코딩 에이전트로 쓰기

요즘 가장 수요가 많은 활용법입니다. Claude Code·Codex 같은 에이전트 도구를 로컬 모델에 연결하면 코드가 회사 밖으로 한 줄도 나가지 않는 코딩 에이전트를 만들 수 있습니다. Unsloth는 아예 한 줄로 연결하는 명령을 제공합니다.

unsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL

실전에서 체감되는 팁 세 가지입니다.

  1. 컨텍스트를 명시적으로 늘리세요. 에이전트는 파일 여러 개를 한꺼번에 읽어서 기본 컨텍스트로는 금방 잘립니다. Ollama는 VRAM 24GiB 미만이면 기본 4K, 24~48GiB면 32K 컨텍스트로 시작하는데, 공식 문서도 에이전트·코딩 도구에는 최소 64K를 권합니다. OLLAMA_CONTEXT_LENGTH=64000 ollama serve처럼 서버를 띄우는 쪽에 설정해야 적용됩니다(클라이언트 셸에만 넣으면 안 먹습니다). 메모리 여유를 꼭 같이 확인하세요.

  2. 코딩 전용이면 MoE가 체감상 빠릅니다. Flint처럼 활성 파라미터가 작은 모델은 같은 장비에서 토큰 생성 속도가 dense 27B보다 훨씬 빠릅니다.

  3. 어려운 작업은 클라우드로 넘기는 하이브리드가 현실적입니다. 로컬 모델이 많이 따라왔지만 최상위 상용 모델과의 격차는 아직 남아 있습니다. 반복적이고 민감한 작업은 로컬, 큰 설계 판단은 API로 나누는 팀이 많습니다.

7. 보안: 로컬이라고 안전한 게 아닙니다

로컬 LLM 사고의 대부분은 모델이 아니라 "서버를 밖으로 열어 둔 설정"에서 나옵니다.

체크리스트

항목

해야 할 일

버전

Ollama·LM Studio·llama.cpp 최신 유지 (Ollama는 최소 0.17.1, Windows는 0.17.5 초과)

바인드

외부 공개가 필요 없으면 127.0.0.1 유지

원격 접속

0.0.0.0 대신 Tailscale·VPN이나, 인증 붙인 리버스 프록시(nginx 등) 뒤에 두기

방화벽

11434(Ollama), 1234(LM Studio), 8000(vLLM) 포트 외부 차단 확인

UI 도구

Open WebUI 등은 관리자 계정·회원가입 제한부터 설정

모델 파일

출처 불분명한 GGUF는 받지 않기 (공식·Unsloth·bartowski 등 검증된 저장소 위주)

8. 그래서 뭘 해야 하나: 상황별 추천

상황

추천 조합

이유

맥북 16GB, 처음 써 봄

LM Studio + Gemma 4 12B

설치 5분, GUI로 바로 비교

RTX 4090/5080 데스크톱 개발자

Ollama + Qwen3.8-27B

API로 앱에 붙이기 쉽고 품질이 가장 안정적

로컬 코딩 에이전트

Ollama 또는 llama.cpp + Flint / Qwen3.8-27B

코드 외부 유출 없음, MoE는 빠름

사내 10명 이상 공용 서버

vLLM + Qwen3.8-27B(FP8)

동시 요청 처리량이 압도적

128GB 통합 메모리 장비

LM Studio/llama.cpp + gpt-oss-120b

대형 MoE를 한 대에서

처음 시작하신다면 이 순서를 권해 드립니다.

  1. 내 VRAM/통합 메모리 용량을 확인합니다.

  2. 위 표에서 내 구간의 모델 1개를 고릅니다.

  3. Ollama나 LM Studio로 받아서 평소 쓰던 프롬프트 10개를 돌려 봅니다.

  4. 쓸 만하면 OpenAI 호환 API로 내 도구에 연결합니다.

  5. 외부에서 접속하려면 반드시 인증과 방화벽부터 설정합니다.

9. 자주 묻는 질문

Q. 양자화하면 많이 멍청해지나요?
Q4_K_M이나 Unsloth의 UD-Q4_K_XL 정도면 체감 손실이 작아서 대부분 이 구간을 씁니다. 3비트 이하로 내려가면 코딩·수학에서 차이가 눈에 띄기 시작합니다.

Q. 한국어는 잘 하나요?
Qwen·Gemma 계열은 다국어 학습 비중이 커서 일상 대화와 요약은 무난합니다. 다만 전문 용어나 존댓말 톤은 모델마다 차이가 크니 내 업무 문장으로 직접 테스트해 보시는 걸 권합니다.

Q. GPU 없이 CPU만으로는요?
4B~9B급은 돌아가지만 27B급은 답답할 정도로 느립니다. 이 경우 MoE 모델(활성 파라미터가 작은 모델)이 그나마 현실적입니다.

다음 편에서는 같은 질문 20개를 실제로 돌려서 모델별 속도와 품질을 비교해 보겠습니다. 쓰고 계신 장비와 모델 조합을 댓글로 남겨 주시면 테스트에 반영하겠습니다.


References

  1. QwenLM, Qwen3.8 GitHub (릴리스 내역). https://github.com/QwenLM/Qwen3.8

  2. Unsloth, Qwen3.8 - How to Run Locally. https://unsloth.ai/docs/models/qwen3.8-27b

  3. Google, Introducing Gemma 4 12B. https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12b/

  4. OpenAI, gpt-oss-20b 모델 카드 (Hugging Face). https://huggingface.co/openai/gpt-oss-20b

  5. InfoQ, Meta Muse Glimmer. https://infoq.com/news/2026/08/meta-muse-glimmer

  6. VKTR, Recursive Launches Flint. https://www.vktr.com/ai-platforms/recursive-launches-flint-to-keep-ai-coding-offline-and-on-device/

  7. Ollama 공식 문서, Context length. https://docs.ollama.com/context-length

  8. CERT Polska, CVE-2026-42248/42249. https://cert.pl/en/posts/2026/04/CVE-2026-42248/

  9. Ollama Releases. https://github.com/ollama/ollama/releases

  10. LM Studio Changelog. https://lmstudio.ai/changelog

  11. LM Studio, Introducing LM Studio 0.4.0. https://lmstudio.ai/blog/0.4.0

  12. vLLM Releases. https://github.com/vllm-project/vllm/releases

  13. Bleeding Llama: CVE-2026-7482 정리. https://rits.shanghai.nyu.edu/ai/bleeding-llama-critical-unauthenticated-memory-leak-hits-300000-ollama-servers/

  14. Cloud Security Alliance, Exposed AI Infrastructure. https://labs.cloudsecurityalliance.org/research/csa-research-note-exposed-ai-infrastructure-selfhosted-secur/

  15. Jon Peddie Research, NVIDIA RTX Spark. https://www.jonpeddie.com/news/nvidia-rtx-spark-a-new-beginning-for-windows-pcs/

댓글 0개

아직 댓글이 없어요.

자유게시판의 다른 글