G.1 언제 로컬 LLM을 쓰나

안 맞는 경우

• 최고 수준 에이전트(장시간 자율 작업) — Claude Opus 4.7이 여전히 선도
• 아주 적은 호출량 — 하드웨어 고정비가 큼
• 1M 이상 컨텍스트 — 대부분의 오픈 모델은 128k~256k
• 실시간 최신 정보 — 클라우드 모델 + 웹검색 조합이 유리

G.2 2026-04 주목 오픈 모델

※ 한국어 특화/국산은 Hugging Face에서 직접 GGUF를 받아 Ollama Modelfile로 등록하거나 LM Studio로 로드. Apache 2.0/MIT 모델은 상업 사용 자유로움 — 라이선스 확인 필수.

G.3 2026-04 시점의 "체급 vs 체감 품질"

G.4 하드웨어 가이드 (2026-04 갱신)

양자화 포맷: GGUF(범용·CPU+GPU), MLX(Apple Silicon 네이티브), AWQ/GPTQ/EXL2(GPU 최적). 품질 손실: Q8<Q6<Q5<Q4<Q3 (Q4가 사실상 표준).

G.5 실행 도구 선택 (2026-04)

• Ollama — ollama run qwen3 한 줄. OpenAI 호환 API 내장, 구조화 출력·도구 호출 지원. 가장 빠른 시작.
• LM Studio — GUI. GGUF + MLX 듀얼 런타임, RAG 기본 내장, MCP 서버 지원.
• llama.cpp — 저레벨 엔진. 임베디드·커스텀 빌드. 대부분 상위 도구의 코어.
• vLLM — 프로덕션 서버. v0.7+ 에서 구조화 출력(JSON/Grammar)·도구 호출·스페큘러티브 디코딩 강화. OpenAI 호환.
• SGLang — vLLM 대안. 에이전트·멀티턴·병렬 프로그램형 LLM에 강점.
• Text Generation Inference (TGI) — Hugging Face 서버. 엔터프라이즈 SLA가 필요할 때.
• MLX / MLX-LM — Apple Silicon 네이티브. M3 Ultra에서 235B MoE를 메모리 내에 올려 실행 가능.
• MLC-LLM — 모바일·웹·WebGPU까지 배포. 사내 앱 탑재에 유용.
• Jan / GPT4All / Open WebUI — Ollama 위의 데스크톱/웹 프론트엔드. 팀 협업·대화 이력 관리.

G.6 5분 퀵스타트 (Ollama · 2026-04 기준)

# 설치 (macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh
# Windows는 ollama.com/download

# 최신 주력 모델 당기기
ollama pull qwen3:14b          # 범용 추천
ollama pull deepseek-r1:14b    # 추론 강화
ollama pull llama4:scout       # 멀티모달 + 장문
ollama pull gpt-oss:20b        # OpenAI 오픈판

# 실행
ollama run qwen3:14b "한국어로 자기소개해줘"

# OpenAI 호환 API가 자동 기동 (localhost:11434/v1)
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:14b",
    "messages": [{"role":"user","content":"한국 PM 업계 동향 3가지"}],
    "response_format": {"type": "json_object"}
  }'

Python/TypeScript SDK는 base_url=http://localhost:11434/v1만 바꾸면 OpenAI 코드를 그대로 사용. 2026-04 기준 Ollama는 구조화 출력 + 도구 호출을 공식 지원합니다.

G.7 Claude Code·Cursor에 로컬 LLM 연결

최신 Claude Code/Cursor는 OpenAI 호환 엔드포인트를 지원합니다.

// ~/.cursor/config.json 예
{
  "openai": {
    "baseURL": "http://localhost:11434/v1",
    "apiKey": "ollama",
    "model": "qwen3:32b"
  }
}

2026-04 팁: 에이전트형 도구 호출은 최소 Qwen 3 32B 또는 GPT-OSS 120B 이상 권장. 14B 이하는 Tool calling 정합성이 낮아 Plan-Execute-Verify 루프(부록 D)에서 실패율이 올라갑니다.

G.8 한국어 품질 팁

• 한국어 강세 모델: EXAONE 4 32B, Qwen 3 72B, HyperCLOVA X Seed 3B, Llama-3.1-Korean-Bllossom-70B
• 공개 벤치: Open Ko-LLM Leaderboard (Upstage), Ko-Arena(커뮤니티)
• 영문 모델을 강제로 한국어로 쓰면 어색한 표현 증가 — 시스템 프롬프트에 "자연스러운 한국어 표현 우선, 어색하면 재작성" 명시
• 파인튜닝: QLoRA로 노트북·단일 GPU에서 가능. 사내 문서 1,000~5,000건으로 도메인 특화 3~8시간
• 임베딩은 BGE-M3, Upstage Solar Embedding, Nomic-Embed가 한국어 RAG에 강함

G.9 보안·운영 체크리스트

G.10 하이브리드 아키텍처 추천

[민감/대량/저난도]  → 로컬 Qwen 3 14B (Ollama) 또는 Gemma 4 E4B/26B
[일반 추론]         → 로컬 DeepSeek-R1 70B 또는 GPT-OSS 120B
[고난도 에이전트]   → Claude Opus 4.7 (클라우드)
[라우터 (LLM)]      → Haiku 4.5로 질문 난이도·민감도 분류 후 선택
[가드레일]          → PII 검출 시 무조건 로컬로 강제 / 규제 업무는 로컬 한정

이 구조만으로 비용 40~70% 절감하면서 고난도 품질 유지가 가능합니다. 2026-04 기준 많은 국내 금융·의료·공공 파일럿이 이 모델을 따르고 있습니다(부록 I 사례 참고).

G.11 미니 실습 — 사내 문서 요약 봇 (Ollama + Python)

from openai import OpenAI   # Ollama는 OpenAI SDK 그대로 지원
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

SYSTEM = """너는 사내 문서를 요약하는 어시스턴트다.
- 외부에 문서를 노출하지 않는다(모두 로컬 처리).
- 인물명·계정·계약 금액은 원문 그대로 유지한다.
- 요약은 3 bullet 이내, 각 80자."""

def summarize(doc: str) -> str:
    resp = client.chat.completions.create(
        model="qwen3:14b",
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user",   "content": doc},
        ],
        temperature=0.2,
    )
    return resp.choices[0].message.content

if __name__ == "__main__":
    with open("internal_memo.md", encoding="utf-8") as f:
        print(summarize(f.read()))

이 코드는 외부로 어떤 바이트도 나가지 않습니다. 사내 감사·개인정보보호 검토를 통과하기 쉬운 구조입니다.

G.12 참고

• Ollama 라이브러리 — ollama.com/library
• LM Studio — lmstudio.ai
• Hugging Face — huggingface.co
• vLLM — docs.vllm.ai
• Open Ko-LLM Leaderboard — huggingface.co/spaces/upstage/open-ko-llm-leaderboard
• 관련: 부록 B. 한국 규제 · 부록 I. 국내 사례 · 10.1 No-Code AI