# 1.1B 한국어 LLM 밑바닥부터 (seoan1210)

> “AI 기업들이 무료 한도를 째째하게 막는 게 킹받아서”. 상용 패키지 없이 파이토치 기본 연산만으로 Llama 3 규격(RMSNorm·SwiGLU·RoPE·KV-Cache)을 생코딩하고 노트북 GPU 24GB로 학습 중. 3,000스텝의 헛소리까지 공개

- 페이지: https://dreamboat.kr/discover/korean-llm-from-scratch-seoan
- 공식 사이트: https://github.com/seoan1210/korean-llm-v2
- 분야: AI, 교육
- 쓰는 환경: 라이브러리
- 상태: 운영 종료 (확인 2026-10-01)
- 등재: 2026-09-18 · 마지막 갱신: 2026-10-01


## 소개

“방구석에서 낭만 하나로 밑바닥부터 나만의 한국어 AI를 직접 만들어보고 있는” seoan1210의 프로젝트입니다. 이유가 솔직합니다. 허깅페이스에서 모델을 불러오거나 API를 호출하는 건 몇 줄이면 되지만, **“최근 AI 기업들이 무료 한도를 째째하게 차단하고 결제 유도하는 게 킹받아서”** 데이터 전처리부터 모델 아키텍처, 학습 프레임워크까지 통째로 독자 구현하기로 했다는 겁니다.

구현한 것: 상용 패키지 없이 **행렬 곱과 파이토치 기본 연산만으로 Llama 3 규격을 생(Raw) 코딩**: RMSNorm, SwiGLU, RoPE(회전 위치 임베딩), 추론용 KV-Cache 누적을 직접 수식으로. 전처리는 beomi/Llama-3-Open-Ko-8B 토크나이저와 국산 데이터셋(korean_textbooks, OpenOrca-gugugo-ko, KoAlpaca). 코드 조립 방식도 2026년적입니다. 무료 에이전트 툴 없이 Claude(수학 연산)·Gemini(대용량 맥락 검수)·Grok(생략 없는 소스 출력)의 **무료 웹 채팅창을 세션 분할로 쥐어짜 부품을 수확**하고 직접 조립. 코파일럿은 커밋 메시지용으로만.

3,000스텝 시점의 생성 결과를 그대로 올렸습니다. “Q: 한국의 수도는 → A: 정답은 ‘국가’입니다.” **아직 헛소리 단계**인데, 메이커가 소름 돋는다고 한 건 ‘긍정적’, ‘합리적’, ‘간주될 수 있습니다’ 같은 어휘와 조사 처리, 어순이 매끄럽게 나온다는 점: 수제 트랜스포머 블록이 한국어 문법 구조를 잡기 시작했다는 신호입니다. 목표는 5만 스텝 완주 후 3.6B로 확장. 지금 1.1B에서 VRAM 23GB를 꽉 채워 쓰는 노트북 단일 GPU(24GB)로 3.6B를 어떻게 올릴지, 데이터셋 비율을 언제 조정할지를 선배 개발자들에게 묻고 있습니다. [한국어NLP](/discover/category/%ED%95%9C%EA%B5%AD%EC%96%B4NLP)에서 유일한 “처음부터 만드는” 항목입니다.

타겟 사용자:
- 트랜스포머를 라이브러리 없이 손으로 짜 보고 싶은 학생·개발자
- 한국어 소형 LLM 학습의 실제 병목(VRAM·데이터 밸런싱)을 보고 싶은 사람
- “AI 무료 한도가 킹받아서” 직접 만든다는 동기에 공감하는 사람
- 3,000스텝의 헛소리가 5만 스텝에 어떻게 변하는지 지켜보고 싶은 사람

## 인용

이 소개는 Dreamboat(드림보트)이 공식 사이트를 직접 확인해 작성했습니다.
출처(https://dreamboat.kr/discover/korean-llm-from-scratch-seoan)를 명시하면 인용 가능합니다. 서비스 자체의 권리는 각 제작자에게 있습니다.
전체 목록: https://dreamboat.kr/llms.txt · 전문: https://dreamboat.kr/llms-full.txt