“방구석에서 낭만 하나로 밑바닥부터 나만의 한국어 AI를 직접 만들어보고 있는” seoan1210의 프로젝트입니다. 이유가 솔직합니다 — 허깅페이스에서 모델을 불러오거나 API를 호출하는 건 몇 줄이면 되지만, “최근 AI 기업들이 무료 한도를 째째하게 차단하고 결제 유도하는 게 킹받아서” 데이터 전처리부터 모델 아키텍처, 학습 프레임워크까지 통째로 독자 구현하기로 했다는 겁니다.
구현한 것 — 상용 패키지 없이 행렬 곱과 파이토치 기본 연산만으로 Llama 3 규격을 생(Raw) 코딩: RMSNorm, SwiGLU, RoPE(회전 위치 임베딩), 추론용 KV-Cache 누적을 직접 수식으로. 전처리는 beomi/Llama-3-Open-Ko-8B 토크나이저와 국산 데이터셋(korean_textbooks, OpenOrca-gugugo-ko, KoAlpaca). 코드 조립 방식도 2026년적입니다 — 무료 에이전트 툴 없이 Claude(수학 연산)·Gemini(대용량 맥락 검수)·Grok(생략 없는 소스 출력)의 무료 웹 채팅창을 세션 분할로 쥐어짜 부품을 수확하고 직접 조립. 코파일럿은 커밋 메시지용으로만.
3,000스텝 시점의 생성 결과를 그대로 올렸습니다 — “Q: 한국의 수도는 → A: 정답은 ‘국가’입니다.” 아직 헛소리 단계인데, 메이커가 소름 돋는다고 한 건 ‘긍정적’, ‘합리적’, ‘간주될 수 있습니다’ 같은 어휘와 조사 처리, 어순이 매끄럽게 나온다는 점 — 수제 트랜스포머 블록이 한국어 문법 구조를 잡기 시작했다는 신호입니다. 목표는 5만 스텝 완주 후 3.6B로 확장. 지금 1.1B에서 VRAM 23GB를 꽉 채워 쓰는 노트북 단일 GPU(24GB)로 3.6B를 어떻게 올릴지, 데이터셋 비율을 언제 조정할지를 선배 개발자들에게 묻고 있습니다. 한국어NLP에서 유일한 “처음부터 만드는” 항목입니다.
정직하게 볼 지점:
쓸 수 있는 모델이 아닙니다 — 학습 중이고 3,000스텝은 헛소리 단계라고 메이커가 적었습니다. 이 항목의 가치는 결과가 아니라 과정의 공개입니다. 24GB 노트북 GPU로 3.6B를 학습하는 건 Gradient Checkpointing을 써도 현실적으로 매우 어렵고, 5만 스텝을 채워도 데이터 규모상 상용 소형 모델 수준에 이르긴 힘듭니다. “수식이 1의 오차도 없이 연산되고 있다는 신호”는 메이커의 해석이지 검증은 아닙니다. 그래도 Llama 3 블록을 손으로 짜 본 한국어 코드베이스가 공개돼 있다는 건 배우는 사람에게 실제 자산입니다.
타겟 사용자:
- 트랜스포머를 라이브러리 없이 손으로 짜 보고 싶은 학생·개발자
- 한국어 소형 LLM 학습의 실제 병목(VRAM·데이터 밸런싱)을 보고 싶은 사람
- “AI 무료 한도가 킹받아서” 직접 만든다는 동기에 공감하는 사람
- 3,000스텝의 헛소리가 5만 스텝에 어떻게 변하는지 지켜보고 싶은 사람
자주 묻는 질문
1.1B 한국어 LLM 밑바닥부터 (seoan1210), 어떤 서비스인가요?
“방구석에서 낭만 하나로 밑바닥부터 나만의 한국어 AI를 직접 만들어보고 있는” seoan1210의 프로젝트입니다. 이유가 솔직합니다 — 허깅페이스에서 모델을 불러오거나 API를 호출하는 건 몇 줄이면 되지만, “최근 AI 기업들이 무료 한도를 째째하게 차단하고 결제 유도하는 게 킹받아서” 데이터 전처리부터 모델 아키텍처, 학습 프레임워크까지 통째로 독자 구현하기로 했다는 겁니다.
1.1B 한국어 LLM 밑바닥부터 (seoan1210), 누가 만들었나요?
“방구석에서 낭만 하나로 밑바닥부터 나만의 한국어 AI를 직접 만들어보고 있는” seoan1210의 프로젝트입니다. 한국 인디 메이커 생태계의 한국어NLP 사례로 Dreamboat 디스커버에 수록돼 있습니다.
1.1B 한국어 LLM 밑바닥부터 (seoan1210), 어떤 사람에게 추천되나요?
1.1B 한국어 LLM 밑바닥부터 (seoan1210) — 트랜스포머를 라이브러리 없이 손으로 짜 보고 싶은 학생·개발자, 한국어 소형 LLM 학습의 실제 병목(VRAM·데이터 밸런싱)을 보고 싶은 사람, “AI 무료 한도가 킹받아서” 직접 만든다는 동기에 공감하는 사람, 3,000스텝의 헛소리가 5만 스텝에 어떻게 변하는지 지켜보고 싶은 사람에게 맞습니다.
1.1B 한국어 LLM 밑바닥부터 (seoan1210), 어디서 사용할 수 있나요?
1.1B 한국어 LLM 밑바닥부터 (seoan1210) 공식 사이트는 github.com/seoan1210/korean-llm-v2 이며, 여기서 바로 이용할 수 있습니다. Dreamboat 디스커버에서는 이 서비스가 무엇이고 누구에게 맞는지, 비슷한 한국 인디 메이커 서비스는 무엇이 있는지 함께 정리해 두었습니다.
