1.1B 한국어 LLM 밑바닥부터 (seoan1210)

“방구석에서 낭만 하나로 밑바닥부터 나만의 한국어 AI를 직접 만들어보고 있는” seoan1210의 프로젝트입니다. 이유가 솔직합니다. 허깅페이스에서 모델을 불러오거나 API를 호출하는 건 몇 줄이면 되지만, “최근 AI 기업들이 무료 한도를 째째하게 차단하고 결제 유도하는 게 킹받아서” 데이터 전처리부터 모델 아키텍처, 학습 프레임워크까지 통째로 독자 구현하기로 했다는 겁니다.

구현한 것: 상용 패키지 없이 행렬 곱과 파이토치 기본 연산만으로 Llama 3 규격을 생(Raw) 코딩: RMSNorm, SwiGLU, RoPE(회전 위치 임베딩), 추론용 KV-Cache 누적을 직접 수식으로. 전처리는 beomi/Llama-3-Open-Ko-8B 토크나이저와 국산 데이터셋(korean_textbooks, OpenOrca-gugugo-ko, KoAlpaca). 코드 조립 방식도 2026년적입니다. 무료 에이전트 툴 없이 Claude(수학 연산)·Gemini(대용량 맥락 검수)·Grok(생략 없는 소스 출력)의 무료 웹 채팅창을 세션 분할로 쥐어짜 부품을 수확하고 직접 조립. 코파일럿은 커밋 메시지용으로만.

3,000스텝 시점의 생성 결과를 그대로 올렸습니다. “Q: 한국의 수도는 → A: 정답은 ‘국가’입니다.” 아직 헛소리 단계인데, 메이커가 소름 돋는다고 한 건 ‘긍정적’, ‘합리적’, ‘간주될 수 있습니다’ 같은 어휘와 조사 처리, 어순이 매끄럽게 나온다는 점: 수제 트랜스포머 블록이 한국어 문법 구조를 잡기 시작했다는 신호입니다. 목표는 5만 스텝 완주 후 3.6B로 확장. 지금 1.1B에서 VRAM 23GB를 꽉 채워 쓰는 노트북 단일 GPU(24GB)로 3.6B를 어떻게 올릴지, 데이터셋 비율을 언제 조정할지를 선배 개발자들에게 묻고 있습니다. 한국어NLP에서 유일한 “처음부터 만드는” 항목입니다.

이런 분께 맞아요

• 트랜스포머를 라이브러리 없이 손으로 짜 보고 싶은 학생·개발자
• 한국어 소형 LLM 학습의 실제 병목(VRAM·데이터 밸런싱)을 보고 싶은 사람
• “AI 무료 한도가 킹받아서” 직접 만든다는 동기에 공감하는 사람
• 3,000스텝의 헛소리가 5만 스텝에 어떻게 변하는지 지켜보고 싶은 사람