개인이 직접 학습시켜 공개한 한국어 ELECTRA 사전학습 모델
이 놀이터의 일원이 되어, 첫 v0.1을 공개해봐요.
monologg/KoELECTRA
- 마지막 push “AI 기업들이 무료 한도를 째째하게 막는 게 킹받아서” — 상용 패키지 없이 파이토치 기본 연산만으로 Llama 3 규격(RMSNorm·SwiGLU·RoPE·KV-Cache)을 생코딩하고 노트북 GPU 24GB로 학습 중. 3,000스텝의 헛소리까지 공개
한국어 자연어처리 자료·도구·데이터셋을 모은 큐레이션 목록
트위터 한국어 분석기에서 이어진 오픈소스 한국어 텍스트 처리기
한국어 종단간(end-to-end) 음성인식 모델을 학습·평가하는 오픈소스 툴킷
카카오브레인이 공개한 한국어 생성 사전학습 모델
SKT가 공개한 한국어 BERT — 한국어 NLP의 오랜 기준선이었던 모델
Dreamboat은 한국 인디 메이커들의 v0.1부터 시작한 changelog가 모이는 곳입니다.
이 놀이터의 일원이 되어, 첫 v0.1을 공개해봐요.
KoELECTRA는 한국어로 학습시킨 ELECTRA 사전학습 모델입니다.
KoELECTRA는 한국어로 학습시킨 ELECTRA 사전학습 모델입니다. 한국 인디 메이커 생태계의 한국어NLP 사례로 Dreamboat 디스커버에 수록돼 있습니다.
KoELECTRA — 사전학습을 직접 해보려는 연구자·대학원생, ELECTRA 구조를 한국어로 실험하려는 개발자, 한국어 모델 성능 비교표를 읽는 사람, (실서비스라면 최신 모델을 먼저 볼 것)에게 맞습니다.
KoELECTRA 공식 사이트는 github.com/monologg/KoELECTRA 이며, 여기서 바로 이용할 수 있습니다. Dreamboat 디스커버에서는 이 서비스가 무엇이고 누구에게 맞는지, 비슷한 한국 인디 메이커 서비스는 무엇이 있는지 함께 정리해 두었습니다.