AWAXIS-Hybrid-28B

AWAXIS-Think × Darwin Platform Hybrid 모델

AWAXIS-Think-28B를 기반으로 Darwin Platform 한국어 가중치를 Smart MRI Layer-wise 머지로 결합한 한국어 LLM입니다.

본 모델은 Anserwise에서 제작·공개한 한국어 LLM입니다.

• 🧬 아버지: Anserwise/AWAXIS-Think-28B
• 🧬 어머니: FINAL-Bench/Darwin-28B-KR

---

🧬 모델 설명 — 부모 모델 교배·진화 (Darwin 방식)

본 모델은 두 부모 LLM의 가중치를 layer 단위로 교배·결합하는 Darwin Platform 진화적 머지 기법 (Smart MRI Layer-wise)으로 제작됐습니다. 일반 SFT/CPT 학습이 아닌 가중치 합성 진화 방식이라는 점이 핵심입니다.

구간	어머니 채택률	의도
Embed / LM-head	50%	출력 통로 균형
Norm	30%	안정성
Visual encoder	0%	아버지 100% 보존
Layers 0~15 (초기)	40%	한국어 표면 패턴 흡수
Layers 16~50 (중기)	0%	추론 능력 보존
Layers 51~63 (후기)	70%	도메인 지식 채택

각 부모의 강점이 어느 layer에 저장되는지 분석한 후 layer-wise로 부모 가중치 비율을 다르게 적용하여 두 모델의 강점만 선택적으로 결합하는 방식입니다.

📚 데이터셋 활용

본 모델은 가중치 머지(Weight Merge) 산물이므로 추가 SFT/CPT 학습은 수행하지 않았습니다. 대신 두 부모 모델이 사전에 학습한 광범위한 한국어 데이터셋의 강점을 layer 단위로 흡수합니다. 부모 모델들이 학습한 주요 한국어 데이터셋은 다음과 같습니다:

• 일반 Instruction: kai-sft / kai-combined 시리즈 (한국어 다양 도메인 instruction-following)
• KMMLU-Pro: 한국 도메인 지식 (역사·법률·의료·과학·공학 등)
• CLIcK: 한국 문화·상식 (역사·전통·사회 규범)
• HAERAE: 한국어 표면 패턴 (언어학·일반상식·역사)
• KOBEST: 한국어 reasoning (HellaSwag·COPA·BoolQ)
• Com2-main(ko): 한국어 commonsense (사회적 추론·의도 파악)
• MuSR(Ko): 한국어 다단계 추론 (Murder Mystery·Object Placements 등)

가중치 머지 단계에서 각 부모의 학습 결과를 layer 비율로 보존·결합하여, 단일 SFT보다 catastrophic forgetting 위험이 낮고 부모 강점 손실이 적은 것이 특징입니다.

---

📊 평가 결과

1) K-AI 리더보드 기준 (5과목)

KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(ko)

• 외부 모델: K-AI 리더보드(leaderboard.aihub.or.kr) 실측값
• 본 시리즈: 자체 mirror eval(100문항) × Rogue-28B-MIX 기준 ratio 환산 추정값

Model	KMMLU-Pro	CLIcK	HLE(Ko)	MuSR(Ko)	Com2-main(ko)	Sum	Macro
Hybrid (예상)	0.674	0.787	0.07	0.611	0.657	2.799	0.560
AWAXIS-Hybrid-28B ⭐ (이 모델, 예상)	0.674	0.787	0.07	0.611	0.657	2.799	0.560
Rogue-28B-MIX (실측)	0.666	0.797	0.07	0.611	0.650	2.794	0.559
Warecube-KO-27B-v3 (실측)	0.668	0.799	0.07	0.584	0.638	2.756	0.551
AWAXIS-Think-28B (실측)	0.603	0.770	0.06	0.591	0.632	2.651	0.530
KR-Pro (예상)	0.643	0.661	0.07	0.585	0.650	2.609	0.522
KR-Plus (예상)	0.643	0.703	0.07	0.532	0.657	2.605	0.521

HLE(Ko)는 28B급 공통 약점 (난이도 매우 높음).

2) 종합 한국어 능력 (10과목 mirror eval)

CLIcK + KMMLU(history/law/health) + HAERAE(gk/hist/ling) + KOBEST(hella/copa/boolq)

Model	CLIcK	KMMLU 평균	HAERAE 평균	KOBEST 평균	Sum (10과목)	Macro
AWAXIS-Hybrid-28B ⭐ (이 모델)	0.83	0.530	0.813	0.967	7.760	0.7760
Rogue-28B-MIX	0.83	0.513	0.807	0.967	7.690	0.7690

---

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Hybrid-28B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Hybrid-28B",
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "한국 역사에서 임진왜란이 발생한 시기는?"}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256, temperature=0.0)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

라이선스

Apache 2.0 (부모 모델 라이선스 계승)

---

2026-04-30