일반적인 치료법이 여기서 효과가 없는 이유는 무엇일까요?
대부분의 효율성 향상 파이프라인은 동일한 세 단계를 따릅니다. 아키텍처를 압축하고, 압축된 가중치를 양자화한 다음, 손상된 부분을 복구합니다. 방법 간의 차이는 전적으로 마지막 단계에 있습니다.
가장 널리 사용되는 복구 방법은 양자화 인식 학습(QAT)입니다. 이 방법은 순방향 전달 과정에 가짜 양자화 연산자를 삽입하고 작업 손실에 따라 모델을 지속적으로 미세 조정하여 가중치가 낮은 정밀도의 표현을 견딜 수 있도록 학습시킵니다. 실제로 이는 이미 비용이 많이 드는 다단계 후처리 과정(지도 미세 조정, RLHF, 에이전트 기반 조정)을 더 많은 노이즈와 낮은 정밀도의 순방향 전달 과정을 통해 다시 실행하는 것을 의미합니다. 이는 비용이 많이 들 뿐만 아니라, 저희 연구 결과에서 나타난 것처럼 최적의 시점을 지나 너무 오랫동안 학습을 지속하면 불안정해질 수도 있습니다.
대안으로 양자화 인식 증류(QAD) 방식이 있는데, 이 방식은 과거 데이터를 다시 실행하지 않습니다. 작업 손실 대신, 고정된 전체 정밀도의 교사 모델을 출력 로짓에 대한 KL 발산 손실을 통해 양자화된 학생 모델로 직접 증류합니다. 이 방식은 양자화만 변경된 경우에 잘 작동합니다. 왜냐하면 동일한 모델의 전체 정밀도 버전이 교사 역할을 할 수 있기 때문입니다. 하지만 모델이 구조적 압축을 거쳐 레이어, 헤드 또는 뉴런의 수가 줄어들고 비트 수도 줄어들면 이러한 가정은 더 이상 성립하지 않습니다. 더 작은 아키텍처에 대한 독립적으로 학습된 전체 정밀도 버전이 존재하지 않기 때문입니다. 유일한 교사 후보는 복구된 bfloat16 체크포인트인데, 이 체크포인트 자체도 원래 모델의 증류된 근사치입니다. 이 체크포인트를 사용하여 증류하면 양자화된 학생 모델이 성능이 저하된 목표에 고정되고 정확도는 복구된 체크포인트 자체의 최고 정확도로 제한됩니다.
따라서 구조적으로 압축되고 양자화된 모델을 어떻게 복구할 것인가에 대한 질문은 지금까지 진정으로 해결되지 않은 문제였습니다.
우리의 접근 방식
QAH는 단 하나의 변경으로 이러한 한계를 극복합니다. 복구된 모델이 아닌 압축 전 원본 모델에서 직접 데이터를 추출하는 것입니다. 교사 모델과 학생 모델은 아키텍처조차 공유하지 않습니다. 교사 모델은 전체 크기와 전체 정밀도를 유지하고, 학생 모델은 절반 크기로 MXFP4 형식으로 실행됩니다. 교사 모델의 출력 분포는 아키텍처에 구애받지 않으므로 크기나 형태 불일치로 인해 전송이 중단되는 일은 없습니다. 학생 모델은 하드 레이블을 전혀 보지 않고, 로짓에 대한 KL 발산을 통해 매칭된 교사 모델의 출력 분포만 보게 됩니다.
이는 양자화 단계의 역할을 재정의하는 것입니다. QAH 방식에서는 양자화 단계가 더 이상 복구가 완료된 후 적용되는 손실 처리 단계가 아닙니다. 오히려 원래의 교사 데이터와 비교하여 두 번째로 완전한 증류 과정을 거치는 것이며, 이는 bfloat16 체크포인트가 받지 못한 정보를 보완하는 것입니다. 4비트 학생 데이터는 양자화로 인해 손실된 정보를 보상하는 것이 아니라, 이전 복구 단계에서 시간이나 데이터 부족으로 전송하지 못했던 정보를 가져오는 것입니다.
손실 함수 자체에서 비롯되는 안정성 이점도 있습니다. KL 증류 방식은 학생 모델을 고정된 교사 분포에 묶어두기 때문에, 일단 학생 모델이 교사 분포를 따라잡으면 더 이상 편차가 발생하지 않습니다. 반면, 교차 엔트로피 작업 손실 함수는 학생 모델을 고정된 레이블 쪽으로 무한정 밀어붙입니다. 아래 비교에서 볼 수 있듯이, 이러한 차이는 정확도와 훈련 안정성 모두에 중요한 영향을 미칩니다.
QAH가 최대 32,000개의 토큰을 포함하는 문서를 처리하는 긴 컨텍스트에서 작동하도록 하기 위해, 우리는 효율적인 증류에 관한 이전 논문에서 사용했던 메모리 효율적인 청크 KL-divergence 손실 함수를 재사용합니다. 이 손실 함수는 시퀀스의 각 슬라이스별로 KL 값을 계산하며, 전체 어휘-시퀀스 그리드를 생성하지 않습니다. 이것이 바로 32,000개 토큰 규모의 복구가 고정된 GPU 메모리 예산 내에서 가능해지는 이유입니다. 이 손실 함수의 작동 방식은 이전 게시물 에서 자세히 다루었습니다 .
QAH 개요. 구조적 압축 및 양자화 후 성능이 급격히 저하됩니다. QAH는 복구된 체크포인트가 아닌, 로짓이 오프라인에서 미리 계산된 고정된 교사 모델인 원래 모델로부터 추출합니다. 출처: 논문 그림 1.
결과
본 연구에서는 120B 파라미터로 압축된 GPT-OSS 모델에 QAH를 적용하고, 이를 bfloat16으로 복원한 후, 다시 QAH를 사용하여 MXFP4로 양자화했습니다. 비교 대상은 동일한 60B 모델의 bfloat16 체크포인트(현존하는 이 아키텍처의 최고 정밀도 버전)였습니다. QAH 모델은 9개의 벤치마크 중 7개에서 더 나은 결과를 보였습니다.
QAH가 뒤처지는 두 벤치마크인 MMLU-Pro와 SciCode에서는 1.5점 미만의 차이로 뒤쳐집니다. 그 외 모든 곳에서 4비트 모델은 자체 16비트 원본보다 앞서 있으며, 가장 큰 성능 향상은 압축으로 인해 가장 큰 손실을 입는 기능, 즉 장문맥 추론(AA-LCR에서 +7.4점)과 연산(AIME 2025에서 +5.6점)에서 나타납니다.
기존 120B 티처 모델과의 비교도 매우 의미심장합니다. 티처 모델의 절반에 불과한 파라미터 수와 약 4분의 1의 가중치 메모리를 사용했음에도 불구하고, QAH 모델은 LiveCodeBench에서 전체 크기 티처 모델을 능가하는 점수(66.5 vs. 66.0)를 기록했으며, GPQA Diamond에서는 1.6점 차이(67.4 vs. 69.0)로 근접했습니다. 티처 모델과의 가장 큰 격차는 AA-LCR에서 나타나는데, 이는 압축으로 인한 용량 손실을 복구하기가 본질적으로 가장 어려운 극단적인 장기 컨텍스트 벤치마크입니다.
4비트 QAH 모델은 9개의 벤치마크 중 7개에서 bfloat16 소스 모델과 동등하거나 그 이상의 성능을 보였으며, LiveCodeBench에서는 전체 크기 교사 모델보다 우수한 성능을 나타냈습니다. 출처: 논문 그림 2.
QAH와 QAT의 정면 대결
손실 함수의 영향을 다른 모든 요소와 분리하기 위해, 동일한 조건에서 QAH와 QAT를 직접 비교했습니다. 이를 위해 GPT-OSS 9B 모델을 MXFP4로 양자화하고, 학습이 진행됨에 따라 MMLU-Pro, LiveCodeBench, GPQA Diamond에서 평균 성능을 추적했습니다.
두 방법 모두 비슷한 최고점(QAH 54.9, QAT 54.6)에 도달하므로 최상의 정확도 측면에서는 사실상 동등합니다. 차이점은 최고점에 도달하는 방식과 그 이후에 나타나는 현상에 있습니다. QAH는 약 100단계 만에 최고점에 도달하는데, 이는 QAT의 700단계보다 약 7배 빠른 속도이며, 이후 학습 과정 내내 최고점에서 약 2포인트 이내의 값을 유지합니다. 반면 QAT는 최고점을 지나면서 급격히 하락하여 1,200단계까지 거의 19포인트 가까이 떨어집니다.
실질적인 결과는 배포 위험의 차이로 나타납니다. QAT 체크포인트는 이미 성능 저하가 시작된 모델을 배포하지 않도록 홀드아웃 신호에 대해 신중한 조기 종료가 필요하지만, 충분히 학습된 QAH 체크포인트는 드리프트가 발생하지 않으므로 안전하게 사용할 수 있습니다. 이는 메커니즘과 일관됩니다. 고정된 교사를 기준으로 하는 KL 증류는 학생 모델이 교사와 일치하면 더 이상 움직일 유인이 없지만, 교차 엔트로피 목표는 고정 레이블을 계속 압박하여 결국 모델이 원본으로부터 물려받은 기능을 저하시킵니다.
QAH는 약 100단계에서 54.9로 정점을 찍고 그 값을 유지하는 반면, QAT는 약 700단계에서야 54.6에 도달한 후 1,200단계까지 거의 19점을 잃습니다. 출처: 논문 그림 3.
이것이 실제에 미치는 영향은 무엇일까요?
정확도 향상이라는 이점은 압축 기술의 근본적인 동기였던 효율성 향상과도 연결됩니다. 4비트 정밀도에서 QAH 모델은 bfloat16 스튜던트 모델보다 가중치 메모리를 약 4배 적게 사용하고, 120B 티처 모델의 절반에 불과한 파라미터 개수로 토큰당 연산량을 거의 절반으로 줄여 훨씬 작은 하드웨어에서도 실행될 수 있도록 합니다. 4비트가 아닌 bfloat16으로 제공되는 모델 제품군의 경우, 파라미터 및 정밀도 감소를 합치면 토큰당 연산량이 최대 8배까지 줄어듭니다.
핵심은 압축된 4비트 모델이 전체 정밀도 모델보다 정확도가 떨어질 필요가 없다는 것입니다. 이 개선 방법을 사용하면 모델 크기를 줄이고 서비스 비용을 낮추면서 정확도를 높일 수 있으며, 양자화 자동 완성(QAT) 방식에 필요한 학습 시간보다 훨씬 짧은 시간 안에 이러한 목표를 달성할 수 있습니다. 양자화는 효율성을 위해 지불해야 하는 비용이 아니라 모델을 학습시킬 수 있는 추가적인 기회가 됩니다.
이 연구는 대규모 모델의 유용성을 유지하면서도 더 작고 저렴하게 실행할 수 있도록 하는 멀티버스 컴퓨팅의 지속적인 연구의 일환입니다. 이 연구는 QAH가 의존하는 장기 컨텍스트 학습 메커니즘을 제공하는 효율적인 증류 관련 연구와 함께 진행됩니다.
복구 파이프라인, 장기 컨텍스트 복구를 위한 청크형 KL 구현, 분산 학습 결과 등 모든 기술적 세부 정보를 원하십니까? 전체 논문을 읽어보시 거나, 저희 팀에 연락하여 압축 및 복구 기술을 여러분의 모델에 적용하는 방법에 대해 상담해 보세요.
지역 사회
대규모 언어 모델을 축소하는 것은 거의 항상 비용을 수반합니다. 효율적인 배포를 위한 표준 방식은 먼저 아키텍처를 압축하는 것입니다. 레이어, 헤드 또는 뉴런을 제거하여 파라미터 수를 줄인 다음, 남은 가중치를 4비트로 양자화하여 메모리와 연산량을 더욱 줄입니다. 이 두 단계 모두 상당한 절약 효과를 가져오지만, 추론, 수학적 문제 해결, 코드 생성과 같이 사람들이 실제로 중요하게 생각하는 기능은 체계적으로 저하됩니다. 이러한 이유로, 진지한 배포 파이프라인에서는 모델을 실제 환경에 배포하기 전에 복구 단계(일반적으로 '힐링'이라고 함)를 추가합니다. rbtv77 gpt-oss, NVIDIA의 Nemotron 제품군, 그리고 저희의 Hypernova 60B와 같은 최근의 오픈 웨이트 모델들은 모두 이러한 압축 후 복구 방식의 변형을 사용합니다.
이건 모델 압축에 대한 정말 흥미로운 접근 방식이네요 🤯🔥. 4비트 모델이 실제로 전체 정밀도 버전보다 뛰어난 성능을 보일 수 있다는 아이디어는 양자화에 대한 일반적인 가정을 완전히 뒤집어 놓습니다.... 단순히 압축으로 인한 정확도 손실을 받아들이는 대신, QAH는 목표 복구를 통해 추론, 수학, 코딩과 같은 중요한 기능을 되살리고 심지어 향상시킬 수 있는 방법을 보여주는 것 같습니다. 🧠⚡
특히 제 눈길을 사로잡은 것은 압축된 GPT-OSS 120B → 60B 모델의 결과입니다. 더 작은 MXFP4 모델이 9개 벤치마크 중 7개에서 자체 bfloat16 체크포인트보다 우수한 성능을 보였다는 것은 정말 인상적입니다. 📊🚀 이는 압축 후 복원하는 전체 파이프라인이 실제 배포 환경에서 훨씬 더 실용적이라는 것을 보여줍니다. 특히 메모리 사용량과 추론 비용이 중요한 경우에 더욱 그렇습니다.
저는 여기서 더 넓은 의미도 마음에 듭니다... 양자화는 복구 프로세스를 양자화된 모델을 고려하여 설계한다면 모델 품질을 희생해야 한다는 것을 의미하지 않습니다. 💡🔧 운영 비용은 적게 들면서도 벤치마크 성능은 더 우수한 소형 모델은 효율적인 LLM 배포를 시도하는 팀에게 큰 이점이 될 수 있습니다.
효율적인 AI 배포를 위한 흥미로운 방향임이 분명합니다. 4비트 모델을 고도로 압축하여 더 큰 용량의 고정밀 모델보다 뛰어난 성능을 발휘하게 만드는 것은 "압축"의 의미를 다시 생각하게 만드는 결과입니다. 👏🔥 양자화 인식 복구(Quantization-Aware Healing)가 다른 아키텍처와 워크로드에서 얼마나 발전할 수 있을지 정말 궁금합니다. 🚀🧠