AI 스케일링 법칙, 어디까지 통할까? — 개념 정리와 최신 논쟁 브리핑

스케일링 법칙, 한 문장으로 말하면?

정의부터 정리하면 이렇습니다.

“모델 파라미터 수, 학습 데이터 토큰 수, 투입한 연산량을 일정 비율로 키워갈 때,
모델의 성능(손실·정확도)이 거의 일정한 ‘거듭제곱 법칙(power law)’을 따라 개선되는 현상”

OpenAI의 「Scaling Laws for Neural Language Models」(2020)는

언어 모델의 테스트 손실(loss)이
모델 크기, 데이터 양, 연산량을 키울수록
L = L₀ + (C₀/C)^α 같은 형태의 거듭제곱 함수로 줄어든다는 것을 대규모 실험으로 보였습니다.arXiv+2arXiv+2

NVIDIA도 2025년 블로그에서 이를 쉽게 설명합니다.

“스케일링 법칙은 파라미터, 데이터, 컴퓨팅을 늘릴수록 AI 성능이 어떻게 좋아지는지를 보여주는 경험 법칙”이라고 정의합니다.NVIDIA Blog

한 줄 요약하면,

“크게·많이·오래 학습시키면 어느 정도까지는 꽤 예측 가능하게 좋아진다”는 법칙입니다.

1. 1세대 스케일링 법칙: ‘더 크게, 더 많이, 더 오래’의 시대

1-1. OpenAI Kaplan 논문(2020): 스케일링 법칙의 출발점

OpenAI의 Kaplan 등은 2020년 논문에서,

다양한 크기의 언어 모델을
서로 다른 데이터 양과 연산량으로 학습시키며
손실이 파라미터·데이터·연산량과 거듭제곱 관계를 따른다는 것을 보였습니다.arXiv+2arXiv+2

핵심 메시지는 두 가지입니다.

모델을 키우면(파라미터↑) 성능이 꾸준히 좋아진다.
데이터·연산량을 함께 늘리면, 그 개선이 상당히 “예측 가능”하다.

이 논문 이후, 업계는

“더 큰 모델”과
“더 거대한 학습 데이터”
를 향해 달리기 시작했고, GPT-3 같은 초거대 모델이 이런 스케일링 전략의 상징이 되었습니다.ResearchGate

1-2. 스케일링 법칙이 가져온 산업적 변화

스케일링 법칙이 나오자, 기업들은 R&D 전략 자체를 수식화할 수 있게 됐습니다.

“현재 100억 파라미터 모델이 이 정도 점수라면,
1,000억 파라미터에 데이터·연산량을 몇 배 늘렸을 때 어느 정도까지 갈 수 있을까?”
“벤치마크 점수 5점 올리려면 수백만 달러의 GPU 비용이 더 들어간다.”

이제 “모델 성능 ↔ 비용”을 수학적으로 가늠할 수 있게 된 것입니다.PYMNTS.com+1

국내에서도 LG AI연구원 블로그는, 파운데이션 모델 사전학습이 스케일링 법칙에 맞춰 모델 크기와 데이터 규모를 확장하는 방향으로 진행되어 왔다고 정리합니다.LG AI Research

2. 치킨칠라(Chinchilla)와 “데이터 최적” 스케일링 법칙

2-1. 기존 스케일링의 문제: 너무 큰데, 덜 배웠다

2022년 DeepMind는 「Training Compute-Optimal Large Language Models」, 일명 Chinchilla 논문을 통해 새로운 관점을 제시합니다.arXiv+2Google DeepMind+2

요지는 간단합니다.

기존 Kaplan 법칙 기준으로 학습된 거대 모델들은
“모델은 엄청 큰데, 데이터는 상대적으로 부족해서 덜 배운 상태(undertrained)”라는 것.
같은 연산 예산(컴퓨트)이 주어졌을 때
- 모델을 무작정 키우기보다
- “모델 크기 : 학습 토큰 수 ≈ 1 : 20” 정도 비율로 균형 있게 늘리는 것이
  훨씬 효율적이라는 결과를 보였습니다.arXiv+2NeurIPS Proceedings+2

2-2. Chinchilla 스케일링의 핵심 포인트

Chinchilla 연구의 중요한 메시지는 다음과 같습니다.arXiv+2Google DeepMind+2

“데이터 부족한 거대 모델”은 비효율적이다.
연산 예산이 정해져 있으면,
- 모델 크기와 데이터 양을 함께 키우되
- “데이터를 훨씬 더 많이” 쓰는 쪽이 더 좋다.
이 법칙에 따라 학습한 700억 파라미터 Chinchilla는
- 2,800억 파라미터 Gopher보다
- 적은 파라미터에도 더 좋은 성능을 보여줌.

이후 “Chinchilla 스타일”은

데이터-최적(data-optimal) 스케일링 법칙의 대표격으로 자리잡았고,
많은 최신 LLM들이 이러한 비율을 참고해 설계되고 있다는 분석이 이어지고 있습니다.Dr Alan D. Thompson – LifeArchitect.ai+1

3. 최근 뉴스 포인트 ① — MIT-IBM: “예산 최적 스케일링 가이드”

2025년 9월, MIT-IBM Watson AI Lab은
“How to build AI scaling laws for efficient LLM training and budget maximization”라는 기사에서,
“작은 모델에서 얻은 실험 결과로, 같은 계열의 큰 모델 성능을 예측하는 보편적인 스케일링 가이드”를 제안했다고 소개합니다.MIT 뉴스

기사가 전하는 핵심은 다음과 같습니다.

같은 아키텍처 계열 안에서
- 소형·중형 모델을 다양하게 학습시키고
- 그 결과를 바탕으로 “성능 vs 파라미터·데이터·연산량” 스케일링 관계를 피팅
이렇게 얻은 스케일링 법칙을 이용해
- “예산 X일 때, 어느 크기까지 늘리는 것이 가장 효율적인가?”
- “어디부터는 더 키워도 투자 대비 효과가 떨어지는가?”
  를 사전에 계산할 수 있는 프레임워크를 만들었다는 내용입니다.MIT 뉴스

즉, MIT-IBM 쪽 뉴스는

“스케일링 법칙을 단순 이론이 아니라,
실제 예산 책정·모델 로드맵에 바로 쓸 수 있는 실무 도구로 만들고 있다”
는 흐름으로 이해하시면 됩니다.

4. 최근 뉴스 포인트 ② — NVIDIA·인프라 업계: “스케일링 법칙 = 인프라 설계 기준”

NVIDIA는 2025년 2월 블로그에서,
스케일링 법칙이 곧 “AI 인프라 설계의 수학적 기준”이 되고 있다고 정리합니다.NVIDIA Blog+1

핵심 내용은 다음과 같습니다.

스케일링 법칙에 따라 모델·데이터·연산량이 기하급수적으로 늘어날수록
- GPU·메모리·스토리지·네트워크 대역폭 등 인프라 요구사항도
  거의 일정한 곡선을 그리며 증가
CES 2025에서 NVIDIA CEO 젠슨 황 역시
- “AI 스케일링 법칙이 데이터센터, 전력, 네트워크 설계까지 밀어 올리고 있다”고 언급했다는 보도도 이어졌습니다.RCR Wireless News

국내 기업 관점에서도, LG AI 연구원 블로그는

파운데이션 모델 사전 학습 전략이
- “스케일링 법칙에 맞춰 파라미터·데이터·컴퓨트 자원을 확장하는 흐름”에서
- 점차 에이전트·도메인 특화 모델 쪽으로 이동하고 있다고 설명합니다.LG AI Research

5. 최근 뉴스 포인트 ③ — “스케일링 법칙, 이제 한계에 온 것 아니냐” 논쟁

5-1. 한국 기사·칼럼: “스케일링 법칙만으론 부족하다”

국내 매체 NewsK는 2025년 7월 기사에서,

과거에는 “모델 크기·데이터·컴퓨팅을 키우면 성능이 비례 향상”됐지만,
최근에는 MMLU 등 주요 벤치마크에서 성능 개선 속도가 눈에 띄게 둔화되고 있다고 지적합니다.newsk.net

이 기사는 특히,

데이터·컴퓨트 자원의 희소성·비용 증가
Chain-of-Thought 같은 추론 기법, 구조 최적화, 에이전트 아키텍처 등이
성능 향상의 새로운 축으로 떠오르고 있다고 강조합니다.newsk.net

또 다른 국내 칼럼(법조 전문지)은,
Coveney·Succi(2025)의 논문을 인용하며
“LLM의 스케일링 법칙이 둔화됨을 넘어 실질적으로 의미 없는 수준까지 왔다는 주장”이 나왔다고 소개하기도 합니다.법률신문+1

5-2. Nature Machine Intelligence: “파라미터 수만 키우는 시대는 끝났다”

2025년 Nature Machine Intelligence에 실린 “Densing law of LLMs” 논문은,

스케일링 법칙은 모델 크기를 키우면 성능이 좋아지는 경향을 보여주지만,
실제 배포 환경에서는
- 지연 시간(latency)
- 전력·비용
  등 제약 때문에 무작정 거대 모델로만 갈 수는 없다고 지적합니다.Nature

그래서 최근 LLM 발전 패턴을

파라미터 수만 늘리는 방향이 아니라
“밀도(density)를 조절하고, MoE(Mixture of Experts)·압축 등으로 효율을 높이는 방향”으로 해석합니다.Nature+1

5-3. “데이터만 많이 넣으면 인간 지능?”에 대한 반론

국내 기사(마인들뉴스)는

“데이터를 많이 넣으면 AI가 인간 지능에 가까워지는가?”라는 질문을 던지며,
스케일링 법칙이 보여주는 것은
- 통계적 패턴 학습의 한계 안에서의 개선 곡선일 뿐,
- 인간 일반지능(AGI)과는 다른 차원이라는 점을 강조합니다.세상을 바꾸는 시민언론 민들레

정리하면,

“스케일링 법칙은 여전히 유효하지만,
단순히 파라미터·데이터만 늘리는 시대는 끝나가고 있고,
효율·구조·추론 전략이 새 축으로 들어왔다”
라는 흐름으로 보는 게 현재 논쟁의 중간 지점에 가깝습니다.

6. 실무 관점: 스케일링 법칙을 어떻게 활용해야 할까?

현업·프로덕트 관점에서, 스케일링 법칙은 크게 세 가지에 쓰입니다.

6-1. 예산·로드맵 계획

“올해 GPU 예산이 X라면,
- 파라미터 수와 데이터 양을 어떻게 배치해야 가장 효율적인가?”
MIT-IBM, Chinchilla 계열 연구는
- 주어진 컴퓨트 예산에서 compute-optimal 모델 크기·데이터 양을 추천하는 방향으로 발전하고 있습니다.arXiv+2MIT 뉴스+2

6-2. 모델 패밀리 설계

하나의 아키텍처 계열(예: 1B, 7B, 70B, 400B)을 계획할 때
- 소형 모델 몇 개를 실제로 학습해보고
- 거기서 얻은 스케일링 곡선을 바탕으로
- 대형 모델의 예상 성능·비용을 역산합니다.MIT 뉴스+1

6-3. “더 키울지, 여기서 멈출지” 결정

새 벤치마크나 비즈니스 KPI에 대해
- “더 키우면 몇 점 올라갈까?”
- “그 점수 차이가, 실제 서비스 가치·매출로 환산했을 때 의미가 있는가?”
  를 판단할 때도, 스케일링 곡선의 기울기가 중요한 기준이 됩니다.PYMNTS.com+1

결국 스케일링 법칙은

“AI R&D를 감(感)으로 하지 않고,
비용·효과를 숫자로 설계하게 해 주는 도구”라고 이해하시면 실무적으로 가장 유용합니다.

meta_know 인사이트

스케일링 법칙은 한때 “AI 성능 = 모델 크기”라는 단순 공식을 정당화해 주는 도구처럼 보였지만, 최근 논쟁을 보면 “어디까지는 통하지만, 그 이후에는 다른 축이 필요하다”는 현실을 오히려 분명히 드러내고 있습니다. 앞으로 중요한 질문은 “얼마나 큰가?”가 아니라 “같은 자원으로 얼마나 똑똑하게 쓰는가?”, 즉 데이터 선정, 훈련 전략, 모델 구조, 에이전트 설계 등 효율의 문제가 될 가능성이 큽니다.

독자 입장에서는 스케일링 법칙을 “AI가 왜 이렇게 빨리 좋아졌는지”를 설명하는 과거의 법칙이자, 동시에 “앞으로 어디에서 성장이 막힐 수 있는지”를 보여주는 미래 리스크 레이더로 함께 보는 것이 좋습니다.

핵심 정리

스케일링 법칙은 모델 파라미터·데이터·연산량을 늘릴 때 성능이 거듭제곱 법칙 형태로 개선되는 경험 법칙으로, OpenAI의 2020년 논문이 대표적인 출발점입니다.arXiv+2arXiv+2
2022년 DeepMind의 Chinchilla 연구는 “데이터를 훨씬 더 많이 쓰는 compute-optimal 스케일링”을 제안하며, 기존 초거대 모델 상당수가 데이터 부족 상태에서 학습됐다는 점을 지적했습니다.arXiv+2Google DeepMind+2
2024~2025년 MIT-IBM, NVIDIA, LG, 국내 기사·칼럼은 스케일링 법칙을 예산·인프라·제품 기획의 실무 도구로 활용하면서도, “데이터·컴퓨트만 키우는 전략은 한계에 이르렀다”고 분석합니다.newsk.net+3MIT 뉴스+3NVIDIA Blog+3
Nature Machine Intelligence·국내 칼럼 등은 스케일링 법칙의 둔화·한계, 그리고 모델 밀도·MoE·추론·에이전트 구조 같은 새로운 축의 중요성을 강조하며 “포스트 스케일링 시대” 논쟁을 본격화하고 있습니다.세상을 바꾸는 시민언론 민들레+4Nature+4arXiv+4