딥시크가 왜 그렇게 저렴한가요? 업계를 재편하고 있는 AI 비용 효율성

DeepSeek의 급속한 성장은 기술적인 능력뿐만 아니라 서구 경쟁자들의 비용의 일부만으로 첨단 AI 모델을 제공할 수 있는 능력 덕분에 AI 산업을 놀라게 했습니다. 대표 모델인 DeepSeek-R1은 560만~600만 달러로 훈련되었으며, 이는 Meta의 LLaMA 3에 대한 6천만 달러의 지출과 OpenAI의 GPT-4 예산보다 훨씬 적은 금액입니다. DeepSeek는 AI 비용 효율성을 재정의했습니다.

왜 DeepSeek는 이렇게 저렴한가요? 이 글은 DeepSeek가 경쟁 성능을 유지하면서 AI 개발 비용을 줄일 수 있는 기술적, 전략적, 지정학적 요소들을 탐구합니다.

파트 1: 혁신적인 아키텍처로 비용 절감

DeepSeek의 저렴함의 핵심은 아키텍처 혁신을 통해 계산 효율성을 극대화하는 소프트웨어 우선 접근 방식에 있습니다.

전문가 혼합(MoE) 모델

• 모든 작업에 대해 모든 매개변수를 활성화하는 기존 모델과 달리, DeepSeek의 MoE 프레임워크는 모델을 특화된 “전문가”로 나누어 관련 있는 것들만 활성화합니다.
• DeepSeek-V3는 총 671억 개의 매개변수 중 370억 개의 활성화된 매개변수만 사용하여 계산 오버헤드를 80% 줄입니다.

8비트 정밀도 훈련

• FP8(8비트 부동소수점) 정밀도를 채택하여 BF16이나 FP32와 같은 고급 형식 대신 메모리 사용을 최대 50%까지 줄이면서 정확도를 유지합니다.
• 이 방식은 적은 수의 GPU로 더 큰 모델을 훈련시킬 수 있어 하드웨어 비용을 크게 절감할 수 있습니다.

다중 헤드 잠재 주의(MLA)

• MLA는 중요한 컨텍스트 데이터에 집중하여 메모리 사용을 압축합니다. 이는 책의 “본질”만 기억하는 것과 유사하며 모든 단어를 기억하는 것이 아닙니다.
• 희소 활성화와 결합되어 중복 계산을 최소화하고 모델 효율성을 개선합니다.

이 혁신들은 DeepSeek가 훨씬 적은 자원으로 GPT-4 및 Claude 3.5와 같은 모델의 성능을 일치시킬 수 있도록 합니다.

파트 2: 효율성의 촉매제인 하드웨어 제약

DeepSeek가 하드웨어 제약에도 불구하고 왜 이렇게 저렴할까요? 그 답은 미국의 수출 통제에 있으며, 이로 인해 DeepSeek는 NVIDIA H800과 같은 제한된 GPU를 최적화해야 했습니다. H800은 중국 시장을 위해 설계된 H100의 다운그레이드 버전입니다.

최적화된 GPU 활용

• H800의 축소된 NVLink 대역폭(400 GB/s 대 H100의 900 GB/s)은 처음에는 GPU 간 통신 속도를 늦췄습니다.
• DeepSeek는 NVIDIA의 CUDA 프레임워크를 우회하여 저수준 PTX 프로그래밍을 사용해 GPU 코어를 직접 제어하며 대역폭 차이를 보상하고 90% 이상의 GPU 활용률을 달성했습니다.

맞춤형 통신 프로토콜

• DeepSeek는 HAI-LLM 프레임워크와 같은 독점 알고리즘을 개발하여 작업 분배를 최적화하고 GPU 유휴 시간을 없앴습니다.

작은 클러스터로 확장

• Meta는 LLaMA 3를 16,000개의 GPU로 훈련했지만, DeepSeek-V3는 2,048개의 H800만 필요해 인프라 비용과 에너지 소비를 줄였습니다.

하드웨어 제약을 경쟁력 있는 장점으로 바꾸면서 DeepSeek는 순수한 계산 성능이 AI supremacy로 가는 유일한 길이 아님을 보여주었습니다.

파트 3: 비용 효율적인 훈련 방법

AI 모델 아키텍처를 넘어 DeepSeek의 훈련 방법론도 비용 효율성을 위해 최적화되었습니다.

합성 데이터와 지식 증류

• DeepSeek는 값비싼 사람 주석 데이터셋 대신 DeepSeek-R1 Lite와 같은 작은 모델을 사용해 생성된 합성 데이터에 의존하여 데이터 획득 비용을 줄입니다.

강화 학습 최적화

• DeepSeek R1은 훈련 중 시행착오 사이클을 최소화하여 불필요한 계산을 줄이기 위해 강화 학습을 사용합니다.

부분 8비트 훈련

• 전체 모델을 양자화하는 대신, DeepSeek는 특정 가중치와 옵티마이저 상태에 선택적인 8비트 양자화를 적용하여 정확도를 유지하면서 메모리 효율성을 두 배로 늘렸습니다.

이러한 방법들을 통해 DeepSeek는 Meta의 수년 간의 LLaMA 3 개발 사이클에 비해 V3와 같은 AI 모델을 두 달 이내에 훈련할 수 있습니다.

파트 4: 오픈 소스 전략 및 생태계 활용

DeepSeek가 이렇게 저렴한 이유 중 하나는 오픈 소스 AI 모델 전략입니다.

커뮤니티 주도의 혁신

• DeepSeek R1과 V3는 MIT 라이센스 하에 출시되어, 전 세계의 기여를 촉진하고 R&D 비용을 증가시키지 않으면서 개선을 가속화합니다.

API 가격 책정의 혁신

• DeepSeek의 API 가격은 백만 개 입력 토큰당 $0.55로, OpenAI의 백만 개 토큰당 $15의 3.7%에 해당합니다.
• 이는 스타트업과 독립 연구자들을 끌어들여, 대규모 마케팅 비용 없이 DeepSeek의 사용자 기반을 확장합니다.

지식 증류 AI 모델

• DeepSeek는 DeepSeek-R1 Lite와 같은 작은 전문 AI 모델을 제공하여, 비용을 고려하는 기업들이 최소한의 GPU 자원으로 AI를 배포할 수 있게 합니다.

이는 Linux의 성공을 반영하며, 오픈 소스 AI 모델이 독점 AI 거대 기업들과 경쟁할 수 있음을 입증합니다.

파트 5: 지정학적 및 시장 요인

미중 AI 경쟁은 예상치 못하게 DeepSeek의 비용 효율성에 기여했습니다.

수출 제한이 혁신의 연료가 되다

• DeepSeek는 NVIDIA의 H100 GPU 접근을 거부당했지만, H800을 최적화하여 소프트웨어의 창의성이 하드웨어의 격차를 보완할 수 있음을 증명했습니다.

낮은 인건비 및 R&D 비용

• DeepSeek는 중국의 top 대학 출신 엔지니어들로 구성된 팀을 보유하고 있어, 실리콘 밸리 AI 스타트업들에 비해 R&D 비용을 낮게 유지합니다.

내수 시장 집중

• DeepSeek는 아시아 AI 시장을 우선 타겟으로 삼아, 비용 효율적인 AI 모델을 정제한 후 글로벌 시장으로 확장했습니다.

이러한 요인들은 DeepSeek가 더 낮은 비용으로 AI를 제공할 수 있는 능력을 더욱 강화시킵니다.

파트 6: 도전 과제와 회의론

비용 효율적인 AI 혁명을 이루었음에도 불구하고 DeepSeek는 여러 도전에 직면해 있습니다.

숨겨진 비용

• 일부 분석가들은 DeepSeek의 $6백만 비용이 훈련 전 실험, 데이터 수집 및 운영 비용을 제외한 것이라고 주장합니다.
• 실제 비용은 인프라 투자 등을 포함하면 $5억을 초과할 수 있습니다.

확장성 우려

• DeepSeek의 훈련 효율성은 작은 클러스터에 최적화되어 있지만, 모델이 커짐에 따라 확장이 더 어려워질 수 있습니다.

지정학적 위험

• 서구 AI 시장은 신뢰 문제와 규제 우려로 인해 중국의 AI 모델을 채택하는 데 주저할 수 있습니다.