[뉴스스페이스=김정영 기자] 초거대 인공지능(AI)은 더 이상 데이터센터와 수십억원대 GPU 서버의 전유물만은 아닐 수 있다. 오픈소스 추론 엔진 콜리브리(Colibrì)가 SSD·시스템 메모리(RAM)·그래픽 메모리(VRAM)를 하나의 연속된 자원으로 취급하는 ‘다층 메모리’ 방식으로, 총 7440억~2조8000억 개 파라미터의 Mixture-of-Experts(MoE) 모델을 일반 소비자용 PC에서도 실행 자체는 가능하게 만들었다.

다만 이는 “노트북에서 초거대 AI를 서버급 속도로 돌린다”는 이야기가 아니다. 모델 전체를 빠른 메모리에 상주시켜 실시간 대화형 서비스로 활용하는 방식이 아니라, 필요한 전문가(expert) 가중치만 SSD에서 순간적으로 읽어오는 저비용·저속 추론 구조다.

무엇이 달라졌나

arxiv, github, eastkode, alphaxiv, cyberpulstech에 따르면, 콜리브리는 이탈리아 개발자 빈첸초 포르나로(Vincenzo Fornaro·GitHub 계정 JustVugg)가 공개한 Apache 2.0 라이선스 기반 오픈소스 추론 엔진이다. 저장소 설명에 따르면 엔진 본체는 순수 C 언어로 구성됐고, 런타임 단계에서 BLAS나 파이썬, GPU를 필수로 요구하지 않는다.

GitHub 저장소는 9월 17일 기준 별 3만5000개, 포크 3700개, 기여자 141명을 기록하고 있다. 이는 제시된 “하루 1532개 스타”라는 수치와 달리, 현재 시점에서 검증 가능한 누적 지표다. 특정 하루의 스타 증가분은 GitHub의 표준 저장소 화면만으로 독립 검증하기 어렵다.

콜리브리가 지원한다고 밝힌 모델군은 총 9개다. 대표적으로 GLM-5.2·5.3(7440억 파라미터), GLM-5.3-Flash(3210억), Inkling(9750억), DeepSeek V4 Flash(2840억), DeepSeek V4.1 Flash(5520억), Qwen3.8-Flash-Next, Qwen3.6, OLMoE와 함께 Moonshot AI의 Kimi K3(2조8000억 파라미터)까지 포함한다.

핵심은 모델이 전체 파라미터를 매 토큰마다 모두 계산하는 일반적인 밀집형(dense) 구조가 아니라, 입력에 따라 일부 전문가 네트워크만 선택해 활성화하는 MoE 구조라는 점이다. 콜리브리의 기준 사례인 GLM-5.2는 총 7440억 개 파라미터 중 토큰당 약 400억 개만 활성화된다고 설명한다. 즉, 모델 전체를 GPU 메모리에 올려두지 않아도, 그 순간 선택된 전문가 가중치만 충분히 빠르게 공급할 수 있으면 추론 결과를 낼 수 있다는 발상이다.

‘RAM 부족’ 대신 ‘속도 저하’

콜리브리는 VRAM·RAM·NVMe SSD를 서로 분리된 저장 영역이 아니라 하나의 계층형 가중치 저장소로 다룬다. 자주 호출되는 ‘뜨거운’ 전문가 가중치는 VRAM 또는 RAM에 남겨두고, 상대적으로 덜 쓰이는 가중치는 SSD에 보관한다. 라우터가 다음 연산에 필요한 전문가를 고르면 SSD에서 해당 가중치를 읽어 계산에 투입하는 방식이다. 프로젝트는 이를 “가중치를 위한 JIT(just-in-time) 방식”이라고 설명한다.

GLM-5.2의 경우 콜리브리가 제시한 구성은 비교적 구체적이다. 어텐션·공유 전문가·임베딩 등을 포함하는 밀집 영역 약 170억 파라미터는 4비트 정수 양자화(int4) 기준 약 9.9GB로 압축해 RAM에 상주시킨다. 반면 75개 MoE 레이어에 분포한 1만9456개 라우팅 전문가는 약 370GB 규모로 NVMe SSD에 저장하고, 요청이 있을 때 읽어온다. 따라서 “GPU가 없어도 된다”는 표현은 맞지만, 372GB 안팎의 고속 저장공간과 최소 16GB RAM, 실사용을 위한 24GB 수준 RAM은 여전히 필요하다.

이 구조가 말해주는 가장 중요한 변화는 메모리 부족이 모델의 실행 불가능 조건이 아니라 성능 저하 조건으로 바뀐다는 점이다. 콜리브리는 “빠른 메모리가 부족하면 속도는 떨어질 수 있지만 모델 정밀도나 라우팅 의미론을 조용히 바꾸지 않는다”고 명시한다. 다시 말해 25GB RAM PC에서도 7440억 파라미터 모델을 구동할 수 있지만, 초당 0.05~0.1토큰이면 100토큰 답변 하나를 받는 데 약 17~33분이 걸릴 수 있다. ‘된다’와 ‘쓸 만하다’는 전혀 다른 문제다.

기술의 본질은 ‘저장장치 활용’

콜리브리의 차별점은 단순한 CPU 오프로딩이 아니라, MoE의 라우팅 패턴을 이용해 저장장치 병목을 줄이려 한다는 데 있다. 프로젝트는 레이어별 LRU 캐시, 사용 이력에 따른 고빈도 전문가 고정(pinning), 다음 레이어 전문가를 미리 읽는 프리페치, 중복 전문가를 한 번만 읽도록 묶는 배치 유니언(batch-union), 비동기 입출력과 연산의 중첩 등을 구현했다고 밝혔다.

프로젝트 측은 다음 레이어의 전문가 선택을 한 레이어 앞에서 예측하는 방식이 71.6% 수준의 예측 가능성을 보였다고 적시했다. 다만 이 수치 역시 특정 모델·실험환경에서 나온 자체 측정치다. 워크로드가 바뀌면 캐시 학습이 오히려 빗나갈 수 있고, 사전 읽기 비용이 성능 개선보다 커질 수도 있다. 콜리브리도 이를 ‘보장’이 아니라 추가 검증이 필요한 가설로 분류하고 있다.

GPU가 불필요하다는 말도 절반만 맞는다. GPU는 필수 조건이 아닐 뿐, 지연시간과 처리량을 좌우하는 핵심 자원이다. 콜리브리의 공개 수치에서 25GB 개발용 PC의 저속 실행과 6장의 RTX 5090을 통한 초당 5.8~6.8토큰 결과의 간극은 매우 크다. 단일 RTX 5070 Ti급 노트북 환경에서는 GPU 상주 파이프라인으로 초당 1.07토큰, 128GB CPU 전용 데스크톱에서는 캐시가 워밍업된 조건에서 초당 약 1.8토큰이 보고됐다.

‘로컬 AI 혁명’보다 ‘추론 인프라 경쟁’

콜리브리는 갑자기 등장한 단일 프로젝트라기보다, 초거대 MoE 모델을 이질적 하드웨어에 분산 배치하려는 추론 시스템 경쟁의 한 사례다. 중국 칭화대 MADSys 연구실 등이 참여하는 KTransformers도 CPU와 GPU에 서로 다른 연산을 배치하는 이기종 추론을 핵심 전략으로 삼고 있다. KTransformers는 GPU에 빈번한 연산을, CPU 메모리에 MoE 전문가를 배치하는 방식과 NUMA 인지형 메모리 관리, INT4·INT8 양자화 커널을 제공한다고 밝힌다.

KTransformers는 2025년 2월 DeepSeek R1·V3를 단일 24GB VRAM GPU와 382GB DRAM 조합에서 지원하고 최대 3~28배 성능 개선을 주장한 바 있다. 이는 콜리브리가 수십 GB RAM과 SSD 스트리밍으로 실행의 하한선을 낮추는 접근이라면, KTransformers는 대용량 메모리와 CPU-GPU 분업을 통해 실사용 성능을 높이는 접근에 가깝다는 뜻이다.

학계에서도 같은 방향의 연구가 이어지고 있다. 스탠퍼드대·버클리대 연구진 등이 참여한 2026년 8월 공개 논문 ‘FreeToken’은 개인용 PC를 단순한 소형 GPU가 아니라 가변적인 통합 추론 플랫폼으로 보고, 모델 배치·전문가 상주·CPU-GPU 실행·에이전트 상태 재사용·런타임 메모리 관리를 함께 최적화하는 방식을 제안했다. 연구진은 8GB GPU 노트북부터 단일 워크스테이션 GPU까지를 대상으로 20개 이상 MoE 모델을 지원하며, 7530억 파라미터 GLM-5.2를 단일 워크스테이션 GPU에서 실행할 수 있다고 보고했다. 다만 논문은 아직 프리프린트 단계이며, 동료평가를 마친 결론으로 단정하기는 이르다.

기대와 한계

콜리브리의 진짜 가치는 “개인 PC가 2조8000억 파라미터 모델을 클라우드급 속도로 운용한다”는 데 있지 않다. 오히려 초거대 오픈웨이트 모델의 진입장벽을 GPU 메모리 용량만으로 규정해 온 통념을 흔든 데 있다. 모델의 전체 크기와 매 순간 실제 계산되는 크기를 분리하고, 메모리·저장장치·GPU를 하나의 배치 문제로 재정의한 것이다.

콜리브리는 서버를 PC로 대체하는 완성형 제품이라기보다, 초거대 MoE 모델의 추론 비용을 낮추려는 시스템 소프트웨어 실험장에 가깝다. 그것은 RAM·VRAM이 부족하면 모델을 포기해야 한다는 공식을, “얼마나 느려져도 괜찮은가”라는 비용·성능의 문제로 바꿔놓았다.

결국 이 기술의 승부처는 파라미터 수가 아니라 지연시간이다. 7440억 개 또는 2조8000억 개 파라미터 모델을 ‘실행’할 수 있다는 사실은 상징적이지만, 이용자가 실제로 원하는 것은 답변 하나를 수십 분 기다리는 AI가 아니다. SSD 대역폭, 캐시 적중률, 전문가 예측 정확도, CPU-GPU 병렬화, 양자화 품질이 함께 개선될 때 비로소 ‘내 PC의 거대 AI’는 기술 시연을 넘어 실용적인 개인 AI 인프라로 진화할 수 있다.