삼성전자 컴퓨트익스프레스링크(CXL) 기반 D램 메모리 모듈 제품인 CMM-D [삼성전자 제공]

[헤럴드경제=이정완 기자] 삼성전자가 CXL(Compute Express Link) 기술을 바탕으로 인공지능(AI) 추론 병목현상을 해소할 수 있다는 평가 결과를 공개했다. 대규모 언어 모델(LLM)이 사용자와 대화하며 얻은 정보를 KV캐시(Key-Value Cache, LLM이 이전에 읽은 문맥을 다시 계산하지 않도록 GPU에 저장해두는 임시 기억 공간)에 저장하면서 메모리 요구량이 커지고 있는데 CXL로 이를 해결할 수 있다는 것이다.

삼성전자는 CXL을 활용한 AI 데이터센터용 CMM-D(CXL메모리모듈 D램)를 선보이며 시장 개화에 앞장서고 있다. 고대역폭메모리(HBM)를 이을 차세대 AI 반도체로 거론되는 만큼 데이터센터의 도입 속도가 빨라질지 주목된다.

12일 업계에 따르면 삼성전자는 최근 테크 블로그를 통해 CXL 메모리 풀링을 통한 AI 추론 평가 결과를 공개했다.

삼성전자는 엔비디아 RTX 프로 6000 블랙웰 기반 GPU(그래픽처리장치) 서버와 삼성전자의 CMM-D 모듈을 기반으로 1TB(테라바이트) 규모 CXL 메모리 풀을 구성해 AI 추론 환경을 평가했다.

평가 결과 단일 GPU 환경에서 D램과 유사한 수준의 성능을 보였고 8개 GPU를 사용하는 다중 GPU 환경에서도 D램 대비 92% 수준의 성능을 유지했다. 이 같은 성능을 나타내면서 더 큰 메모리 용량을 제공할 수 있었다.

KV캐시를 활용한 추론 역량도 CXL이 강점을 보였다. 512GB D램 구성에서 KV캐시 요구량이 가용 메모리 용량을 초과해 성능이 저하됐지만 1TB CXL 메모리 풀은 안정적인 성능을 유지했다.

KV캐시 용량이 커져도 CXL 메모리 풀링 기술을 활용해 D램 대비 TPS(초당 생성되는 토큰 수) 성능 저하가 발생하지 않았다. [출처 삼성전자]

AI 추론의 시대가 도래하면서 LLM은 효율성을 높이기 위해 이전에 계산한 정보를 KV캐시에 저장하고 있다. 저장된 정보를 재사용하기 때문에 동일한 연산을 반복할 필요가 없어진다. 하지만 모델 규모가 커지고 동시 사용자 수가 늘면서 KV캐시에 필요한 메모리가 수백GB(기가바이트)까지 늘어날 수 있다

삼성전자가 찾은 해결책은 CXL이다. 삼성전자는 CXL 스위치를 활용하면 메모리 풀링을 통해 여러 메모리를 공유 메모리로 통합할 수 있다. CXL은 CPU(중앙처리장치), GPU(그래픽처리장치), 메모리를 유기적으로 소통할 수 있도록 만드는 차세대 연결 기술이다.

지금까지 구조에선 메인보드에 연결할 수 있는 D램에 제한이 있지만 CXL을 지원하는 CMD-D를 연결하면 메모리 용량이 대폭 확장된다. CPU, GPU 등 서로 다른 프로세서가 동기화된 만큼 지연 시간도 줄어든다.

HBM이 GPU에 초고속 메모리를 붙이는 기술이라면, CXL은 서버 전체의 메모리를 유연하게 연결하고 확장하는 기술이라고 볼 수 있다.

삼성전자는 2021년 업계 최초로 CXL 기반 D램 기술을 개발하며 시장 선점을 노리고 있다. 2023년 CXL 2.0 표준 D램을 개발해 상용화한 상태다. PCIe(Peripheral Component Interconnect Express) 5.0 기반 MD220이 128GB·256GB 두 용량으로 제공되고 있다. CXL 3.0을 지원하는 CMM-D도 본격적인 생산을 준비하는 단계다.

반도체 업계에서는 CXL이 HBM의 성장 흐름을 따르지 않을까 기대하고 있다. AI 반도체 시장에서 ‘넥스트 HBM’이 될 것이라는 관측이 나온다.

삼성전자가 분석한 것처럼 D램과 유사한 성능을 내면서 용량을 크게 늘릴 수 있어 AI 데이터센터 구축과 운영 비용을 대폭 줄일 수 있다. 시장조사기관 욜에 따르면 올해 21억달러(약 3조원)인 CXL 시장 규모가 2028년 약 160억달러(24조원)까지 성장할 것으로 예상한다.

다만 아직 도입 단계에 있는 CXL 확산을 위해선 생태계 구축이 무엇보다 중요하다. 서버의 CPU가 CXL을 지원하지 않으면 사용할 수 없기 때문이다.

삼성전자도 이 같은 한계점을 인식하고 있다. 이번 평가 결과를 담은 백서에서 “평가에서 드러난 한계점은 인텔 DMR(Diamond Rapids), AMD 베니스(Venice) 등이 CXL 3.0 기반 플랫폼이 도입됨에 따라 점진적으로 해결될 전망”이라며 “CXL 메모리 풀링 도입을 앞당기고 관련 생태계를 확장하기 위한 후속 협력을 지속적으로 추진할 계획”이라고 밝혔다.