초거대 AI 열풍으로 전 세계적 관심이 AI 반도체로 집중되고 있는 가운데 투자자들의 관심이 'CXL'(컴퓨트 익스프레스 링크)에서 'PIM'(메모리 연산 통합 지능형 반도체)으로 이어지고 있다. 효율적인 데이터 처리가 AI 시대 핵심 기술로 여겨지면서 이를 가능케 하는 초고속·저전력 AI 반도체 'PIM'이 미래 반도체 시장의 새로운 패러다임으로 주목받고 있는 모습이다.

이에 국내 주요 메모리 반도체 기업인 삼성전자와 SK하이닉스는 각각 HBM-PIM, GDDR6-AiM 등 D램 기반 PIM 개발에 집중하고 있으며, 국내 정부는 차세대반도체 기술 중에서도 PIM 원천기술 개발에 전력을 다하고 있다. 과학기술정보통신부는 2020년부터 1조 원 규모의 PIM 반도체 기술개발 사업을 진행하고 있다. 

#PIM(Processor-In-Memory, 메모리 연산 통합 지능형 반도체)

현재 AI 트렌드인 초거대 AI의 핵심은 '초고속 데이터 분석'이다. 이를 위해서는 데이터가 메모리와 연산용 반도체 사이를 빠르게 이동할 수 있는 기술이 필수적이나, 기존 반도체는 메모리와 프로세서가 분리된 데다 많은 전력이 소모된다는 치명적인 단점이 있다. 실제로 현재 데이터센터는 1제곱미터당 1메가와트시의 전력을 소모하는데, 이는 일반 가정의 10배가 넘는 수준이다.

이러한 상황에서 'PIM'이 기존 메모리의 속도효율 저하 및 전력증가 문제를 해결할 돌파구로 떠오르면서 차세대 AI 반도체로 주목받고 있다. 'PIM'은 메모리 내부에서 일부 연산 처리를 가능하게 함으로써 메모리와 프로세서 간 데이터 이동을 줄이고, AI 연산 시스템의 에너지 효율을 극대화시켰다. 그 예로 삼성전자의 HBM-PIM은 같은 양의 데이터를 처리할 때 소비되는 전력량이 기존 HBM 대비 50% 이상 감소했다.

또한 PIM은 적은 수의 GPU가 탑재된 서버로도 동일한 수준의 서비스를 제공할 수 있어 공간임대료를 줄일 수 있다는 장점이 있으며, HBM·D램 등 기존 메모리 시스템 환경을 변경하지 않고도 고성능 AI 연산 시스템을 구축할 수 있다.

유회준 한국과학기술원(KAIST) 전기·전자공학부 교수는 PIM 반도체에 대해 "메모리 반도체 중에서도 PIM 반도체는 AI 분야에서 가장 높은 효율을 보이는 투자 영역이자, 국내 기술과 산업이 세계적인 기술과 산업으로 연결될 수 있는 분야"라면서 "PIM 기술과 이를 이용한 제품·시장은 아직 초기 단계지만, 미국, 대만 및 중국의 대학과 연구소에서는 PIM의 잠재력에 주목하고 있다"라고 전했다.

추가로 PIM은 메모리 반도체 회사에도 매력적인 투자처로 각광받고 있다. PIM이 탑재되면 현재보다 더 빠른 연산이 가능해지면서 메모리 수요가 증가할 것으로 예상되기 때문이다. PIM은 필요한 데이터양을 줄이는 것이 아니라 연산 효율을 높여주므로, PIM이 상용화될 경우 메모리 반도체 회사들은 더 많은 용량의 메모리를 생산해야 하는 상황에 직면하게 될 것으로 보인다.

슈퍼컴퓨터(HPC), 데이터센터 등 최근 초고속 데이터 분석을 요구하는 AI 기술이 발전하면서 반도체 산업에도 혁신의 바람이 불고 있다. 이러한 가운데 국내 대표 반도체 업체 삼성전자와 SK하이닉스는 D램 기반의 PIM 개발에 주력하고 있다.

◆삼성전자의 PIM - AI 가속기용 HBM-PIM과 온디바이스 AI 용 LPDDR-PIM 상용 가속화

삼성전자는 응용별 요구 사항을 바탕으로 다양한 차세대 메모리 기술개발과 이를 지원하는데 필요한 소프트웨어 및 시뮬레이터 출시에 전념하고 있다. 그중 하나가 D램 공정에 AI 가속기를 접목한 PIM 반도체다.

지난 2021년 2월 삼성전자는 고성능 D램인 HBM에 AI 프로세서를 하나로 결합한 'HBM-PIM'을 세계 최초로 개발했으며, 이후 D램 모듈에 AI 엔진을 탑재한 'AXDIMM', 모바일 D램과 PIM을 결합한 'LPDDR5-PIM' 등의 기술을 대거 선보였다.

또한 삼성전자는 주요 칩셋 업체 등과 협력해 AI 가속기를 위한 PIM 기술 플랫폼을 표준화해 나가면서, 자사의 PIM 기술을 대규모 AI 및 HPC 애플리케이션에 적용해 그 성능을 입증해 왔다. 그 결과, 삼성전자의 HBM-PIM은 기존 GPU 가속기 대비 성능은 약 2배 늘고, 에너지 소모는 약 50% 감소한 것으로 확인됐다.

아울러 삼성전자는 PIM 기술 고도화를 위해 세계 최대 반도체 설계 기업 AMD와의 협력도 강화해 나가고 있다. 앞서 AMD의 CEO인 리사 수는 지난해 초 미국 샌프란시스코에서 열린 세계 최대 반도체 기술학회(ISSCC 2023) 기조연설에서 "PIM 기술을 활용하면 기존 메모리가 정보를 처리할 때보다 85% 이상 전력을 절감할 수 있다"라며 "삼성전자와 차세대 메모리 반도체 분야에서 긴밀하게 협력하고 있다"라고 밝힌 바 있다.

배용철 삼성전자 메모리사업부 상품기획실장도 올해 초 "향후 삼성전자는 PIM 응용을 확대하기 위해 다양한 파트너사들과 협력해 AI 가속기용 HBM-PIM과 온디바이스 AI 용 LPDDR-PIM 상용화를 가속화할 것"이라고 전했다.

◆SK하이닉스의 PIM – 자체 PIM 반도체 기반 'AiMX' 가속기 카드로 AI 추론 분야 선도

SK하이닉스는 지난해 9월 자체 PIM 반도체인 'GDDR6-AiM'을 기반으로 한 가속기 카드 'AiMX' 시제품을 선보였다. 'GDDR6-AiM'은 그래픽 D램인 GDDR6에 가속기가 결합된 제품이며, 'AiMX'는 GDDR6-AiM을 여러 개 연결해 GPU 대신 AI 연산에 활용할 수 있는 가속기 카드다.

이후 SK하이닉스는 같은 달 열린 'AI 하드웨어 & 엣지 AI 서밋 2023'에서 메타의 생성형 AI인 'OPT 13B(Billion)' 모델 시연을 통해 AiMX 시제품의 실제 성능을 공개했다. 그 결과, AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르고, 전력 소모는 5분의 1 수준인 것으로 나타났다.

이러한 기술력을 토대로 올해는 성능과 활용 범위를 더욱 높여 본격적인 PIM 반도체 상용화에 나선다는 계획이다. 권용기 SK하이닉스 솔루션개발 팀장은 "수백 기가바이트(GB)급 거대언어모델(LLM)에 대응하기 위해 올해 AiMX의 스펙 향상을 진행할 예정"이라면서 "고용량 AiMX 시제품을 내놓고, OPT 13B보다 더욱 큰 규모의 LLM을 시연할 것"이라고 밝혔다.

이어 그는 "SK하이닉스의 AiMX는 AI 추론 분야의 핵심인 가격 경쟁력을 갖춘 유일한 AI 솔루션"이라며 "데이터센터부터 온디바이스 AI를 탑재한 모바일까지 AI 추론 영역에서 폭넓게 활용될 것"이라고 강조했다.

정부는 AI 반도체 중에서도 PIM 반도체 개발에 매우 적극적인 행보를 보이고 있다. 메모리 반도체 경쟁력을 지렛대로 활용해 AI 반도체 분야에서 세계 1위를 달성하겠다는 의지다.

지난 2019년 말 과학기술정보통신부(과기정통부)는 PIM 반도체 개발을 AI 국가전략 핵심 사업으로 선정하고, 2020년 차세대 인공지능 분야 연구 및 기술개발에 본격적으로 착수했다. 과기정통부는 해당 사업에 총 1조 96억 원('20~'29년)을 투자할 계획이라고 밝혔다.

2022년부터는 산업통상자원부(산업부)와 합동으로 'PIM 인공지능 반도체 핵심기술 개발사업'을 추진하고 있다. 해당 사업은 2028년까지 7년간 총 4,027억 원(과기정통부 2,897억 원, 산업부 1,130억 원)이 투입되는 사업으로, AI 반도체인 PIM의 초격차 기술 확보 및 산업 생태계 구축을 통한 세계 기술·시장 주도권 확보를 목표로 하고 있다.

사업의 주요 내용은 △PIM 특화소자·집적기술 개발 △다양한 메모리 기반의 PIM 설계 △PIM 반도체에 최적화된 시스템 소프트웨어개발(과기정통부) △비휘발성 메모리 기반 PIM 공정·장비 개발(산업부) 등이다.

정부는 이 사업의 일환으로 같은 해 6월 '핌-허브'(PIM-HUB)를 개소했으며, 9월에는 사업 관리를 위한 'PIM 인공지능 반도체 사업단'을 출범했다. 핌-허브는 반도체 대기업과 산·학·연 간 협력을 강화하기 위해 마련된 연구센터로, 삼성전자와 SK하이닉스가 운영위원으로 참여해 상호 인력파견 및 공동연구 수행, 인력양성을 위한 교육과정 공동개발 등 인력교류를 추진하고 있다.

◆KAIST 연구팀, AI 연산기능 획기적으로 높인 D램 PIM 반도체 '다이나플라지아' 개발... 과기정통부 'PIM 인공지능 반도체 핵심기술 개발사업' 일환

정부의 이러한 노력으로 지난해 3월 한국과학기술원(KAIST) 유회준 교수 연구팀은 국내 최초로 D램 메모리 셀 내부에 직접 연산기를 집적한 PIM 반도체 '다이나플라지아'를 개발하는 데 성공했다. 해당 연구는 과기정통부가 지난 2022년부터 진행한 'PIM 인공지능 반도체 핵심기술 개발사업'의 일환으로 진행됐다.

유회준 교수 연구팀은 '다이나플라지아'에 아날로그형 D램 PIM을 기반으로 3개의 트랜지스터만으로 셀을 구성하고, 메모리 셀 내부에 연산기를 집적함으로써 이전에 개발된 PIM 반도체 대비 집적도와 연산 기능을 획기적으로 향상시켰다.

또한 모든 메모리 셀을 병렬로 동작할 수 있도록 설계해 기존 디지털 D램 PIM 방식 대비 약 300배 높은 병렬성으로 데이터 처리량을 15배 높이는 성과를 이뤄냈다.

유회준 KAIST 전기·전자공학부 교수는 "이번 연구는 기존 AI 반도체가 가지고 있던 메모리 병목현상을 해소할 뿐만 아니라, 높은 처리량과 가변성을 갖는 고메모리 용량의 D램 PIM을 개발했다는 점에서 의미가 크다"라며 "본격적인 상용화에 성공할 경우, 최근 더욱 거대해지고 다양해지는 AI 모델에서도 높은 성능을 보일 수 있을 것"이라고 기대했다.

◆과기정통부, 올해도 PIM 개발에 적극적 행보... PIM 반도체 개발에 630억 원 투자 결정

올해에도 반도체 초격차 기술 확보를 위한 정부의 적극적인 행보가 이어지고 있다. 최근 과기정통부는 PIM 반도체를 유망 정보통신기술(ICT)로 확정하고, 원천기술 및 연구개발 등에 총 630억 원을 투입하기로 했다.

지난 1월 과기정통부는 1,324억 원 규모의 '24년도 정보통신기술(ICT) 원천연구 개발사업' 시행계획을 발표, 사업을 본격적으로 추진한다고 밝혔다. 대상은 반도체, 디스플레이, 이차전지, 초고성능 컴퓨팅, 초전도 분야다.

특히 반도체 분야에는 지능형 반도체 'PIM'과 화합물반도체 등 차세대 반도체 관련 과제 12개가 포함됐으며, 이 중 PIM 반도체에 가장 많은 예산이 배정됐다. 과기정통부는 실리콘 공정 기반 신구조 PIM 특화 소자‧아키텍처, 신재료 기반 PIM 신소자 등 PIM 관련 기술개발에 총 630억 원('22~'28년)을 투자하기로 했다.

또한 과기정통부는 △차세대 화합물반도체 핵심기술 개발에 492억 원('22~'26년) △국가 반도체연구실 지원 핵심기술 개발에 490억 원('23~'27년) △반도체 설계 검증 인프라 활성화에 470억 원('23~'27년) △시스템반도체 융합 전문인력 육성에 497억 원('20~'26년)을 지원하기로 했으며, 올해 신규 사업으로 반도체 첨단 패키징 핵심기술 개발, 차세대반도체 대응 미세기판 및 장비 원천기술 개발을 추가하고 480~499억 원('24~'28년)의 예산을 배정했다.

황판식 과기정통부 기초원천연구정책관은 "글로벌 기술패권 경쟁의 격화로 반도체⸱디스플레이⸱이차전지⸱초고성능컴퓨팅·초전도 분야의 초격차 기술 확보는 경제성장의 선택이 아닌 필수조건이 됐다"라면서 "앞으로도 산업계 수요를 반영한 유망 원천기술에 대한 투자 확대로 미래 먹거리 창출을 위해 노력할 것"이라고 말했다.

한편, 과기정통부는 지난달 말 PIM 핵심기술 확보를 위한 'PIM 인공지능 반도체 핵심기술개발(소자) 사업' 신규 과제 공모도 시작했다. 신청 기간은 2월 14일부터 28일까지이며, 연구기간은 올해 3월부터 2026년까지 총 34개월간이다. 총연구비 지원 규모는 5억 8,000만 원이다.