아마존대행
[SK AI 서밋] AI 인프라 병목의 메모리 중심 해법 모색 폭증하는 추론 연산…니어메모리·병렬 메모리 구도 부상SK하이닉스가 차세대 인공지능(AI) 인프라의 핵심 과제로 메모리와 컴퓨트의 결합을 제시했다.대규모 언어모델(LLM) 확산과 함께 AI 연산이 학습에서 추론 중심으로 이동하면서, 기존 GPU 중심 구조만으로는 처리·전력·지연(latency) 요구를 감당하기 어렵다는 진단이다.김창규 메타 수석엔지니어가 3일 서울 강남구 코엑스 'SK AI 서밋' 세션 무대에 올라 발언하는 모습.(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자](아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자]김호식 SK하이닉스 부사장(메모리 시스템 연구)은 3일 서울 강남구 코엑스에서 열린 ‘SK AI 서밋’에서 “AI 병목은 메모리 대역폭과 용량 모두에서 발생한다”며 “전통적 메모리 피라미드에서 벗어난 병렬 계층구조가 필요해지고 있다”고 말했다.이어 “컴퓨트와 메모리를 인접 배치하는 니어-메모리 프로세싱, 메모리 위에 연산을 얹는 구조까지 검토 중”이라며 “전력 효율도 새 병목으로 부상해 관련 아키텍처 대안을 탐색하고 있고, 곧 제품이 나올 것”이라고 밝혔다.니어-메모리 프로세싱은 메모리 근처에 연산 기능을 붙여 데이터 이동을 줄이는 방식이다.이 같은 기술 전환의 배경으로는 모델 규모와 컨텍스트 길이 확대가 지목됐다.GPU 연산 성능 개선 속도와 시스템 메모리 접근 효율 개선 속도 간 격차가 벌어지고, 추론 과정에서 대량의 데이터 이동이 반복되면서 비용과 반응성이 좌우되는 구조가 됐다는 것이다.이날 세션은 필립 웡 TSMC 수석과학자(미국 스탠퍼드대 교수)가 좌장을 맡고 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자가 패널로 나섰다.김창규 메타 수석엔지니어는 “AI 중심축이 학습에서 추론으로 이동했다”며 “토큰 생성 단계의 데이터 이동이 사용자 경험과 비용을 결정한다”고 말했다.찰스 판 창업자는 “가중치·작업 메모리·지속 콘텐츠 계층이 확대되고 GPU 간 상태 공유가 필수로 바뀌고 있다”며 “HW·SW 혁신이 동시에 요구된다”고 했다.업계는 반도체 구조 전환이 메모리 시장 지형에도 변화를 가져올 것으로 보고 있다.실제로 스[SK AI 서밋] AI 인프라 병목의 메모리 중심 해법 모색 폭증하는 추론 연산…니어메모리·병렬 메모리 구도 부상SK하이닉스가 차세대 인공지능(AI) 인프라의 핵심 과제로 메모리와 컴퓨트의 결합을 제시했다.대규모 언어모델(LLM) 확산과 함께 AI 연산이 학습에서 추론 중심으로 이동하면서, 기존 GPU 중심 구조만으로는 처리·전력·지연(latency) 요구를 감당하기 어렵다는 진단이다.김창규 메타 수석엔지니어가 3일 서울 강남구 코엑스 'SK AI 서밋' 세션 무대에 올라 발언하는 모습.(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자](아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자]김호식 SK하이닉스 부사장(메모리 시스템 연구)은 3일 서울 강남구 코엑스에서 열린 ‘SK AI 서밋’에서 “AI 병목은 메모리 대역폭과 용량 모두에서 발생한다”며 “전통적 메모리 피라미드에서 벗어난 병렬 계층구조가 필요해지고 있다”고 말했다.이어 “컴퓨트와 메모리를 인접 배치하는 니어-메모리 프로세싱, 메모리 위에 연산을 얹는 구조까지 검토 중”이라며 “전력 효율도 새 병목으로 부상해 관련 아키텍처 대안을 탐색하고 있고, 곧 제품이 나올 것”이라고 밝혔다.니어-메모리 프로세싱은 메모리 근처에 연산 기능을 붙여 데이터 이동을 줄이는 방식이다.이 같은 기술 전환의 배경으로는 모델 규모와 컨텍스트 길이 확대가 지목됐다.GPU 연산 성능 개선 속도와 시스템 메모리 접근 효율 개선 속도 간 격차가 벌어지고, 추론 과정에서 대량의 데이터 이동이 반복되면서 비용과 반응성이 좌우되는 구조가 됐다는 것이다.이날 세션은 필립 웡 TSMC 수석과학자(미국 스탠퍼드대 교수)가 좌장을 맡고 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자가 패널로 나섰다.김창규 메타 수석엔지니어는 “AI 중심축이 학습에서 추론으로 이동했다”며 “토큰 생성 단계의 데이터 이동이 사
아마존대행