AI 시대 '제2의 ASML' 여기서 나올 겁니다...반도체 헤게모니를 뒤엎을 기술! 이걸 삼성이 해내면 TSMC 잡고 엔비디아도 인수할 겁니다 / 김정호 교수 (3부)

[음악] 아 오늘 너무 기술적인 얘기인 거 같은데이 유튜브니까 기록이 남으니까 10년 20년 30년 후에도 누가 틀어보고 맞네 이럴 까봐 드리는데 GPU 수 kw 10kw 아지 앞으로 미래에는 아니면 100kw 아지 전력을 쓸 거 같아요요 손바닥만 한 개 그러면 그 kw 다니면 전력이 어느 완전히 전열기 전열기 예 아 앞에 있는 저 히터 히터 히터 근데 요만한 칩이 이만나 히 만하지 않고요 손바닥만 합니다 예 아 그래요 어네 그런데 그러니까 이게 냉각이 어려워요 아 열 열을 발 우리 핸드폰도 즘 최근에 온디바이스 AI 들어간다고 이제 홍보를 하는데 그것도 리스크가 뭐냐면 인공지능 돌리다 보면 열열이 발열 문제가 있고 배터리가 빨리 쓸

수도 있는데 그이 GPU 너무 뜨거운 데다가 메모리를 얹어놓으면 메모리가 타 버리는 거예요 아 기술은러 가야 되는데 그래서 이제 냉각이 이제 굉장히 또 핵심적인 기술이 됩니다 제가 스무살로 돌아간다면 다시 한다면 예 어 이런 시대가 온지 모르고 과거로 돌아간다면 인공지능 공부할 거 같고 아니면 GP 설계해 볼 거 같고 그다음에 냉각 파트에 필요한 재료 공정 장 이런 쪽이 10년 20년 30년 후에 asml 같은 장비 회사가 나올 수도 있습니다 그 솔루션을 누가 제공을 하면 냉각 기술을 가진 자가 제 2의 asml 될 수도 있다네 그걸 이제 삼성이나 SK 하이닉스 tsmc 제공을 하면 아 이런 아이디어를 주셔도 이거 할 수가 없으니까

뭐 아무나 할 수 있겠습니까 근데 누군가 기계 공학하는 학생이 어이 방향을 잡자 이렇게 하고 평생 할 수도 있는 거죠 그래서 제가 저 연구실은 주로 전자공학 출신들 학생들이 이제 석박사과정을 많이 하는데 최근에는 한 학생은 기계과 출신을 뽑았어요 기계과 출신을 걔가 열을 좀 알 거 같아서 내가 전기 가르쳐 주고 hbm 가르쳐주고 걔는 열 가르켜 주고 융합이나 예 근데 재 재밌게 하고 있습니다 그러니까 약간 저는 그런 거 많이 봤거든요네 그 게임 좀 세게 하시는 분들이 이게 팬 돌려서 하는 공랭식으로 안 되니까 수랭식 컴퓨터 앞으로 컴퓨터 쓰려면 전기만 꽂는게 아니라 물도 꽂아야 예 그래서 물 순환시키고 자동차 라디에이터처럼 거죠

근데이 hbm 그렇다고 해서 뭐요 손바닥만 하면 반도체 위에다 수랭식 물 돌리기도 참 돌려야 된다는 거죠 그 이미 연구되고 있습니다 그거 이머전 쿨링이 그러는데요 이머전 쿨링네이 컴퓨터 자체를 그냥 냉각수에 넣어 버리는 거예요 와 데이터센터 전체를 액체 질소나 우리 초전도 할 때 액체 질소나 액체 헬륨에가 집어 넣거든요 아 슈퍼 컴퓨터 전체를 다 거기다 넣을 수도 있어요 미래 한 30년 지나면 와 그니까 지금 뭐 서버실에 에어컨 많이 돌려야 되는데 그 그죠 그래서 우리 더울 때 거기 앉아 있잖아요 그거 갖고 안 되니까 이제 데이터센터 전체를 그냥 액체 질수는 액체 헬륨에 담가야 되는 상상력도 필요합니다 서버 실을 통째로 와 그니까

GP 아까 hbm 그 모를 가 보통 256개 단위로 슈퍼 컴퓨터가 되는데 그거 한 몇백 대가 전체가 이렇게 요런 생각을 제가 90년대 초반에 했다는 거 아닙니까 그런데 이렇게 진행되는 것처럼 그니까 그런게 기술이 실현되려면 많은 인력 투자 연구가 필요하지만 앞으로 시대가 인공지능이 세 개를 재패하는 시대가 되고 패권의 시대가 되면 그렇게 될 수밖에 없는게 있어요 어 양자 컴퓨팅이 그걸 좀 바꿔보고 싶거나 지금의 컴퓨터 구조상에서 소프트웨어 구상에서는 그게 바틀이 될 거 같습니다 그 바틀을 병목 현상을 풀어내는 자가 승리하는 거고요 그렇다고 봅니다 제가 머리가 좋아서 카이스트 만 갔어도 제가 교수님 붙자고 교수님 사하시 뭐 내년도 입학하기 근데 이제 우리가 반도

인공지능 차세대 반도체는 무엇이 될까데 런 상 말 그서 인공지능 반도체라는 걸 어떻게 정의하느냐 보면 아까 미국의 세레브스 럼 아예 10인치 웨이퍼 전체 메모리를 깔고 거기 이제 GPU 까는 방법이 있고 제가 주장하는 것처럼 ap hbm처럼 좀 뭐 이렇게 3차 원조로 구현하는 방법이 있고 또 어떤 분들은 메모리 안에다가 계산하는 길을 집어넣자 들이 있고 어 뭐 그걸 통틀어서 전체를 다 AI 반도체라고 얘기할 수 있습니다 아 그러네요 그 방금 메모리 안에다가 계산기를 집어 넣자고 하던게 요즘 좀 기사에도 나옵니다 pim 그렇습니다 프로세싱인 메모리 그러니까 메모리 반도체가 어떻게 보면 이제 냉장고 같은 역할만 하는게 아니라네이 안에서 계산도지가 해 주는 그러니까 어

데이터가 GPU 아지 갔다 오는 거가 아니고 그 안에서 이제 하려고 하는 거죠 그러면 GPU 독립하려고 하는 거죠 그러면 엔비디아에서 복 예 가만 안 나둘 수도 있고 또 하나는 메모리는 공정 자체가 계산에 약해요 그니까 그니까 데이터를 많이 저장할 수 있는 구조로 공정이 특화돼 있어요 그래서 성능이 좀 안 나오는게 있고 아 그니까 일단 용도가 참고고음 음식을 이제 담아 놓는 냉장고 용도인데 거기에서 요리하고 하 하라고 시키는 거죠 그게 이제 어려운 점이 하나가 있고 그다음에 그럼 소프트웨어가 다 바뀌어야 돼요 아 아 그 지금은 CPU GPU 테 명령을 주고 GPU 메모리 하고 데이터 주고받으면서 계산을 해요네 그러면 CPU 쪽에서 너

메모리에서 계산도 해 하고 명령을 줘 주도록 프로그램이 바뀌야 돼요 소프트웨어가 다 바뀌어야 된다 다 바뀌야 돼요 쿠다 컴파일러가 다 바뀌어야 돼요 그 그니까 생태계가 바뀌는 거죠 그러니까 그 폰 노이만 구조가 조금 변형이 되는 거네요 CPU 아고 뭐 이렇게 그 메모리 안에서도 메모리 쪽이 있고 또 계산이 있는데 지역적으로 디램 안에 들어가는 거죠 예 그래서 어 그래서 크게 보면 이제 AI 반도체인의 조금 전에 말씀드린 그런 허들 그런 이제 생태의 변화를 확 바꿀 만큼한 동력과 성능 향상이 있느냐 이런게 게 있고 저는 아예 패키징에서 계산 잘하는 놈 한 층 메모리 자랑하 한 층 아래 위로 쌓자 둘이 합치면이 장점

저 장점 다 잃어버릴 수 있으니 그래서 제가 이제 hbm 미래에 더 관심 기울이는 편입니다 아 그러니까이 hbm이라는 메모리 반도체 안에다가 계산기를 넣으려고 하지 말고음 계산하는 그 시스템 반도체 하나 hbm 하나 계산한 시스템 반도체 하나 hbm 알아는 거고 근데 이제 세레브스 미국 회사는 메모리 필요해 우리 웨이퍼 안에 다 때려 넣게 디램 필요 없어 이런 주장인 거고 어 아까 그 12인 웨이퍼 자체를 그냥 반도체 하나로 통째로 만들어 버리는 저는 너도 잘하고 너도 잘하니까 사이 좋게 우리 아래 위로 살자 이런 위위아래 층으로 예 그런 개념인 거죠 야 요것도 그러면은 뭐 삼성전자 하이닉스에서 뭐 준비를 하고 있 있겠죠 아닌가

hbm 4까지는 준비하고 있는 거 같아요 저는 이제 그 다음 다음도 이제 얘기하고 있는 편이고요요 그러면요 그 hbm 4하고네 그다음에 이제 뭐 5 6 되면 그때부터 달라지는 건 아까 말씀하셨던이 적층 뿐만이가 달라 적 그 왜 그러냐면 예 자 GPU 생성 인공지능을 처리해야 되는데 행렬 계산을 해야 되는데 요즘 초대형 모델 파라미터네 저는 조단위 돼요네 파라미터 수주가 GPT 4나 5는네 파라미터는게 어떤 뭐 신경망 수라고 보 예 학습 변수 그 값을 정하는게 학습이 그러면 이제 똑똑해지는 거예요 예예예 너무 숫자가 많은 거예요 그렇죠 그림도 그려야지 글도 써야지 소리도 해야지 수학 문제도 풀어야지네 예 그러니까 그 걔네들을 다 멀리 있는 메모리가

아니라 hbm 최대한 가까운데 놓고 싶은 거예요 GPU 입장에서 는 네네네 그러니까 용량이 커져야 돼요 그러니까 많이 쌓을 수밖에 없죠 메모리를 그래서 2년마다 두 배 된다는 거고 어 제너레이션 다 두 배 정도씩 가지 않을까 싶고 지금 아 h100 아마 엔비디아게 hbm 여섯 개인가 이렇게 양쪽에 세 개씩 있을 겁니다 그러니까 H1 그 GPU 옆에 hbm 여섯 개 예네 그게 이제 또 두 배씩 들어갈 거 같아요 아 양옆으로 예 용량이 더 필요하니까 오 그다음에 또 하나는 매 2년 어 제너레이션이 456 가면서 그 연결망 연결선의 개수가 또 두 배씩 늘어날거다 땅굴 예 연결선 그다음에 tsv 엘리베이터 수도 두 배씩

늘어나 것이다 또 하나는 어이 한 차선으로 우리 그 시내 2층 버스 있잖아요 예 어 기차도 2층 기차 있잖아요 그럼 한 번 달릴 때 승객 수가 두 배가 되잖아요 그죠네 그래서 한 차선으로 1024기 그러는데 그 차선으로 데이터를네 개씩 보내려고 그래요 우와 4층 버스처럼 그걸 팜이 기술인데요 그것도 또 적용될 것 같고데 파워 소모를 줄이기 위해서 신호선에 전압을 계속 줄일 거 같고 어 그렇습니다 근데 이제 더 큰 변화는네 아 이게 좀 대학원 강의 같아서 조심스러운데 GPU 있고 메모리 hbm 있잖아요네 hbm고 GPU 하고 통신을 해야 되는데이 칩이 느리면 안 돼요 그래서 이제 tsmc 삼성 파운더리 써야 돼요 메모리 공정이

아니고음 그러면 이제 GPU 아지도 엔비디아 GPU 삼성 파운드리에서 같이 만들어야 된다 그럴 수 있다는죠 hbm이랑 같은 공장에서 자 저희 어 사는 대전의 동네가 좋아진게 옆에 신세계 백화점이 와서 그런데요 현실적입니다네 백화점이 운동장만 하더라고요 엄청 크죠 예 근데 거기에 호텔도 있고 그래요네 호텔이 일종에 60 몇 층이 뭐 hbm이라면 옆에 이제 백화점이 있는 거예요 아네 그 백화점이 GPU고 보면 호텔도 있는 거예요 그 사이에 왔다 갔다 하도록 지하 통로가 다 있고 거기 주차장도 있고네 그런데 아파트만이 아파트나 호텔만 있는게 아쉬우니까 1층에 상가 명품 가게를 몇 개 백화점에서 떼어오는 거야 아 그래서 가까운 거는 밑에 아파트나 호텔 밑에 가서 선물에 가게나

뭐 편의점이나 고급 브랜드는 거기서 하고음 일부 기능을 계산 기능을 갖고 오는 거예요음 그래서 그게 어떻게 되냐면 GP 고기가 GP 일부 기능을 갖고 오는 거예요 그러네요 그리고 CPU 기능도 거기 넣을 수도 있는 거예요 그러면 프로그래밍을 직접 거기다가 명령을 주면 기존의 인텔 CPU 엔비디아 GPU 거치지 않고 내가 직접 컴퓨터에서 명령을 주게 되는 거예요 그러면 이게 그러면 뭐가 되냐면 예 판도가 세상에 판도가 바뀌는 거예요 주도가 메모리 중심 컴퓨팅으로 바뀌어가는 거예요 아 은 우리 hbm 메모리가 있단 말이야 생성 인공지능 하기 위해서 얘를 내가 잘 학습해서 가지면 딴 딴 메모리 테도 전달해야 될 거 아니에요 그렇죠 그래야 수 수십만 명

수백만 명이 동시에 쓸 거 아니에요네 전달할 방법이 없어요 꼭 반드시 GPU CPU 거쳐야 돼요 으흠 그렇죠 그니까 핵의 모니를 거기서 갖고 있는 거죠네 그래서 메모리가 직접 메모리끼리 아 데이터를 주고 받겠다 아까 그 1024개 이런 라인을 이렇게 저는 진화에 갈 거라고 보는 거예요 그런 거를 제가 말로 붙였어 hbm 센트릭 컴퓨팅이라는 그랬잖아요 제가 오픈 AI 쓸 때 자꾸 버벅거리고 넣는게 그 메모리에서 못 읽어 와서 그런 거라고 그죠 그러니까 메모리가 주도하고네 GP 먹어는 가끔 계산해 와 이렇게 시키지 않는 거죠 그러니까 메모리가 주가 될수 있다 주가 그러면 세상의 판도가 어떻게 되냐면 제 예측에 30년이나 10년에 30년 후에 엔비디아가 삼성을

사거나 삼성이 디아를 사거나 그 중 중간에서 그니까 누가 생태계를 장악하는 따라서 예 근데 지금은 사이 좋게 엔비디아 삼성 하이닉스가 같이 고기를 설계를 하고 이렇게 미래를 디자인하고 있습니다 그 지난 여름에 우리 졸업생이 엔비디아에 다녀요 네네 여름에 와서 그 저에 밥을 우리 학생들하고 먹었어요 인도식당 가서 조금 비싼데 갔죠 그리고 가니까 한 주만 팔아서 식사하 사라 그랬더니 좋다고네 그러니까 400 몇십 분이었어요 근데 그 학생들하고 먹어봐야 400불 안 나오잖아요 근데 지금 500불 됐으니까 570 570달러 그래서 시가 총액이 188조 그니까 1월 19일 기준으로 그러면 삼성전자가 대략 우선 조 합치 한 500조 되니까 지금 세배 넘게 차이가 나는 거죠네 그래서 이런

그 이런 큰 이제 기회가 있으면 이제 인공지능 얘기도 하겠습니다만 인공지능 패권 시대에 어디가 그 주도권을 갖고 있느냐 엔비디아 보는 거죠 엔비디아 얘기는 또 다음 시간에 한 시간 또 같이 하고요 아 그런데 어쨌든 어 반도체로 보면 어 새로운 전쟁이 막 시작했다 근데 저는 hbm 한편 어차피 전공을 그 했으니까 hbm이 컴퓨팅 메모리 센트 릭으로 가자 그러려면 이제 뭐 소프트웨어 다 바뀌어야 되긴 하지만 어쨌거나 지금 약간 그렇게 서로 눈치 보면서 어 GPU 하는 회사하고 메모리 하는 회사가 서로 협력을 하고 있는 거 같습니다 그럼 뭐 삼성이나 엔비디아가 서로 간을 이제 인수하는 것뿐만이 아니라 뭐 합병을 택할 수도 있는 거고

이건 이제 설 상 소설인 거죠 근데 제가 영화를 보면 또 몇십년 후에 보면 맞는 영화들이 있어요 그니까 소설도 맞을 수도 있어요 예 그러면은 아까 저 이제 말씀하신게 AI 시대에는이 반도체 해기 머니가 메모리 중심으로 갈 수 있다 그리고 가고 있다 이거 현재 진행 형이네요 그리고 또 하나가 패키징이 중요한데 어차피 hbm 만드는 회사가 아니다 hbm 만드는 회사가 GPU 같이 붙여 버리는게 더 중요하니 그러면 파운드리에서네 삼성 파운드리의 영역이 훨씬 더 좀 공고해질 수도 있는 거네 그 기회를 보는 것 같아요 그런데 그럼 비디아 입장에서는 삼성이 너무 끌려 다니잖아요 그러니까 tsmc 테 일단 파운드리를 몰아 주고 싶을 텐데 어쩔 수

없이 삼성 파운더리 쓸 때까지가 봐야 되는 거죠 그러니까 지금은 제가 알기로는 tsmc ES 이제 패키징을 한다 하더라도네 자기네 GPU 갖다 주고네 삼성 hbm 그러니까 하이닉스 hbm 갖다 주고네 tsmg 얘들아 이거 좀 해 줘 패키징 해 줘 이건데네 근데 이제 그 패키징이 수요라는 그 뭐 케파가 안 되면 삼성한테 너희도 해 줘 그 그러면 삼성이 우리 파운더리 우리한테 맡겨 이렇게 이제 설득해 가야 되죠 예음 그러면은 약간 파운드리의 해계 머니도 바뀔 수가 있는 거고요 예 패키징이 조금 더 중요해지고 뒤집어지는 건 좀 시간이 걸리겠지만네 그렇습니다 하여튼 좋은 뭔가 전환점 기회가 산업적으로 오는 거는 분명히 보이네 근데 어 김정우 교수님께서

제 장착 네 반도체 설계 자체를 100% AI 설계하는게 목표라고 하시더라고요네 이것 또 오늘 또 재밌는 말씀을 더 드리고 싶은데 그래서 제가 hbm 설계를 하는데 차세대 hbm 4 5 6 하는데이 용도가 인공지능이네 용도 자체가 그러니까 인공지능 알고리즘을 궁금하더라고요 왜 어떤 식으로 알고리즘이 동작하기래 이런 아키텍처가 필요하 네 그래서 2015년부터 혼자 공부했어요 인공지능을 어 아무 선생님도 없었어요 그때 인공지능은 사실 지금 인공지능하면 전에 나온 트랜스포머 모델 나오면서 과거 인공지능은 다 무의미할 정도로 판이 팍팍 바뀌는 거예요네 근데 공부 열심히 했죠 어 그 그런데 눈이 뜨인 거예요 아 이래서 hbm 구조가 이렇게 되고 왜 성능이 어 어디에서 한계가 오는지 반도체와 인공지능을

동시에 이해하니까음 그런데 그렇게 다 보니까 무슨 생각이 드냐면 오 뭐 얘네들이 인공지능이 요즘은 코딩도 할 수 있어요음 그러면 우리 반도체 설계도 못 해하고 이제 연구를 시작했죠 그게 한 5 6년 된 거 같아요 아 벌써 5 6년 전가요네 해요 해요 예 그래서 제가 지난 학교 대학원 수업은 학생들이 채치 피티를 써서 반도체 설계하는 프 젝트를 했어요 어 그래서 그 긴 그래서 이런 연구를 이제 우리만 하는게 아니라 미국의 신나시스 케이던스 시스라 반도체 설 설계하려면 반드시 소프트웨어 툴이 있어야 돼요네 자동화가 필요하고 시뮬레이션이 필요한데 그 회사들이 하고 있더라고요 그런데 저희는 더 재밌게 하죠 우리는 이제 대단히 복잡한 문제는 안 하지만

간단한 문제를 이제 인공지능을 해 보고 있죠 어 최신 인공지능인 뭐 l&m 이라든가 네 트랜스폼 모델 이라든가 강화 학습 이라든가 최신 인공지능을 다 조합해 가지고 어 반도체 설계를 해보고 있습니다 야 그러니까 전체라 이보다는 특정한 부분 근데 이것도 한 10년 30년 지나면 엔지니어는 그냥 말만 하면 되는 시대가 올 것 같습니다 그니까 지시만 하면 조건을 알려 잘 지시하는게 이제 잘 알아야 되니까 그걸 이제 프롬트 엔지니어라고 그러는데 정확하게 알려 우리 그 매니저도 정확하게 일을 잘 지시해야 밑에서 사람이 잘하는 것처럼 그런 거죠 예 그렇죠 어떻게 지금 이제 해 보시면 좀 채치 피티가 말 좀 잘 듣나요 재밌습니다 일단음 예 어

뭐 그 우리 가족이나 자식들이나네 학생들보다는 더 재 편인 거 같습니다 아 더 말 말 잘 듣고 아직까지는 반항을 언제도 반응할지도 모르죠 인공지능이 근데 하여튼 아니 그건 그런 면보다는 재밌습니다 어 이렇게까지 할 수 있나 어 되네 오 세상이 이렇게 밝힐까 예 그런 생각을 많이 듭니다 아 대단하십니다 김정호 교수님께서 처음에 hbm 구상할 때도 그렇고 tsv 구상할 때도 그렇고 사실은 재밌어서 하시는 거잖아요 예 재밌죠 어 근데 세상에 이렇게 갈 거라고 하고 해 보는데 근데 이제 그 카이스 학생들이 워낙 잘하니까 제가 수업에서 무조건 아무것도 모르는 학생한테 인공지능 수업하면서 반도체 설계하고 턴 프로젝트 주면 애들이면 날 표 밤을 세는지 결과를

내요 어 그리고 국제학교에서 발표하면 또 상 받고 예고 그 지금 다 유튜브에 올렸습니다 거기서 그 학생들이 또 빅테크 기업들 가고 가고 가서 인정받고 어 뭐 그 예 연봉 잘 받고 예 와서 밥도 사고 밥도 사고 그 보통 지도교수 싫어 하면은 졸업하고 안 오잖아요 근데 군대도 마찬가지 그래서 또 찾아오고 밥도 사고 아 근데 그 친구들은 또가 내가 김정호 교수님의 제자요 하면 또 이제 통하니까 근데 주가가 오르지 밥 사 주니까 아 혹시 그 엔비디아는 이런 쪽에 그 엔지니어링 잘하는 그 제자 있으시면은 이쪽으로 좀 보내주세요 스트릿으로 그 학생들이 그 회사에 퍼미션을 받아야 될 텐데 근데 그 학생이 그럼

제가 젠슨 하고 좀 이야기를 해 볼게요 그 학생이 한 달 전에 또 구글을 옮겼더니 cpt 번역해 [음악] 가지고네