1. AI 시대의 핵심 인프라, GPU의 중요성 및 확보 현황 [1]

thumbnail AI 시대의 핵심 인프라인 GPU는 병렬 처리 능력으로 인해 AI 모델 개발에 필수적이며, 전 세계적으로 GPU 확보 경쟁이 심화되고 있다.

1.1. GPU의 탄생과 AI 시대의 핵심 역할 [1]

  1. GPU의 탄생과 기능 [9]
    1. CPU와 GPU는 각각 중앙 처리 장치와 그래픽 처리 장치를 의미한다 [11].
    2. CPU는 컴퓨터의 두뇌 역할을 하며 복잡한 정보를 순차적으로 계산하는 데 특화되어 있다 [12].
    3. GPU는 엔비디아가 1999년 세계 최초의 그래픽 특화 장치인 지포스 256을 출시하며 명명한 것으로, 그래픽 처리에 특화되어 있다 [13].
    4. GPU는 수많은 픽셀 정보를 동시에 처리해야 하는 그래픽 작업에 필수적이다 [17].
    5. CPU가 소수의 똑똑한 계산기를 가진 반면, GPU는 덜 똑똑하더라도 훨씬 더 많은 계산기를 동시에 활용하여 병렬 연산에 강점을 가진다 [26].
  2. GPU의 AI 활용과 엔비디아의 성장 [31]
    1. GPU는 수많은 계산기가 한꺼번에 연산을 수행하여 CPU보다 압도적으로 높은 연산량을 보인다 [31].
    2. 엔비디아는 젠슨 황의 비전 아래 GPU의 병렬 계산 능력을 과학 연구 및 시뮬레이션에 활용하기 위한 '쿠다(CUDA)' 프로젝트를 시작했다 [36].
    3. 2012년 제프리 힌턴 팀의 알렉스넷 쇼크는 구글이 AI 신경망 훈련에 16,000대의 CPU 대신 단 두 개의 엔비디아 GPU를 사용하여 세상을 놀라게 한 사건이다 [41].
    4. 이후 엔비디아는 AI 전용 GPU를 생산하며 머신러닝과 AI 분야에 집중했고, 암페어 시리즈(A100)와 그레이스 호퍼 시리즈(H100)와 같은 AI 특화 GPU를 출시했다 [44].
    5. GPU의 병렬 처리 능력은 코인 채굴에도 활용되어 코인 광풍과 AI 발전이 맞물리면서 GPU 수요가 급증했다 [47].

1.2. 글로벌 GPU 확보 경쟁과 자체 AI 칩 개발 동향 [49]

  1. 글로벌 GPU 확보 경쟁 심화 [49]
    1. AI 리더 국가들은 모델 고도화를 위해, 후발 국가들은 뒤처지지 않기 위해 GPU 확보에 사활을 걸고 있다 [50].
    2. 엔비디아의 GPU 물량에는 한계가 있으며, 일론 머스크는 "GPU가 마약보다 구하기 어렵다"고 언급하기도 했다 [52].
    3. 2023년 엔비디아의 최대 고객은 마이크로소프트로, 전체 호퍼라인 GPU의 20%가 넘는 48만 5천 장을 구매했으며, 이는 43조 원이 넘는 금액으로 한국 국방부 예산과 맞먹는 수준이다 [56].
  2. 빅테크 기업들의 자체 AI 칩(NPU) 개발 [63]
    1. GPU는 태생적으로 그래픽 처리에 한계가 있어, 기업들은 AI 연산 전용 칩인 NPU(Neural Processing Unit)의 필요성을 느끼기 시작했다 [63].
    2. NPU는 AI 추론 처리에 특화되어 설계되었으며, 메모리와 연산 장치가 붙어 있어 GPU의 태생적 한계인 전력 소모 문제를 해결하고 회로 배선이 단순하여 소형화에 강점이 있다 [66].
    3. 구글은 TPU(Tensor Processing Unit)를 개발하여 바둑 AI 알파고에 활용했으며, 이세돌 9단과의 대결 시점에는 자체 TPU 48장을 활용하여 엔비디아 GPU에 대한 의존도를 낮췄다 [77].
    4. 메타는 MTIA, 마이크로소프트는 MAIA 100, 애플은 A&, 테슬라는 D1 등 다른 빅테크 기업들도 자체 AI 전용 칩 개발에 뛰어들고 있다 [84].
    5. 오픈 AI 또한 자체 AI 반도체 개발을 위해 7조 달러를 투자할 것이라고 발표했다 [89].

2. 대한민국 AI 인프라의 현실과 미래 과제: 전력 및 물 공급 문제 [91]

thumbnail 대한민국은 AI 경쟁력 확보를 위해 GPU와 데이터 센터 인프라 확충이 시급하며, 특히 AI 데이터 센터의 막대한 전력 및 물 소비 문제를 해결하기 위한 국가 차원의 마스터플랜이 필요하다.

2.1. 한국의 AI 인프라 현황 및 정부의 GPU 확보 계획 [91]

  1. 한국의 AI 인프라 부족 현실 [91]
    1. 한국은 GPU 부족으로 AI 연구에 어려움을 겪고 있다는 지적이 있으며, 2023년 기준 국내 AI 기업이 보유한 H100 GPU는 1,961개로 파악되었다 [91].
    2. 이 수치는 시차가 있고 과소 집계되었을 가능성도 있지만, 한국의 AI 개발 인프라가 부족하다는 사실은 변함이 없다 [96].
    3. AI 경쟁의 본질은 AI 모델의 성능이며, 이는 결국 AI를 학습시킬 수 있는 연산 능력, 즉 GPU 확보와 이를 수용할 데이터 센터 규모로 귀결된다 [99].
    4. 한국은 AI 경쟁력의 척도인 GPU와 데이터 센터 인프라가 턱없이 부족한 상태이다 [101].
  2. 데이터 센터 인프라 현황 [102]
    1. AI 구현의 핵심 인프라인 데이터 센터는 2024년 3월 기준 전 세계 11,800개가 운영 중이며, 이 중 절반에 가까운 45.6%가 미국에 집중되어 있다 [104].
    2. 한국은 153개의 데이터 센터를 운영 중이며, 대한상공회의소는 한국 AI가 글로벌 3위 안에 들기 위해 AI 데이터 센터 확충을 첫째로 꼽았다 [110].
    3. AI 데이터 센터의 연산 능력은 9개월마다 두 배씩 증가하며, 현재 가장 뛰어난 성능의 XAI 콜로서스 AI 데이터 센터는 HG GPU 10만 장이 탑재되어 70억 달러(약 9조 원)가 소요되었다 [114].
    4. 한국 광주 AI 데이터 센터에는 H100 GPU 880장이 들어 있으며, 연산량은 콜로서스의 1/1000 수준이다 [118].
  3. 정부의 GPU 확보 계획 [120]
    1. 한국 정부는 초기 2030년까지 GPU 3만 장 확보를 목표로 했으나, 속도가 느리다는 지적에 따라 목표를 수정했다 [125].
    2. 과학기술정보통신부는 2024년에 1조 4,600억 원을 투입하여 GPU 1만 장을 연내 확보할 계획이며, 2026년 또는 2027년 초까지 3만 장 확보를 목표로 하고 있다 [127].
    3. 현재는 엔비디아 GPU를 구매하지만, 점진적으로 삼성전자와 퓨리오사 AI가 개발 중인 국산 NPU를 활용할 계획이다 [129].

2.2. AI 데이터 센터의 전력 및 물 소비 문제와 국가적 마스터플랜의 필요성 [131]

  1. AI 데이터 센터의 막대한 전력 소비 [131]
    1. AI 인프라 구축 시 전력 문제가 매우 중요하며, AI 데이터 센터는 "전기를 먹고 자란다"는 말이 있을 정도로 전력 소모가 크다 [136].
    2. GPT-3 모델 학습에는 테슬라 모델 3를 17,000번 이상 충전할 수 있는 1,287MWh의 전력이 소모되었으며, 이는 지구 215바퀴를 돌 수 있는 에너지량이다 [139].
    3. 전 세계 데이터 센터의 전력 소비량은 2020년 300TWh에서 2030년 1,048TWh로 증가할 것으로 전망되며, 이는 2023년 일본의 총 전기 소비량보다 많은 규모이다 [143].
    4. 국제 에너지기구(IEA)는 현재 에너지 상황을 고려할 때 계획된 데이터 센터의 20%가 전력난을 겪을 것이라고 전망했다 [147].
    5. 아일랜드는 데이터 센터 건설 허가를 막고 있는데, 2023년 데이터 센터가 아일랜드 전체 전력의 21%를 차지했으며, 2032년에는 30%에 달할 것으로 예측되기 때문이다 [149].
    6. 미국 버지니아주도 데이터 센터의 전력 소비가 주 전체의 25%를 차지하여, 원활한 에너지 공급을 위해 석탄 발전을 재검토하기도 했다 [155].
    7. 한국은 AI 데이터 센터 건설 시 이러한 해외 사례를 참고하여 AI 인프라와 전력망을 설계해야 한다 [159].
  2. 한국의 전력망 불균형과 데이터 센터 분산 필요성 [160]
    1. 서울대와 숭실대에서 AI 데이터 센터를 지으려 했으나 변전소 설비 부족으로 한전이 추가 전력 공급에 난색을 표한 사례가 있다 [160].
    2. 한국은 수도권 집중도가 심각하여 비수도권에서 생산된 전력이 수도권으로 옮겨지고 있다 [161].
    3. 서울, 경기, 충청권은 소비량보다 발전량이 적어 전력 자급률이 낮고, 영남, 호남, 강원 지역은 발전량이 소비량보다 많아 전력이 남는다 [163].
    4. 국내 데이터 센터의 60% 가까이가 수도권에 몰려 있어, 대규모 데이터 센터를 수도권에 추가 건설하는 것은 바람직하지 않다는 지적이 나온다 [166].
    5. 특정 지역에 전력 소비가 몰리면 정전 가능성이 높아지고, 시스템 다운 시 사회 마비로 이어질 수 있으므로 전력망과 설비를 고르게 분배할 필요가 있다 [167].
    6. 이에 따라 2030년을 목표로 하는 국가 AI 컴퓨팅 센터도 비수도권에 세우는 것을 목표로 하고 있다 [168].
  3. AI 데이터 센터의 물 소비 문제 [169]
    1. 데이터 센터는 전기뿐만 아니라 냉각을 위해 엄청난 양의 물을 소비한다 [170].
    2. 100MW 이상의 대규모 데이터 센터는 하루에 200만 리터가 넘는 물이 필요하며, 이는 6,500가구가 사용하는 물의 양과 같다 [172].
    3. 2023년 최악의 가뭄을 겪었던 우루과이에서는 구글 데이터 센터의 물 사용에 대한 주민들의 반발과 시위가 발생했다 [175].
    4. 기후 위기로 인한 폭염과 가뭄이 잦아지면서 데이터 센터의 물 사용을 둘러싼 갈등은 국가를 가리지 않고 있으며, 네덜란드와 미국에서도 유사한 논란이 이어지고 있다 [178].
  4. 국가 차원의 AI 마스터플랜 필요성 [180]
    1. AI는 이제 선택이 아닌 필수 시대가 되었으며, GPU, NPU, 데이터 센터 등 AI 기반 인프라를 종합적으로 고려한 국가 차원의 마스터플랜이 필요하다 [180].