고성능 컴퓨팅(HPC)이란?
HPC(고성능 컴퓨팅)는 기존 컴퓨터와 서버보다 훨씬 높은 마력을 제공하는 방식으로 컴퓨팅 성능을 통합하는 방식을 말합니다. HPC 또는 슈퍼 컴퓨팅은 일상적인 컴퓨팅과 같지만 더 강력합니다. 여러 대의 컴퓨터와 스토리지를 응집력 있는 패브릭으로 사용하여 매우 빠른 속도로 방대한 양의 데이터를 처리하는 방법입니다. HPC를 사용하면 사이언스, 엔지니어링 및 비즈니스에 있어 가장 큰 문제들을 탐색하고 이에 대한 답을 찾을 수 있습니다.
오늘날 HPC는 복잡한 성능 중심 문제를 해결하는 데 사용되며 기업들은 점점 더 HPC 워크로드를 클라우드로 전환하고 있습니다. 클라우드의 HPC는 필요한 프로토타입 수 감소, 테스트 가속화, 출시 소요 시간 단축 등의 이유로 제품 개발 및 연구의 경제성을 변화시키고 있습니다.
HPC는 어떻게 작동합니까?
DNA 시퀀싱 같은 일부 워크로드는 단일 컴퓨터에서 처리하기에 규모가 너무 방대합니다. HPC 또는 슈퍼 컴퓨팅 환경은 단기간에 대량의 컴퓨팅을 수행하기 위해 하나의 클러스터(연결 그룹)에서 개별 노드들(컴퓨터)을 작동시킴으로써 이렇게 규모가 크고 복잡한 문제를 해결합니다. 이러한 클러스터의 생성 및 제거는 비용을 줄이기 위해 클라우드에서 자동화되는 경우가 많습니다.
HPC는 다양한 종류의 워크로드에서 실행이 가능하지만, 가장 일반적인 두 가지 사용 사례로 처치 곤란 병렬 워크로드와 긴밀하게 결합된 워크로드를 들 수 있습니다.
처치 곤란 병렬 워크로드
동시에 실행 가능한 작고 단순하며 독립적인 작업으로 구분된 컴퓨태이셔널 문제들을 의미합니다. 이 작업들은 서로 커뮤니케이션을 거의 또는 전혀 하지 않는 경우가 많습니다. 예를 들어, 회사는 노드 클러스터에서 개별 프로세서 코어에 1억 개의 신용 카드 레코드를 제출할 수 있습니다. 하나의 신용 카드 레코드를 처리하는 것은 규모가 작은 작업이기 때문에 1억 개의 레코드가 클러스터에 분산되어 있으면 이러한 작은 작업을 동시에(병렬로) 놀라운 속도로 수행할 수 있습니다. 일반적인 사용 사례로는 위험 시뮬레이션, 분자 모델링, 컨텍스트 검색 및 물류 시뮬레이션이 있습니다.
긴밀하게 결합된 워크로드
일반적으로 대규모 공유 워크로드를 가져와서 작은 작업으로 분할하되, 작업들 간에는 지속적인 소통이 이루어지는 경우입니다. 즉, 클러스터의 서로 다른 노드들은 처리를 수행할 때 서로 소통합니다. 일반적인 사용 사례로는 전산 유체 역학, 일기 예보 모델링, 재료 시뮬레이션, 자동차 충돌 에뮬레이션, 지리 공간 시뮬레이션 및 교통 관리가 있습니다.
HPC가 중요한 이유
HPC는 수십 년 동안 학술 연구 및 산업 혁신에서 중요한 부분을 차지했습니다. HPC는 엔지니어, 데이터 사이언티스트, 설계자 및 기타 연구자들이 기존 컴퓨팅보다 훨씬 적은 시간과 비용으로 크고 복잡한 문제를 해결할 수 있도록 도와줍니다.
HPC의 주요 장점은 다음과 같습니다.:
- 물리적 테스트 감소: HPC를 사용하여 시뮬레이션을 생성할 수 있으므로 물리적 테스트가 필요하지 않습니다. 예를 들어, 자동차 사고를 테스트할 때 충돌 테스트를 수행하는 것보다 시뮬레이션을 생성하는 것이 훨씬 쉽고 비용이 저렴합니다.
- 속도: HPC에는 최신 CPU, 그래픽 처리 장치(GPU) 및 원격 직접 메모리 액세스(RDMA) 같이 지연 시간이 짧은 네트워킹 패브릭이 올 플래시 로컬 및 블록 스토리지 장치에 결합되어 있기 때문에 몇 주 또는 몇 개월이 아닌 단 몇 분 만에 대규모 계산을 수행할 수 있습니다.
- 비용: 응답 시간을 단축하면 시간과 비용 낭비를 줄일 수 있습니다. 또한 소기업과 스타트업은 클라우드 기반 HPC를 사용하여 HPC 워크로드를 비용 효과적으로 실행할 수 있습니다. 사용한 서비스에 대해서만 비용을 지불하고 필요에 따라 확장 및 축소를 할 수 있기 때문입니다.
- 혁신: HPC는 거의 모든 산업에서 혁신을 주도하며, 전 세계 사람들의 삶의 질을 높여주는 획기적인 과학적 발견의 원동력입니다.
HPC 사용 사례 - 어떤 업종에서 고성능 컴퓨팅을 사용합니까?
거의 모든 산업 분야의 Fortune 1000대 기업이 HPC를 사용하고 있으며, 그 인기가 날로 높아지고 있습니다. Hyperion Research에 따르면 2022년, 전 세계 HPC 시장의 규모는 440억 달러에 달할 것으로 예상됩니다.
다음은 HPC를 사용하는 일부 산업과 HPC를 통해 수행을 지원할 수 있는 워크로드의 유형입니다.
- 항공 우주: 비행기 날개 위의 기류와 같은 복잡한 시뮬레이션 생성
- 제조: 시뮬레이션(예: 자율 주행 시뮬레이션)을 실행하여 신제품의 설계, 제조 및 테스트를 지원함으로써 더 안전한 자동차, 더 가벼운 부품, 더 효율적인 프로세스 및 혁신을 실현
- 재무 기술(핀테크): 복잡한 위험 분석, 빈번한 거래, 금융 모델링 및 사기 탐지 수행
- 유전체학: 조상 연구를 지원하기 위한 DNA 시퀀싱, 약물 상호 작용 분석, 단백질 분석 실행
- 의료: 약물 연구, 백신 개발, 희귀 질환 및 공통 질환을 위한 혁신적인 치료법 개발
- 미디어 및 엔터테인먼트: 애니메이션 제작, 영화용 특수 효과 렌더링, 대용량 미디어 파일 트랜스코딩, 몰입형 엔터테인먼트 제작
- 오일 및 가스: 공간 분석을 수행하고 저수지 모델을 테스트하여 석유 및 가스 자원의 위치를 예측하고, 유체 흐름 및 지진 처리와 같은 시뮬레이션을 수행
- 소매: 대상에 맞는 제품 추천과 더 나은 고객 서비스 제공을 위해 방대한 양의 고객 데이터를 분석
HPC는 어디에서 수행됩니까?
HPC는 온프레미스, 클라우드 또는 이 둘을 합친 하이브리드 모델에서 수행이 가능합니다.
온프레미스 HPC 배포 모델의 경우, 기업이나 연구 기관이 서버, 스토리지 솔루션 및 향후 관리 및 업그레이드가 가능한 기타 인프라로 이루어진 HPC 클러스터를 구축합니다. 클라우드 HPC 배포 모델에서는 클라우드 서비스 제공업체가 인프라를 운영 및 관리하고 조직은 Pay-as-you-go 모델에서 인프라를 사용합니다.
일부 조직, 특히 온프레미스 인프라에 투자했지만 클라우드의 속도, 유연성 및 비용 절감 이점을 활용하려는 조직은 하이브리드 배포 모델을 사용합니다. 클라우드를 사용하면 일부 HPC 워크로드를 지속적으로 실행하고, 온프레미스에서 대기열 시간이 문제가 될 때마다 임시로 클라우드 서비스로 전환을 할 수 있습니다.
온프레미스 HPC 배포 시 해결해야 할 과제는 무엇입니까?
온프레미스 HPC 환경을 보유한 조직은 운영에 대한 상당한 제어 권한을 확보하지만, 다음과 같은 몇 가지 문제를 해결해야합니다.
- 지속적인 업그레이드가 필요한 컴퓨팅 장비에 상당한 자본 투자
- 지속적인 관리 및 기타 운영 비용 지불
- 특히 수요 급증 시에는 사용자가 HPC 워크로드를 실행할 수 있기까지 며칠에서 몇 개월의 지연 또는 대기 시간이 발생
- 긴 구매 주기로 인해 더 강력하고 효율적인 컴퓨팅 장비로의 업그레이드가 연기되어 연구 및 비즈니스 속도가 저하
온프레미스 환경의 비용 및 기타 문제로 인해 클라우드 기반 HPC 배포의 인기가 점차 높아지고 있는 부분도 있지만, Market Research Future는 2017년부터 2023년까지 전 세계 시장 성장률이 21%에 이를 것으로 예상하고 있습니다. 클라우드에서 HPC 워크로드를 실행하는 기업은 사용량에 대해서만 비용을 지불하고 필요에 따라 신속하게 워크로드를 확장/감축할 수 있습니다.
정상급 클라우드 제공업체들은 고객을 확보하고 유지하기 위해 HPC 워크로드용으로 특별 설계된 최첨단 기술을 유지하고 있기 때문에 온프레미스 장비가 노후화되어도 성능이 저하될 위험이 없습니다. 클라우드 제공업체는 가장 빠른 최신 CPU 및 GPU를 비롯해 저지연 플래시 스토리지, 초고속 RDMA 네트워크 및 엔터프라이즈급 보안을 제공합니다. 이 서비스는 대기 시간이 거의 없이 매일, 하루 종일 사용할 수 있습니다.
HPC 클라우드—클라우드 환경을 선택할 때 중요하게 고려해야 할 사항은 무엇입니까?
모든 클라우드 제공업체의 제품이 똑같지는 않습니다. HPC용으로 설계되지 않아서 워크로드 요구가 높은 피크 기간 동안에는 최적의 성능을 제공할 수 없는 클라우드도 있습니다. 클라우드 제공업체를 선택할 때 고려해야 할 4가지 특성은 다음과 같습니다.
- 최첨단 성능: 클라우드 제공업체는 최신 세대 프로세서, 스토리지 및 네트워크 기술을 보유하고 유지해야 합니다. 일반적인 온프레미스 배포의 요건을 충족하거나 능가할 수 있는 광범위한 용량과 최고급 성능을 제공하는지 확인하십시오.
- HPC 경험: 다양한 클라이언트에서의 HPC 워크로드 실행에 있어 풍부한 경험을 갖춘 클라우드 제공업체를 선택해야 합니다. 또한 여러 시뮬레이션 또는 모델을 실행할 때와 같이 피크 기간에도 최적의 성능을 제공하도록 클라우드 서비스를 설계한 업체를 선택해야 합니다. 대부분의 경우 베어메탈 컴퓨터 인스턴스는 가상 머신과 비교해 더 일관되고 강력한 성능을 제공합니다.
- 리프트 앤 시프트의 유연성: HPC 워크로드는 온프레미스와 동일한 방식으로 클라우드에서 실행되어야 합니다. 리프트 앤 시프트 작업에서 "있는 그대로" 워크로드를 클라우드로 이동한 후 그 다음 주에 시뮬레이션을 실행해도 10년 전에 실행했을 때와 일관된 결과가 나와야 합니다. 이는 동일한 데이터와 계산을 사용해 전년 대비 작업을 해야 하는 산업에서 매우 중요합니다. 예를 들어 공기 역학, 자동차 및 화학에 대한 계산에는 변화가 없었기 때문에 결과도 변경될 수 없습니다.
- 숨겨진 비용 없음: 클라우드 서비스는 일반적으로 사용량 기준 모델로 제공되므로 서비스를 사용할 때마다 지불하게 될 금액을 정확히 할 수 있습니다. 많은 사용자가 아웃바운드 데이터 이동 또는 송신 비용에 놀라는 경우가 많습니다. 트랜잭션 및 데이터 액세스 요청에 따라 비용을 지불해야 한다는 것은 알아도 송신 비용은 쉽게 간과할 수 있습니다.
기대하고 원하는 결과 얻기
일반적으로 더 강력한 제어와 성능을 제공하는 베어메탈 클라우드 서비스를 선택하는 것이 가장 좋습니다. RDMA 클러스터 네트워킹과 베어메탈 HPC를 하나로 결합하면 온프레미스에서 유사한 하드웨어를 사용할 때와 동일한 결과를 얻을 수 있습니다.
HPC의 미래는 어떻습니까?
여러 산업 분야의 기업과 기관들이 HPC에 눈을 돌리면서 성장을 주도하고 있으며, 이러한 추세는 향후 수 년 동안 이어질 것으로 예상됩니다. 전 세계 HPC 시장의 규모는 2017년 310억 달러에서 2023년 500억 달러로 확장될 것으로 예상됩니다. 클라우드 성능이 지속적으로 개선되고 더욱 안정적이고 강력해짐에 따라 데이터 센터 인프라 및 관련 비용에 수 백만 달러를 투자할 필요가 없는 클라우드 기반 HPC 배포에서 가장 큰 성장이 있을 것으로 보입니다.
머지 않아 대규모 컴퓨터 클러스터를 사용해 빅 데이터를 분석하고 시뮬레이션 및 기타 HPC 워크로드를 실행하는 등 빅 데이터와 HPC가 하나로 통합될 것으로 전망됩니다. 대세인 이 두 가지 기술이 통합됨에 따라 각각에 대한 컴퓨팅 성능과 용량이 증가하여 훨씬 획기적인 연구와 혁신으로 이어질 것으로 보입니다.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton Hyperion 연구 업데이트: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf