인공지능(AI)이 분야를 가리지 않고 영역을 확장하고 있다. 특정 서비스 이용자의 데이터를 기반으로 관심사를 예측하는 데 쓰이는 머신러닝(Machine Learning, ML)이 대표적이다.
AI 발전에 따라 최근 세간의 이목을 끄는 것은 머신러닝 개발 및 운영 플랫폼이다. ML에 관한 데이터, 모델, 인프라 등을 통합적으로 관리하는 게 필요해서다. 머신러닝과 데브옵스(DevOps)의 합성어 ‘엠엘옵스(MLOps)’가 등장한 이유도 여기에 있다.
창업을 함선(Vessel) 운항에 빗대 표현하는 안재만 베슬에이아이(VESSL AI) 대표는 앞으로 머신리닝 시대가 펼쳐질 것이라고 확신하며, MLOps 플랫폼 ‘베슬(VESSL)'을 만들었다. 소프트웨어 시대에서 데브옵스(DevOps)의 성장처럼, 머신러닝 시대는 엠엘옵스가 그 역할을 담당한다고 생각했기 때문이다.
MLOps 플랫폼 ‘베슬(VESSL)' 개발 배경은?
머신러닝이 다양한 산업에 적용되기 시작한 것은 사실 그렇게 오랜 시간이 흐르지 않았다. 지난 몇 년간 ML이 산업 현장에서 쓰이면서 수요가 폭발적으로 증가하고 있는 상황이다.
흔히 머신러닝에서 데이터로 모델을 학습하는 과정을 거치는데, 이때 GPU를 많이 사용한다. 많게는 수백개에서 수천개의 GPU 인프라를 구축하여 수십, 수백 종의 데이터를 수백 테라바이트(TB) 이상 처리하여 수천, 수만 개의 머신러닝 실험을 통해 모델을 개발한다.
지금까지는 이런 과정을 통합한 플랫폼이 없었다. 기업들은 머신러닝 모델, 인프라는 물론 개발과정까지 체계적으로 관리하고, 데이터 수집부터 모델 학습, 운영 및 배포, 재학습 등의 사이클을 자동화하는 게 필요했다.
MLOps는 데브옵스(DevOps)와 비슷하다고 보면 된다. 소프트웨어 개발, 배포, 운영 등의 사이클을 만드는 게 데브옵스다. 엠엘옵스는 데이터 수집, 머신러닝 모델 개발, 배포, 운영 등을 총망라한 플랫폼이다.
미국의 실리콘 밸리에 있는 딥마인드, 우버, 넷플릭스 등은 자체적인 MLOps 플랫폼을 만들고 있다. 엠엘옵스 플랫폼이 기업의 핵심 경쟁력으로 떠오르는 있다는 것을 보여주는 사례다.
지난 10년 동안 데브옵스가 소프트웨어 혁신을 이끌었다면, 이제 막 시작한 머신러닝 시대에서 엠엘옵스가 데브옵스의 그 역할을 맡을 것이다.
‘베슬’에 대해 자세하게 설명해달라.
베슬은 베슬 런(VESSL RUN), 베슬 파이프라인(VESSL Pipelines), 베슬 아티팩트(VESSL Artifacts)로 구성했다.
‘베슬 런(VESSL RUN)'에서는 개발자들이 클라우드나 인프라에 대한 고민 없이 머신러닝 학습을 실행할 수 있다. 베슬에이아이에서 제공하는 클라우드, 아마존웹서비스(AWS), 구글 클라우드, 물리 서버 등 원하는 인프라를 자유롭게 연동하여 선택한 후 필요한 만큼 GPU를 선택해 머신러닝 모델을 만드는 게 가능하다.
과거에는 이러한 과정을 위해 GPU 서버를 하나씩 구축하여 머신러닝 학습을 하고 수작업으로 모든 결과를 정리했다면, 베슬 런은 서버 접속, 결과 저장 등의 모든 작업을 자동화했다. 개발자들이 머신러닝 워크로드, 인프라, 스케일 등에 구애받지 않고 수백, 수천 번의 머신러닝 학습을 실행하고 관리할 수 있다.
머신러닝 실행 결과를 모델별로 기록해 가시성을 확보하고 협업을 강화하는 베슬 런 대시보드(Dashboards)나 하이퍼파라미터 최적화, AutoML, 분산학습 등의 다양한 베슬 런 워크로드(Workloads)도 지원하고 있다.
베슬 파이프라인(VESSL Pipelines)은 머신러닝 데이터 전처리, 모델 개발, 배포 등을 자동화할 수 있는 기능이다. 베슬 아티팩트(VESSL Artifacts)는 기업들이 보유한 데이터, 모델, 자산 등을 하나의 대시보드에서 관리하는 것을 돕는다. 이를 통해 궁극적인 End-to-End MLOps 워크플로우를 구축할 수 있다.
베슬 도입 사례는?
GPU 클러스터를 운영하는 KAIST 김재철AI대학원은 지난해 VESSL을 도입했다. 20여 개 연구실에서 다수의 석‧박사과정 학생들이 VESSL을 이용하고 있으며, GPU 수백장으로 구성된 서버 수십대를 베슬로 운영 및 관리하는 중이다.
이 밖에도 현재 20여 개 이상의 기업 및 연구 기관에서 베슬의 유용성을 확인하고 있으며, 누적 이용자는 약 1천 명에 달한다. 올해 들어 퍼블릭 베타를 론칭해 국내 뿐만 아니라 국외에서도 사용자를 빠르게 확보해 나가고 있다.
‘베슬에이아이’ 창업에 SW 마에스트로가 어떤 도움을 줬나?
소프트웨어(SW) 마이스트로에서 가장 좋았던 점은 두 가지다. 첫 번째는 학교에서의 컴퓨터 공부와 다르게 소프트웨어 개발 프로젝트를 처음부터 끝까지 참여하는 경험을 해볼 수 있다는 것이다. 그 과정에서 현업에서 어떤 작업을 하는지 알 수 있었는데, 어떻게 보면 처음 개발을 시작하는 분에게 정말 중요한 부분이라고 생각한다.
실제로 소프트웨어 프로젝트를 하다 보면 이게 정말 나랑 맞는 길인지 판단하는 데 도움이 된다. 소프트웨어 개발에 재미를 붙이고 열정적으로 나아갈 수 있는 힘을 불어넣기도 한다.
두 번째는 소프트웨어 마에스트로에서 인맥을 쌓을 수 있다. 지난 시간을 돌이켜보면 소프트 마에스트로에서 만난 사람들과 동반 성장할 수 있었고, 수백 명의 개발자들과 함께 있다는 것 자체가 엄청난 자산이 된다.
SW 마에스트로 멘토로 활동할 때도 이 두 가지를 항상 강조한다. 소프트웨어 개발 프로젝트를 처음부터 끝까지 만들어 가고, 사람들을 최대한 많이 만나기를 바란다.
끝으로 소프트웨어 개발은 사람들이 원하는 것을 알아보는 게 제일 중요한 것 같다. 문제를 명확하게 정의하고. 그것을 해결하는 게 얼마나 가치 있는 일인지 고민해 보는 것을 추천한다.