AI 플랫폼과 인프라

선택 방법

누구에게 맞는지. 최종 사용자용 채팅 앱이 아니라 모델을 실행·라우팅·호스팅할 장소가 필요한 팀. 플랫폼 엔지니어, ML·데이터 팀, 호스팅 추론과 자체 운영 스택을 비교하는 구매 담당자가 포함됩니다.

누구에게 맞지 않는지. API나 배포 작업 없이 소비자용 어시스턴트만 원하는 개인, 그리고 GPU 용량 계획·속도 제한·공급사 조건을 감당할 수 없는 팀에는 맞지 않습니다.

• 추론 API, 모델 마켓플레이스, 로컬 런타임, 완전한 클라우드 플랫폼을 구분합니다. 해결하는 일이 다르고 서로 대체되는 경우가 거의 없습니다.
• 모델이 자체 장비에 있어야 하는지, 공급사 GPU에서 돌아도 되는지, 지역 경계를 넘어도 되는지 정합니다. 이 기준만으로 후보 묶음이 통째로 걸러집니다.
• 제품 작업이라면 속도 제한, 지원 지역, 가용성 조건, 그리고 변하는 별칭이 아니라 특정 모델 버전을 고정할 수 있는지 확인합니다.
• 로컬 스택은 비용을 하드웨어와 운영으로, 호스팅 스택은 사용 요금과 공급사 조건으로 옮깁니다. 따라서 총비용을 장기 기준으로 비교합니다.

모델 마켓과 게이트웨이

여러 모델을 하나의 API나 UI 뒤에 노출하는 카탈로그와 게이트웨이입니다. 다음의 고속 추론 클라우드와 달리 자체 하드웨어를 보유하지 않고 주로 제3자 모델 접근을 중개합니다.

고속 추론 클라우드

낮은 지연 시간이나 높은 처리량 생성에 최적화된 호스팅 서비스입니다. 위의 게이트웨이와 달리 하드웨어를 직접 운영하며 속도로 경쟁하고, 아래의 로컬 런타임과 달리 자체 장비가 아니라 네트워크로 접속합니다.

로컬과 셀프호스트 런타임

노트북이나 자체 GPU에서 실행하는 소프트웨어로 로컬 UI도 포함합니다. 위의 호스팅 클라우드와 달리 데이터가 자체 장비를 벗어나지 않고 하드웨어 비용도 직접 부담합니다. 아래의 앱 빌더와 달리 모델을 앱으로 엮지 않고 직접 제공합니다.

LLM 앱과 에이전트 빌더

모델 위에 LLM 앱과 에이전트 워크플로를 구성하는 빌더입니다. 위의 런타임과 달리 오케스트레이션과 사용자 대상 로직을 더하고, 아래의 기업용 클라우드와 달리 대개 셀프서비스이며 특정 하이퍼스케일러에 묶이지 않습니다.

엔터프라이즈 클라우드 AI 서비스

IAM, 네트워크, 기업 계약으로 모델을 감싸는 하이퍼스케일러 서비스입니다. 위의 빌더와 달리 단일 클라우드의 아이덴티티·과금·거버넌스에 묶이고, 아래의 주권·지역 플랫폼과 달리 폭넓은 서비스 목록을 갖춘 글로벌 미국계 하이퍼스케일러입니다.

주권·지역 AI 플랫폼

미국계 하이퍼스케일러 외부에서 자체 모델 플랫폼을 판매하는 공급사로, 흔히 데이터 상주나 주권을 내세웁니다. 위의 기업용 클라우드와 달리 글로벌 하이퍼스케일러가 아닌 독립 공급사이며, 대개 지역 호스팅과 현지 계약을 강조합니다.

자주 묻는 질문

관련 가이드

• 로컬·비공개 문서 질의응답

관련 비교

• Fireworks AI vs Together AI vs Amazon Bedrock
• Ollama vs LM Studio vs Jan

출처와 기록 날짜

날짜는 인덱스 업데이트를 뜻하며 독립적인 실측을 의미하지 않습니다. 최신 기능과 요금은 연결된 문서에서 확인하세요.