DevOps 및 클라우드 인프라

프라이빗 AI 인프라

고객님 제품의 AI 모델과 에이전트를 데이터를 직접 통제하는 곳에서 호스팅하세요. 저희는 이를 고객님의 인프라나 합의된 격리 환경에 배포한 뒤, 평가하고, 규모를 산정하고, 보안을 강화하고, 모니터링하고, 업데이트합니다.

프로젝트 논의하기프라이빗 AI 호스팅 논의하기

고객님 제품의 AI가 실제로 실행되는 곳

많은 AI 기능이 프롬프트, 문서, 출력을 서드파티 모델 API로 전송합니다. 일부 제품은 데이터 정책, 고객 계약, 또는 모델 버전을 고정해야 할 필요 때문에 그 처리를 자신이 통제하는 경계 안에서 수행해야 합니다. 저희는 고객님 제품을 위한 모델과 에이전트를 고객님의 클라우드 계정, 온프레미스, 또는 합의된 격리 환경에서 호스팅하고, 시간에 걸쳐 운영합니다. 이것은 고객님의 완성된 제품에 관한 것입니다. 저희가 소프트웨어를 구축하는 동안 사용하는 AI 도구는 별개의 결정입니다.

AI 지원, 전문가 주도의 AI 인프라

AI가 돕는 방식

  • 자동화된 검사와 모델 채점 검사로 후보 모델을 고객님의 평가 세트에 대해 점수화하며, 엔지니어가 표본 검토합니다.
  • 엔지니어 검토를 위한 서빙, 오토스케일링, 인프라 구성을 초안으로 작성합니다.
  • 부하 테스트와 사용 데이터를 분석하여, GPU가 아예 필요한지 여부를 포함해 컴퓨트 규모를 제안합니다.
  • 모델과 에이전트 로그를 검토하여 실패, 비정상적인 도구 호출, 답변 품질 저하를 드러냅니다.

전문가가 책임지는 부분

  • 답변 품질, 라이선스, 크기, 운영 비용을 고객님의 사용 사례에 견주어 모델을 선택합니다.
  • 컴퓨트 규모 산정: 측정된 워크로드가 필요로 할 때만 GPU를 사용합니다.
  • 네트워크 경계, 접근 제어, 그리고 무엇이 로깅되고 보존되며 환경 밖으로 나가도록 허용되는지.
  • 회귀 평가 후, 모델, 프롬프트, 에이전트 권한 변경에 대한 릴리스 승인.

경계 안에 머무는 것

내부 문서 어시스턴트에 대한 예시 경계입니다; 실제 경계선은 무엇이든 배포되기 전에 귀사와 합의합니다.

  • 경계 안

    • 프롬프트, 업로드된 문서 및 모델 출력
    • 모델 가중치와 추론을 실행하는 서버
    • 귀사의 파일에서 구축한 검색 인덱스 및 임베딩
    • 귀사의 정책이 허용하는 범위에서만 보관되는 로그 및 평가 데이터
    • 각각 범위가 지정된 권한을 가진, 내부 시스템으로의 에이전트 도구 호출

  • 승인이 있을 때만 경계를 넘는 것

    • 라이선스 및 평가 검사를 거친 후 반입되는 새 모델 버전
    • 외부 대시보드를 위한 집계 사용량 및 지연 시간 메트릭
    • 문제 해결을 위해 소프트웨어 공급업체와 공유되는 민감 정보를 가린 예시
    • 귀사가 허용하는 경우, 외부 모델 API로의 폴백 호출

  • 경계 밖에 머무는 것

    • 서드파티 모델 API 및 이를 운영하는 제공업체
    • 프롬프트 텍스트를 기록할 수 있는 호스팅 분석 또는 오류 추적
    • 서빙 소프트웨어의 공급업체 텔레메트리, 가능한 경우 꺼짐

저희가 구축하고 운영하는 것

고객님의 AI를 위한 호스팅, 평가, 운영

  • 모델 선택 및 평가

    Llama, Mistral, Qwen 같은 오픈 웨이트 모델을 고객님 자신의 예시에 대해 답변 품질, 속도, 라이선스, 운영 비용 측면에서 비교합니다.

  • 서빙 및 스케일링

    내부 API 뒤에 vLLM 같은 추론 서버를 두고, 실제 수요에 맞춰 규모를 산정한 요청 큐잉, 배칭, 오토스케일링을 적용합니다.

  • 적정 규모의 컴퓨트

    부하 테스트를 기반으로 산정한 CPU, GPU 또는 혼합 용량입니다. 더 작거나 양자화된 모델로도 충분한 경우가 많으며, GPU는 워크로드에 필요할 때만 추가합니다.

  • 액세스 및 네트워크 경계

    프라이빗 네트워킹, 인증된 엔드포인트, 역할 기반 액세스 및 통제된 아웃바운드 연결을 통해 프롬프트와 출력이 합의된 경계 안에 머무릅니다.

  • 로깅 및 모니터링

    지연 시간, 오류, 처리량, 리소스 사용량 및 답변 품질 신호를 추적하며, 저장될 수 있는 내용을 중심으로 로깅을 설계합니다.

  • 모델, 프롬프트 및 에이전트 업데이트

    업데이트는 회귀 평가를 거친 후에만 배포되며, 배포된 에이전트 운영도 포함됩니다: 도구 권한, 승인 지점, 실행 로그 및 사람의 인수입니다.

프라이빗 호스팅 AI가 필요한 대상

제품의 AI가 더 이상 외부 모델 API로 프롬프트와 문서를 보낼 수 없고, 팀의 누구도 이전에 프로덕션에서 모델을 실행해 본 적이 없는 경우입니다.

  • 엔터프라이즈 구매자가 데이터가 외부 모델 API에 도달하는 것을 허용하지 않는 소프트웨어 공급업체
  • 문서와 모델 로그를 자체 인프라에 유지해야 하는 규제 대상 팀
  • 계약서나 HR 기록과 같은 기밀 파일 위에 내부 어시스턴트를 구축하는 팀

일반적인 프라이빗 AI 요청

고객 사례 연구가 아니라, 저희가 범위를 정하는 일반적인 시나리오입니다.

  • 작동 중인 기능을 모델 API에서 이전하기

    문서 요약기가 상용 API를 사용하는데, 이제 대형 고객의 계약이 이를 금지합니다. 저희는 실제 입력으로 오픈 웨이트 모델을 테스트하고, 귀사의 품질 기준을 충족하는 모델을 귀사의 클라우드 계정에서 호스팅한 다음 동일한 내부 인터페이스 뒤에서 전환합니다.

  • 인터넷 연결이 없는 서버

    배포 사이트가 아웃바운드 인터넷을 전혀 허용하지 않아 모델을 로컬 서버에서 실행해야 합니다. 저희는 모델, 서빙 소프트웨어 및 종속성을 오프라인 설치용으로 패키징하고, 각 새 버전이 반입되기 전에 어떻게 검사되는지 합의합니다.

  • 프롬프트를 저장하지 않고 디버깅하기

    정책상 프롬프트에 개인 데이터가 포함될 수 있어 저장해서는 안 되지만, 그래도 실패는 여전히 조사해야 합니다. 저희는 기본적으로 메타데이터와 품질 신호를 로깅하고, 귀사가 승인할 때만 제한된 기간 동안 민감 정보를 가린 샘플을 캡처합니다.

요구사항에서 실행 중인 모델까지

  1. 01

    경계를 정의하기

    저희는 사용 사례, 처리 가능한 데이터, 경계의 위치, 예상 부하, 그리고 귀사의 평가 세트가 테스트할 품질 기준을 합의합니다.

  2. 02

    평가 및 규모 산정

    후보 모델을 귀사의 예시로 테스트한 다음, 부하 테스트를 기반으로 컴퓨팅 규모를 산정합니다. 결과가 필요성을 보여줄 때만 GPU를 권장합니다.

  3. 03

    배포 및 강화

    서빙, 액세스 제어, 네트워크 규칙, 로깅 및 모니터링을 코드로 배포한 다음, 실제 트래픽 전에 부하 및 실패 테스트를 수행합니다.

  4. 04

    운영 및 개선

    모니터링, 용량 및 액세스 검토, 그리고 회귀 평가를 통과한 후에만 배포되는 모델 또는 프롬프트 업데이트입니다.

AI 도구와 함께 작업하는 두 가지 방법

AI는 인프라 코드와 진단을 지원합니다. 구성과 로그를 어디에서 처리할 수 있는지 선택하세요.

확실하지 않으신가요? 범위 지정 중에 저희가 하나를 추천하겠습니다. AI 딜리버리 옵션 비교하기

프라이빗 AI 호스팅에서 제외되는 것

  • AI 기능이나 에이전트 자체를 설계하고 구축하는 것은 LLM Integration 또는 Automation Agents입니다; 이 서비스는 그 뒤의 모델을 호스팅하고 보안하며 운영합니다.
  • 맞춤 모델을 학습시키는 것은 Machine Learning Models이고, 언어 모델을 파인튜닝하는 것은 LLM Integration의 범위에 속합니다; 저희는 그 결과를 호스팅하고 운영합니다.
  • 웹 서버, 데이터베이스 및 일반 릴리스와 같은 나머지 애플리케이션을 실행하는 것은 Managed DevOps & Operations입니다; 이 서비스는 모델과 에이전트를 다룹니다.
  • 저희는 의도된 용도에 대해 모델 라이선스를 확인하지만, 라이선스 및 데이터 계약에 대한 법적 승인은 귀사의 자체 법률 자문에게 있습니다.

엔지니어링, QA 및 운영이 연결되는 방식

  • 제품에 적용하는 AI 엔지니어링

    저희 AI 엔지니어는 호스팅된 모델을 귀사의 제품에 연결합니다: 검색, 도구 호출, 에이전트 워크플로, 그리고 사람들이 검토하고 수정하거나 인수하는 화면입니다.

  • QA로서의 평가

    QA는 답변 품질, 도구 권한 및 실패 처리에 대한 평가 데이터셋과 회귀 검사를 유지하며, 모든 모델 또는 프롬프트 변경 전에 이를 실행합니다.

  • AI 동작을 위한 디자인

    디자이너는 AI 출력이 나타나는 방식을 설계합니다: 로딩 및 폴백 상태, 출처, 그리고 사람들이 결과를 수정하거나 재정의하는 데 사용하는 컨트롤입니다.

  • 출시 이후 운영

    모델을 호스팅하는 것은 일반 앱을 실행하는 것과 다릅니다. 저희는 용량, 액세스, 업데이트 및 평가를 지속적으로 검토하며, 지원 시간은 지원 계획에서 합의합니다.

FAQ

자주 묻는 질문

이것은 프라이빗 / 로컬 AI 엔지니어링 패키지와 어떻게 다른가요?

Private AI Infrastructure는 완성된 제품의 AI가 실행되는 곳입니다: 사용자나 직원이 함께 사용하는 모델과 에이전트입니다. 프라이빗 / 로컬 AI 엔지니어링은 개발 패키지입니다: 소프트웨어를 구축하는 동안 저희가 사용하는 AI 도구를 합의된 경계 안의 모델에 유지합니다. 다른 패키지인 Claude Code / OpenAI Codex 엔지니어링은 상용 코딩 에이전트를 사용합니다. 두 패키지 모두 이 서비스와 결합할 수 있습니다.

프라이빗 모델을 실행하려면 GPU가 필요한가요?

항상 그런 것은 아닙니다. 더 작거나 양자화된 모델은 분류, 추출 또는 소량의 내부 도구와 같은 작업을 위해 CPU에서 실행될 수 있습니다. 더 큰 모델, 긴 입력, 그리고 많은 동시 사용자는 일반적으로 GPU가 필요합니다. 저희는 귀사의 실제 사용 사례에 대한 부하 테스트를 기반으로 컴퓨팅 규모를 산정하고, 품질과 속도 요구를 충족하는 가장 작은 구성을 권장합니다.

어떤 모델을 호스팅할 수 있나요?

Llama, Mistral, Qwen 또는 Gemma와 같은 오픈 웨이트 언어 모델, 검색을 위한 임베딩 및 재순위 모델, 그리고 귀사 팀이 학습시킨 작업별 모델입니다. 저희는 귀사의 예시로 후보들을 비교하고, 권장하기 전에 의도된 용도에 대해 각 라이선스를 확인합니다.

자체 호스팅이 모델 API보다 저렴한가요?

경우에 따라 다릅니다. 낮거나 고르지 않은 볼륨에서는 적절한 약관의 호스팅 API가 더 저렴하고 간단한 경우가 많습니다. 프라이빗 호스팅은 데이터가 경계 안에 머물러야 할 때, 모델 버전에 대한 제어가 필요할 때, 또는 안정적인 볼륨으로 전용 용량이 경제적일 때 의미가 있습니다. 저희는 귀사가 결정하기 전에 예상 사용량에 비추어 두 가지를 모두 비교합니다.

제품의 AI를 경계 안에 유지하세요

AI 기능이 무엇을 하는지, 그리고 데이터가 어디에 머물러야 하는지 알려주세요. 이에 맞는 모델, 호스팅 및 운영 계획을 권장해 드리겠습니다.

프로젝트 논의하기프라이빗 AI 구성 계획하기