DevOps e Infraestrutura em Nuvem

Infraestrutura de IA Privada

Hospede os modelos de IA e agentes do seu produto onde você controla os dados. Nós os implantamos na sua infraestrutura ou em um ambiente isolado acordado e, então, os avaliamos, dimensionamos, protegemos, monitoramos e atualizamos.

Converse sobre seu projetoConverse sobre hospedagem de IA privada

Onde a IA do seu produto realmente roda

Muitas funcionalidades de IA enviam prompts, documentos e saídas para uma API de modelo de terceiros. Alguns produtos precisam que esse processamento ocorra dentro de um limite que eles controlam, por causa de política de dados, contratos com clientes ou da necessidade de fixar versões de modelos. Nós hospedamos modelos e agentes para o seu produto na sua conta de nuvem, on-premises ou em um ambiente isolado acordado, e os operamos ao longo do tempo. Isto se refere ao seu produto finalizado. As ferramentas de IA que usamos enquanto construímos o seu software são uma decisão separada.

Infraestrutura de IA assistida por IA e conduzida por especialistas

Como a IA auxilia

  • Pontuação de modelos candidatos em relação ao seu conjunto de avaliação, com verificações automatizadas e avaliadas por modelos que os engenheiros checam por amostragem.
  • Elaboração da configuração de serving, autoscaling e infraestrutura para revisão dos engenheiros.
  • Análise de testes de carga e dados de uso para sugerir o dimensionamento de computação, incluindo se há necessidade de GPUs.
  • Revisão dos logs de modelos e agentes para revelar falhas, chamadas de ferramentas incomuns e quedas na qualidade das respostas.

O que os nossos especialistas assumem

  • Escolha de modelo, ponderando qualidade das respostas, licenciamento, tamanho e custo de execução em relação ao seu caso de uso.
  • Dimensionamento de computação: GPUs apenas quando a carga de trabalho medida as exigir.
  • Limites de rede, controle de acesso e o que é registrado, retido ou autorizado a sair do ambiente.
  • Aprovação de release para mudanças de modelo, prompt e permissões de agentes, após avaliação de regressão.

O que permanece dentro do seu limite

Limite ilustrativo para um assistente de documentos interno; as linhas reais são acordadas com você antes de qualquer coisa ser implantada.

  • Dentro do seu limite

    • Prompts, documentos carregados e saídas do modelo
    • Pesos do modelo e os servidores que executam a inferência
    • Índices de busca e embeddings construídos a partir dos seus arquivos
    • Logs e dados de avaliação, mantidos apenas conforme sua política permitir
    • Chamadas de ferramentas de agente para sistemas internos, cada uma com permissões de escopo definido

  • Cruzam apenas com aprovação

    • Novas versões de modelo, trazidas após verificações de licença e avaliação
    • Métricas agregadas de uso e latência para um painel externo
    • Exemplos redigidos compartilhados com um fornecedor de software para resolver um problema
    • Chamadas de fallback para uma API de modelo externa, se você as permitir

  • Permanece fora

    • APIs de modelos de terceiros e os provedores que as executam
    • Análise ou rastreamento de erros hospedados que registrariam o texto do prompt
    • Telemetria de fornecedor do software de serviço, desligada sempre que possível

O que configuramos e operamos

Hospedagem, avaliação e operações para a sua IA

  • Seleção e avaliação de modelos

    Modelos de pesos abertos como Llama, Mistral ou Qwen comparados nos seus próprios exemplos quanto à qualidade das respostas, velocidade, licenciamento e custo de execução.

  • Serving e escalonamento

    Servidores de inferência como o vLLM atrás de uma API interna, com enfileiramento de requisições, batching e autoscaling dimensionados para a demanda real.

  • Computação dimensionada corretamente

    Capacidade de CPU, GPU ou mista dimensionada a partir de testes de carga. Modelos menores ou quantizados muitas vezes dão conta do recado; GPUs são adicionadas somente quando a carga de trabalho exige.

  • Limites de acesso e de rede

    Rede privada, endpoints autenticados, acesso baseado em funções e conexões de saída controladas, para que prompts e saídas permaneçam dentro do limite acordado.

  • Registro e monitoramento

    Latência, erros, throughput, uso de recursos e sinais de qualidade das respostas acompanhados, com o registro projetado em torno do que pode ser armazenado.

  • Atualizações de modelo, prompt e agente

    Atualizações lançadas apenas após avaliação de regressão, além da operação de agentes implantados: permissões de ferramentas, pontos de aprovação, logs de execução e assunção humana do controle.

Quem precisa de IA hospedada de forma privada

A IA do seu produto não pode mais enviar prompts e documentos para uma API de modelo externa, e ninguém na equipe executou modelos em produção antes.

  • Fornecedores de software cujos compradores corporativos não permitem que seus dados cheguem a APIs de modelos externas
  • Equipes reguladas que precisam manter documentos e logs de modelo em sua própria infraestrutura
  • Equipes que constroem assistentes internos sobre arquivos confidenciais, como contratos ou registros de RH

Solicitações típicas de IA privada

Cenários típicos que definimos em escopo, não estudos de caso de clientes.

  • Migrar um recurso em funcionamento de uma API de modelo

    Um resumidor de documentos usa uma API comercial, e o contrato de um grande cliente agora a proíbe. Testaríamos modelos de pesos abertos em suas entradas reais, hospedaríamos um que atenda ao seu padrão de qualidade na sua conta de nuvem e faríamos a troca por trás da mesma interface interna.

  • Servidores sem conexão com a internet

    Um local de implantação não permite nenhuma internet de saída, então os modelos precisam ser executados em servidores locais. Empacotaríamos os modelos, o software de serviço e as dependências para instalação offline, e acordaríamos como cada nova versão é verificada antes de ser levada para lá.

  • Depuração sem armazenar prompts

    A política diz que os prompts podem conter dados pessoais e não devem ser armazenados, mas as falhas ainda precisam ser investigadas. Registraríamos metadados e sinais de qualidade por padrão, e capturaríamos amostras redigidas apenas quando você aprovar, por um período limitado.

Dos requisitos aos modelos em execução

  1. 01

    Definir o limite

    Acordamos os casos de uso, quais dados podem ser processados, onde fica o limite, a carga esperada e o padrão de qualidade que seu conjunto de avaliação testará.

  2. 02

    Avaliar e dimensionar

    Os modelos candidatos são testados em seus exemplos, e então a computação é dimensionada a partir de testes de carga. Só recomendamos GPUs se os resultados mostrarem que são necessárias.

  3. 03

    Implantar e reforçar

    Serviço, controle de acesso, regras de rede, registro e monitoramento são implantados como código e, em seguida, testados quanto a carga e falhas antes do tráfego real.

  4. 04

    Operar e melhorar

    Monitoramento, revisões de capacidade e acesso, e atualizações de modelo ou prompt lançadas apenas após a aprovação na avaliação de regressão.

Duas formas de trabalhar com ferramentas de IA

A IA auxilia no código de infraestrutura e nos diagnósticos. Escolha onde ela pode processar sua configuração e seus logs.

Não tem certeza? Recomendaremos um durante a definição de escopo. Compare as opções de entrega com IA

O que a hospedagem de IA privada exclui

  • Projetar e construir o recurso de IA ou o agente em si é Integração de LLM ou Agentes de Automação; este serviço hospeda, protege e opera os modelos por trás dele.
  • Treinar um modelo personalizado é Modelos de Machine Learning, e o ajuste fino de um modelo de linguagem está no escopo de Integração de LLM; nós hospedamos e operamos o resultado.
  • Executar o restante do seu aplicativo, como servidores web, bancos de dados e lançamentos comuns, é DevOps & Operações Gerenciados; este serviço cobre os modelos e agentes.
  • Verificamos as licenças dos modelos em relação ao seu uso pretendido, mas a aprovação jurídica de licenças e acordos de dados permanece com sua própria assessoria.

Como engenharia, QA e operações se conectam

  • Engenharia de IA no seu produto

    Nossos engenheiros de IA conectam modelos hospedados ao seu produto: recuperação, chamadas de ferramentas, fluxos de trabalho de agentes e as telas onde as pessoas revisam, corrigem ou assumem o controle.

  • Avaliação como QA

    O QA mantém conjuntos de dados de avaliação e verificações de regressão para qualidade das respostas, permissões de ferramentas e tratamento de falhas, e os executa antes de cada mudança de modelo ou prompt.

  • Design para o comportamento da IA

    Os designers moldam como a saída da IA aparece: estados de carregamento e de fallback, fontes e os controles que as pessoas usam para corrigir ou substituir um resultado.

  • Operações após o lançamento

    Hospedar um modelo é diferente de executar um aplicativo comum. Mantemos capacidade, acesso, atualizações e avaliações sob revisão, com horas de suporte acordadas em um plano de suporte.

FAQ

Perguntas frequentes

Em que isso difere do pacote de Engenharia de IA Privada / Local?

A Infraestrutura de IA Privada é onde a IA do seu produto finalizado é executada: os modelos e agentes com os quais seus usuários ou funcionários trabalham. A Engenharia de IA Privada / Local é um pacote de desenvolvimento: ele mantém as ferramentas de IA que usamos ao construir seu software em modelos dentro de um limite acordado. O outro pacote, Engenharia com Claude Code / OpenAI Codex, usa agentes de codificação comerciais. Qualquer um dos pacotes pode ser combinado com este serviço.

Precisamos de GPUs para executar modelos privados?

Nem sempre. Modelos menores ou quantizados podem ser executados em CPUs para tarefas como classificação, extração ou ferramentas internas de baixo volume. Modelos maiores, entradas longas e muitos usuários simultâneos geralmente precisam de GPUs. Dimensionamos a computação a partir de testes de carga em seus casos de uso reais e recomendamos a menor configuração que atenda às suas necessidades de qualidade e velocidade.

Quais modelos vocês podem hospedar?

Modelos de linguagem de pesos abertos como Llama, Mistral, Qwen ou Gemma, modelos de embedding e reranking para busca, e modelos específicos de tarefas que sua equipe treinou. Comparamos os candidatos em seus próprios exemplos e verificamos cada licença para o uso pretendido antes de recomendar um.

Hospedar por conta própria é mais barato do que uma API de modelo?

Às vezes. Em volume baixo ou irregular, uma API hospedada sob termos adequados costuma ser mais barata e simples. A hospedagem privada faz sentido quando os dados precisam permanecer dentro do seu limite, quando você precisa de controle sobre as versões do modelo ou quando um volume estável torna econômica a capacidade dedicada. Comparamos as duas opções com o seu uso esperado antes de você se comprometer.

Mantenha a IA do seu produto dentro do seu limite

Conte-nos o que seus recursos de IA fazem e onde os dados precisam permanecer. Recomendaremos modelos, hospedagem e um plano de operação à altura.

Converse sobre seu projetoPlaneje sua configuração de IA privada