DevOps ও AI ইনফ্রাস্ট্রাকচার

প্রাইভেট AI ইনফ্রাস্ট্রাকচার

আপনার প্রোডাক্টের AI মডেল ও এজেন্ট হোস্ট করুন এমন জায়গায়, যেখানে ডেটার নিয়ন্ত্রণ আপনার হাতে। আমরা সেগুলো আপনার ইনফ্রাস্ট্রাকচারে বা সম্মত একটি আইসোলেটেড এনভায়রনমেন্টে ডিপ্লয় করি, তারপর মূল্যায়ন করি, মাপ ঠিক করি, সুরক্ষিত করি, মনিটর করি ও আপডেট করি।

প্রজেক্ট শুরু করুনপ্রাইভেট AI হোস্টিং নিয়ে আলোচনা করুন

আপনার প্রোডাক্টের AI আসলে কোথায় চলে

অনেক AI ফিচার প্রম্পট, ডকুমেন্ট ও আউটপুট পাঠায় তৃতীয় পক্ষের কোনো মডেল API-তে। কিছু প্রোডাক্টের ক্ষেত্রে এই প্রসেসিং তাদের নিয়ন্ত্রণাধীন একটি সীমানার ভেতরে হওয়া প্রয়োজন, ডেটা নীতিমালা, গ্রাহকের সাথে চুক্তি বা মডেলের ভার্সন নির্দিষ্ট রাখার প্রয়োজনের কারণে। আমরা আপনার প্রোডাক্টের জন্য মডেল ও এজেন্ট হোস্ট করি আপনার ক্লাউড অ্যাকাউন্টে, অন-প্রেমিসেস বা সম্মত একটি আইসোলেটেড এনভায়রনমেন্টে, এবং দীর্ঘমেয়াদে সেগুলো পরিচালনা করি। এটি আপনার চূড়ান্ত প্রোডাক্টের বিষয়। আপনার সফটওয়্যার তৈরির সময় আমরা কোন AI টুল ব্যবহার করি, তা একটি আলাদা সিদ্ধান্ত।

AI-সহায়তায়, বিশেষজ্ঞদের নেতৃত্বে AI ইনফ্রাস্ট্রাকচার

AI যেভাবে সহায়তা করে

  • আপনার মূল্যায়ন সেটের সাপেক্ষে সম্ভাব্য মডেলগুলোর স্কোরিং, অটোমেটেড ও মডেল-গ্রেডেড চেকের মাধ্যমে, যা ইঞ্জিনিয়াররা নমুনা ধরে যাচাই করেন।
  • ইঞ্জিনিয়ারদের রিভিউয়ের জন্য সার্ভিং, অটোস্কেলিং ও ইনফ্রাস্ট্রাকচার কনফিগারেশনের খসড়া তৈরি।
  • লোড টেস্ট ও ব্যবহারের ডেটা বিশ্লেষণ করে কম্পিউটের মাপের পরামর্শ দেওয়া, GPU আদৌ দরকার কি না, তাসহ।
  • মডেল ও এজেন্টের লগ রিভিউ করে ব্যর্থতা, অস্বাভাবিক টুল কল ও উত্তরের কোয়ালিটিতে অবনতি খুঁজে বের করা।

আমাদের বিশেষজ্ঞদের দায়িত্ব

  • মডেল বাছাই, আপনার ইউজ কেসের সাপেক্ষে উত্তরের কোয়ালিটি, লাইসেন্সিং, আকার ও চলমান খরচ বিবেচনা করে।
  • কম্পিউটের মাপ নির্ধারণ: GPU কেবল তখনই, যখন পরিমাপ করা ওয়ার্কলোডে তা প্রয়োজন।
  • নেটওয়ার্ক সীমানা, অ্যাক্সেস কন্ট্রোল, এবং কী লগ করা হবে, কী সংরক্ষণ করা হবে বা কী এনভায়রনমেন্টের বাইরে যেতে পারবে।
  • রিগ্রেশন মূল্যায়নের পরে মডেল, প্রম্পট ও এজেন্টের অনুমতি-সংক্রান্ত পরিবর্তনের রিলিজ অনুমোদন।

আপনার সীমানার ভেতরে যা থাকে

একটি অভ্যন্তরীণ ডকুমেন্ট অ্যাসিস্ট্যান্টের নমুনা সীমানা; কিছু ডিপ্লয় করার আগেই প্রকৃত সীমারেখা আপনার সাথে মিলে ঠিক করা হয়।

  • আপনার সীমানার ভেতরে

    • প্রম্পট, আপলোড করা ডকুমেন্ট ও মডেলের আউটপুট
    • মডেলের ওয়েট এবং যে সার্ভারগুলো ইনফারেন্স চালায়
    • আপনার ফাইল থেকে তৈরি সার্চ ইনডেক্স ও এমবেডিং
    • লগ ও মূল্যায়নের ডেটা, যা রাখা হয় কেবল আপনার নীতিমালা যতটুকু অনুমতি দেয়
    • অভ্যন্তরীণ সিস্টেমে এজেন্টের টুল কল, প্রতিটি নির্দিষ্ট সীমার অনুমতিসহ

  • কেবল অনুমোদনে সীমানা পেরোয়

    • নতুন মডেল ভার্সন, লাইসেন্স ও মূল্যায়ন যাচাইয়ের পরে আনা
    • বাইরের একটি ড্যাশবোর্ডের জন্য সমষ্টিগত ব্যবহার ও লেটেন্সির মেট্রিক
    • কোনো সমস্যা সমাধানে সফটওয়্যার ভেন্ডরের সাথে শেয়ার করা রিড্যাক্ট করা উদাহরণ
    • বাইরের মডেল API-তে ফলব্যাক কল, যদি আপনি অনুমতি দেন

  • বাইরে থাকে

    • থার্ড-পার্টি মডেল API ও সেগুলো পরিচালনাকারী প্রোভাইডার
    • হোস্টেড অ্যানালিটিক্স বা এরর ট্র্যাকিং, যা প্রম্পটের টেক্সট রেকর্ড করত
    • সার্ভিং সফটওয়্যারের ভেন্ডর টেলিমেট্রি, যেখানে সম্ভব বন্ধ রাখা

আমরা যা সেটআপ করি ও চালাই

আপনার AI-এর জন্য হোস্টিং, মূল্যায়ন ও পরিচালনা

  • মডেল বাছাই ও মূল্যায়ন

    Llama, Mistral বা Qwen-এর মতো ওপেন-ওয়েট মডেল, আপনার নিজস্ব উদাহরণে উত্তরের কোয়ালিটি, গতি, লাইসেন্সিং ও চলমান খরচের ভিত্তিতে তুলনা করা।

  • সার্ভিং ও স্কেলিং

    একটি ইন্টারনাল API-এর পেছনে vLLM-এর মতো ইনফারেন্স সার্ভার, বাস্তব চাহিদার মাপে রিকোয়েস্ট কিউইং, ব্যাচিং ও অটোস্কেলিংসহ।

  • সঠিক মাপের কম্পিউট

    লোড টেস্টের ভিত্তিতে মাপ ঠিক করা CPU, GPU বা মিশ্র ক্যাপাসিটি। ছোট বা কোয়ান্টাইজড মডেলেই প্রায়ই কাজ হয়ে যায়; GPU যোগ করা হয় কেবল তখনই, যখন ওয়ার্কলোডে তা প্রয়োজন।

  • অ্যাক্সেস ও নেটওয়ার্ক সীমানা

    প্রাইভেট নেটওয়ার্কিং, অথেনটিকেশনযুক্ত এন্ডপয়েন্ট, রোলভিত্তিক অ্যাক্সেস ও নিয়ন্ত্রিত আউটবাউন্ড সংযোগ, যাতে প্রম্পট ও আউটপুট সম্মত সীমানার ভেতরেই থাকে।

  • লগিং ও মনিটরিং

    লেটেন্সি, এরর, থ্রুপুট, রিসোর্সের ব্যবহার ও উত্তরের কোয়ালিটির সংকেত ট্র্যাক করা হয়, আর লগিং ডিজাইন করা হয় কী সংরক্ষণ করা যাবে, তার ভিত্তিতে।

  • মডেল, প্রম্পট ও এজেন্ট আপডেট

    আপডেট রিলিজ করা হয় কেবল রিগ্রেশন মূল্যায়নের পরে, পাশাপাশি ডিপ্লয় করা এজেন্টের পরিচালনা: টুলের অনুমতি, অনুমোদনের ধাপ, রান লগ ও মানুষের হাতে নিয়ন্ত্রণ নেওয়ার ব্যবস্থা।

কাদের প্রাইভেটভাবে হোস্ট করা AI প্রয়োজন

আপনার প্রোডাক্টের AI আর বাইরের কোনো মডেল API-তে প্রম্পট ও ডকুমেন্ট পাঠাতে পারবে না, অথচ টিমের কেউ আগে কখনো প্রোডাকশনে মডেল চালাননি।

  • সফটওয়্যার ভেন্ডর, যাঁদের এন্টারপ্রাইজ ক্রেতারা নিজেদের ডেটা বাইরের মডেল API-তে যেতে দেবেন না
  • নিয়ন্ত্রিত খাতের টিম, যাদের ডকুমেন্ট ও মডেলের লগ নিজস্ব ইনফ্রাস্ট্রাকচারেই রাখতে হয়
  • চুক্তি বা HR রেকর্ডের মতো গোপনীয় ফাইলের ওপর ভিত্তি করে অভ্যন্তরীণ অ্যাসিস্ট্যান্ট তৈরি করছে এমন টিম

সাধারণত যে ধরনের প্রাইভেট AI অনুরোধ আসে

যে ধরনের পরিস্থিতি আমরা সাধারণত স্কোপ করি; এগুলো ক্লায়েন্টের কেস স্টাডি নয়।

  • চালু একটি ফিচারকে মডেল API থেকে সরিয়ে আনা

    একটি ডকুমেন্ট সামারাইজার একটি বাণিজ্যিক API ব্যবহার করে, আর একজন বড় গ্রাহকের চুক্তি এখন তা নিষিদ্ধ করেছে। আমরা এর বাস্তব ইনপুটে ওপেন-ওয়েট মডেলগুলো টেস্ট করব, আপনার কোয়ালিটির মানদণ্ড পূরণ করে এমন একটি মডেল আপনার ক্লাউড অ্যাকাউন্টে হোস্ট করব, এবং একই ইন্টারনাল ইন্টারফেস বজায় রেখে তার পেছনে নতুন মডেলে বদলে নেব।

  • ইন্টারনেট সংযোগহীন সার্ভার

    একটি ডিপ্লয়মেন্ট সাইটে কোনো আউটবাউন্ড ইন্টারনেট সংযোগের অনুমতি নেই, তাই মডেলগুলোকে লোকাল সার্ভারে চলতে হবে। আমরা অফলাইন ইনস্টলেশনের জন্য মডেল, সার্ভিং সফটওয়্যার ও ডিপেনডেন্সি প্যাকেজ করব, এবং প্রতিটি নতুন ভার্সন ভেতরে নেওয়ার আগে কীভাবে যাচাই করা হবে, তা ঠিক করে নেব।

  • প্রম্পট সংরক্ষণ না করেই ডিবাগিং

    নীতিমালা অনুযায়ী প্রম্পটে ব্যক্তিগত ডেটা থাকতে পারে এবং তা সংরক্ষণ করা যাবে না, অথচ ব্যর্থতার কারণ খুঁজে দেখা তখনও প্রয়োজন। আমরা ডিফল্টভাবে মেটাডেটা ও কোয়ালিটির সংকেত লগ করব, আর রিড্যাক্ট করা নমুনা সংগ্রহ করব কেবল আপনি অনুমোদন দিলে, একটি সীমিত সময়ের জন্য।

রিকোয়ারমেন্ট থেকে চালু মডেল পর্যন্ত

  1. 01

    সীমানা নির্ধারণ

    আমরা আপনার সাথে মিলে ঠিক করি ইউজ কেস, কোন ডেটা প্রসেস করা যাবে, সীমানা কোথায়, প্রত্যাশিত লোড এবং আপনার মূল্যায়ন সেট কোন কোয়ালিটির মানদণ্ড যাচাই করবে।

  2. 02

    মূল্যায়ন ও মাপ নির্ধারণ

    সম্ভাব্য মডেলগুলো আপনার উদাহরণে টেস্ট করা হয়, তারপর লোড টেস্টের ভিত্তিতে কম্পিউটের মাপ ঠিক করা হয়। ফলাফলে প্রয়োজন দেখা গেলেই কেবল আমরা GPU-এর সুপারিশ করি।

  3. 03

    ডিপ্লয় ও হার্ডেনিং

    সার্ভিং, অ্যাক্সেস কন্ট্রোল, নেটওয়ার্ক রুল, লগিং ও মনিটরিং কোড হিসেবে ডিপ্লয় করা হয়, তারপর বাস্তব ট্রাফিকের আগে লোড ও ব্যর্থতার পরিস্থিতিতে টেস্ট করা হয়।

  4. 04

    পরিচালনা ও উন্নতি

    মনিটরিং, ক্যাপাসিটি ও অ্যাক্সেস রিভিউ, আর মডেল বা প্রম্পট আপডেট রিলিজ করা হয় কেবল রিগ্রেশন মূল্যায়নে উত্তীর্ণ হওয়ার পরে।

AI টুল নিয়ে কাজের দুটি উপায়

ইনফ্রাস্ট্রাকচার কোড ও সমস্যা নির্ণয়ে AI সহায়তা করে। এটি আপনার কনফিগারেশন ও লগ কোথায় প্রসেস করতে পারবে, তা বেছে নিন।

নিশ্চিত নন? স্কোপিংয়ের সময় আমরা একটি সুপারিশ করব। প্যাকেজ দুটির বিস্তারিত তুলনা দেখুন

প্রাইভেট AI হোস্টিংয়ে যা অন্তর্ভুক্ত নয়

  • AI ফিচার বা এজেন্টটি নিজে ডিজাইন ও তৈরি করা পড়ে LLM ইন্টিগ্রেশন বা অটোমেশন এজেন্ট সার্ভিসের আওতায়; এই সার্ভিস এর পেছনের মডেলগুলো হোস্ট, সুরক্ষিত ও পরিচালনা করে।
  • কাস্টম মডেল ট্রেন করা পড়ে মেশিন লার্নিং মডেল সার্ভিসের আওতায়, আর ল্যাঙ্গুয়েজ মডেল ফাইন-টিউন করা স্কোপ করা হয় LLM ইন্টিগ্রেশনের আওতায়; ফলাফলটি আমরা হোস্ট ও পরিচালনা করি।
  • আপনার অ্যাপ্লিকেশনের বাকি অংশ চালানো, যেমন ওয়েব সার্ভার, ডেটাবেস ও সাধারণ রিলিজ, ম্যানেজড DevOps ও অপারেশনসের কাজ; এই সার্ভিস কভার করে মডেল ও এজেন্ট।
  • আপনার উদ্দিষ্ট ব্যবহারের সাপেক্ষে আমরা মডেলের লাইসেন্স যাচাই করি, তবে লাইসেন্স ও ডেটা চুক্তির আইনি অনুমোদন থাকে আপনার নিজস্ব আইনি পরামর্শদাতার হাতে।

ইঞ্জিনিয়ারিং, QA ও পরিচালনা যেভাবে যুক্ত থাকে

  • আপনার প্রোডাক্টে AI ইঞ্জিনিয়ারিং

    আমাদের AI ইঞ্জিনিয়াররা হোস্ট করা মডেলগুলোকে আপনার প্রোডাক্টের সাথে যুক্ত করেন: রিট্রিভাল, টুল কল, এজেন্ট ওয়ার্কফ্লো এবং সেই স্ক্রিনগুলো, যেখানে মানুষ ফলাফল রিভিউ করেন, সংশোধন করেন বা নিয়ন্ত্রণ নেন।

  • QA হিসেবে মূল্যায়ন

    উত্তরের কোয়ালিটি, টুলের অনুমতি ও ব্যর্থতা সামলানোর জন্য QA মূল্যায়ন ডেটাসেট ও রিগ্রেশন চেক রক্ষণাবেক্ষণ করে, এবং প্রতিটি মডেল বা প্রম্পট পরিবর্তনের আগে সেগুলো চালায়।

  • AI-এর আচরণের জন্য ডিজাইন

    AI-এর আউটপুট কীভাবে দেখাবে, তা ঠিক করেন ডিজাইনাররা: লোডিং ও ফলব্যাক স্টেট, সোর্স, এবং যে কন্ট্রোল দিয়ে মানুষ কোনো ফলাফল সংশোধন বা ওভাররাইড করেন।

  • লঞ্চের পরে পরিচালনা

    একটি মডেল হোস্ট করা সাধারণ অ্যাপ চালানোর চেয়ে আলাদা। আমরা ক্যাপাসিটি, অ্যাক্সেস, আপডেট ও মূল্যায়ন নিয়মিত রিভিউ করি, সাপোর্ট প্ল্যানে সম্মত সাপোর্ট আওয়ারসহ।

প্রশ্নোত্তর

সাধারণ প্রশ্নাবলী

প্রাইভেট / লোকাল AI ইঞ্জিনিয়ারিং প্যাকেজ থেকে এটি কীভাবে আলাদা?

প্রাইভেট AI ইনফ্রাস্ট্রাকচার হলো যেখানে আপনার চূড়ান্ত প্রোডাক্টের AI চলে: যে মডেল ও এজেন্ট নিয়ে আপনার ব্যবহারকারী বা কর্মীরা কাজ করেন। প্রাইভেট / লোকাল AI ইঞ্জিনিয়ারিং একটি ডেভেলপমেন্ট প্যাকেজ: আপনার সফটওয়্যার তৈরির সময় আমরা যে AI টুল ব্যবহার করি, সেগুলোকে এটি সম্মত একটি সীমানার ভেতরের মডেলে সীমাবদ্ধ রাখে। অন্য প্যাকেজটি, Claude Code / OpenAI Codex ইঞ্জিনিয়ারিং, বাণিজ্যিক কোডিং এজেন্ট ব্যবহার করে। যেকোনো প্যাকেজই এই সার্ভিসের সাথে একত্রে নেওয়া যায়।

প্রাইভেট মডেল চালাতে কি আমাদের GPU লাগবে?

সবসময় নয়। শ্রেণিবিন্যাস, তথ্য নিষ্কাশন বা কম ব্যবহারের অভ্যন্তরীণ টুলের মতো কাজে ছোট বা কোয়ান্টাইজড মডেল CPU-তেই চলতে পারে। বড় মডেল, দীর্ঘ ইনপুট ও একসাথে অনেক ব্যবহারকারীর ক্ষেত্রে সাধারণত GPU প্রয়োজন হয়। আপনার বাস্তব ইউজ কেসে লোড টেস্ট করে আমরা কম্পিউটের মাপ ঠিক করি এবং এমন সবচেয়ে ছোট সেটআপের সুপারিশ করি, যা আপনার কোয়ালিটি ও গতির প্রয়োজন মেটায়।

আপনারা কোন কোন মডেল হোস্ট করতে পারেন?

Llama, Mistral, Qwen বা Gemma-এর মতো ওপেন-ওয়েট ল্যাঙ্গুয়েজ মডেল, সার্চের জন্য এমবেডিং ও রির‍্যাঙ্কিং মডেল, এবং আপনার টিমের ট্রেইন করা নির্দিষ্ট কাজের মডেল। কোনোটির সুপারিশ করার আগে আমরা আপনার নিজস্ব উদাহরণে সম্ভাব্য মডেলগুলো তুলনা করি এবং আপনার উদ্দেশ্য অনুযায়ী ব্যবহারের জন্য প্রতিটির লাইসেন্স যাচাই করি।

মডেল API-এর চেয়ে সেলফ-হোস্টিং কি সস্তা?

কখনো কখনো। কম বা অনিয়মিত ব্যবহারের ক্ষেত্রে উপযুক্ত শর্তে একটি হোস্টেড API প্রায়ই তুলনামূলক সস্তা ও সহজ। প্রাইভেট হোস্টিং যুক্তিসঙ্গত হয় যখন ডেটা আপনার সীমানার ভেতরেই রাখতে হয়, যখন মডেলের ভার্সনের ওপর নিয়ন্ত্রণ দরকার হয়, অথবা যখন স্থির ব্যবহারের কারণে ডেডিকেটেড ক্যাপাসিটি সাশ্রয়ী হয়। আপনি সিদ্ধান্ত নেওয়ার আগে আমরা আপনার প্রত্যাশিত ব্যবহারের সাপেক্ষে দুটিকেই তুলনা করি।

সম্পর্কিত লেখা

আপনার প্রোডাক্টের AI রাখুন আপনার সীমানার ভেতরে

আপনার AI ফিচারগুলো কী করে এবং ডেটা কোথায় রাখতে হবে, আমাদের জানান। আমরা সেই অনুযায়ী মডেল, হোস্টিং ও একটি পরিচালনা পরিকল্পনার সুপারিশ করব।

প্রজেক্ট শুরু করুনপ্রাইভেট AI সেটআপের পরিকল্পনা করুন