রিট্রিভাল সাহায্য করে; এটি সঠিক উত্তরের গ্যারান্টি দেয় না
Retrieval-augmented generation (RAG) একটি ল্যাঙ্গুয়েজ মডেলকে উত্তর দেওয়ার আগে নির্বাচিত ডকুমেন্ট সরবরাহ করে। এটি একটি ব্যবসার তথ্যের সাথে উত্তরকে আরও প্রাসঙ্গিক করতে পারে, তবে সিস্টেমটি এখনও ভুল অনুচ্ছেদ সংগ্রহ করতে পারে, কোনো ব্যতিক্রম মিস করতে পারে বা সোর্সে নেই এমন কোনো দাবি তৈরি করতে পারে।
একটি নির্দিষ্ট কাজ দিয়ে শুরু করুন: উদাহরণস্বরূপ, সাপোর্ট স্টাফদের বর্তমান রিটার্ন পলিসি খুঁজে পেতে সাহায্য করা। কোন সোর্সগুলো অথরিটেটিভ, কে সেগুলো রক্ষণাবেক্ষণ করে এবং কখন একটি উত্তরের হিউম্যান রিভিউ প্রয়োজন তা নির্ধারণ করুন। “আমাদের ডকুমেন্টগুলো ব্যবহার করুন” এমন একটি সাধারণ নির্দেশনা কোনো গ্রহণযোগ্যতার মানদণ্ড নয়।
ব্যবহারযোগ্য প্রমাণ প্রস্তুত এবং সংগ্রহ করুন
ডকুমেন্টগুলোকে অনুচ্ছেদে ভাগ করার সময় হেডিং, ডকুমেন্টের পরিচয়, ভার্সন এবং সোর্স লিঙ্কগুলো সংরক্ষণ করুন। ব্যতিক্রমগুলোকে সেই নিয়মের সাথেই রাখুন যেটির ওপর সেগুলো প্রযোজ্য। শুধুমাত্র একটি পদ্ধতি বা একটি নির্দিষ্ট চাঙ্ক সাইজ সবসময় সেরা হবে এমনটা ধরে না নিয়ে, প্রতিনিধি প্রশ্নগুলোর বিপরীতে কিওয়ার্ড, ভেক্টর এবং কম্বাইন্ড রিট্রিভাল তুলনা করুন। চূড়ান্ত রেসপন্স নির্ভুলভাবে ব্যবহার করছে কিনা তা দেখার আগে, প্রয়োজনীয় প্রমাণ রিট্রিভাল রেজাল্টে আলাদাভাবে উপস্থিত হচ্ছে কিনা তা পরীক্ষা করুন। দেখুন Microsoft-এর RAG আর্কিটেকচার ওভারভিউ.
টেক্সট মডেলে পৌঁছানোর আগে পারমিশন প্রয়োগ করুন
অথেনটিকেটেড ব্যবহারকারীর টেন্যান্ট এবং ডকুমেন্ট পারমিশন ব্যবহার করে রিট্রিভাল সীমাবদ্ধ করুন। মডেলকে গোপনীয় তথ্য লুকাতে বলা একটি অথরাইজেশন বাউন্ডারি নয়। সোর্স লিঙ্ক, জেনারেটেড সামারি, কনভারসেশন হিস্ট্রি এবং ক্যাশে করা উত্তরের জন্যও অ্যাক্সেস চেক প্রয়োজন। পারমিশন পরিবর্তন এবং ডকুমেন্ট ডিলিট করা অবশ্যই ইনডেক্স এবং যেকোনো ডেরাইভড স্টোরেজে প্রোপাগেট হতে হবে।
একটি ইমপ্লিমেন্টেশন উদাহরণের জন্য, Azure AI Search ডকুমেন্ট কোয়েরি-টাইম পারমিশন ফিল্টারিং। এর প্ল্যাটফর্ম-নির্দিষ্ট সক্ষমতা এবং প্রিভিউ সীমাবদ্ধতাগুলো উদ্দিষ্ট ডিপ্লয়মেন্টের জন্য পরীক্ষা করা প্রয়োজন।
অসমর্থিত প্রশ্নগুলোকে একটি সুস্পষ্ট ফলাফল হিসেবে নির্ধারণ করুন
একটি গুরুত্বপূর্ণ দাবির পেছনের অনুচ্ছেদটি দেখান এবং ব্যবহারকারীকে সেটি পরিদর্শন করতে দিন। একটি সাইটেশন কেবল তখনই কার্যকর যখন এটি প্রকৃতপক্ষে উত্তরটিকে সমর্থন করে। যদি সোর্সগুলো অনুপস্থিত, স্ববিরোধী বা পুরোনো হয়, তবে কী প্রতিষ্ঠা করা যায়নি তা বলুন এবং একটি প্রাসঙ্গিক সার্চ রেজাল্ট বা হ্যান্ডঅফ অফার করুন। একটি দুর্বল রিট্রিভাল স্কোরকে বানিয়ে বলা কনফিডেন্স পারসেন্টেজ-এ রূপান্তর করবেন না।
উদাহরণ: একটি নীতিতে বলা আছে যে না-খোলা পণ্য 30 দিনের মধ্যে ফেরত দেওয়া যাবে, কিন্তু আন্তর্জাতিক রিটার্ন ডাকমাশুল সম্পর্কে কিছুই বলা নেই। “আপনি কি আমার বিদেশি ডাকমাশুল পরিশোধ করবেন?” এই প্রশ্নের জন্য, একটি উপযুক্ত উত্তর সেই অনুপস্থিত তথ্যটি শনাক্ত করে এবং নীতি বা সহায়তা দলের দিকে নির্দেশ করে। 30-দিনের নিয়মটি পুনরাবৃত্তি করলে প্রশ্নের উত্তর দেওয়া হয় না।
সম্পূর্ণ আচরণ মূল্যায়ন করুন
- উত্তরযোগ্য, অস্পষ্ট, পুরোনো এবং ইচ্ছাকৃতভাবে অসমর্থিত প্রশ্নগুলো অন্তর্ভুক্ত করুন।
- প্রতিটি ক্ষেত্রে, প্রত্যাশিত প্রমাণ, অনুমোদিত ব্যবহারকারীর ভূমিকা এবং গ্রহণযোগ্য উত্তর বা বিরত থাকা রেকর্ড করুন।
- রিট্রিভাল কভারেজ, ব্যক্তিগত দাবির সমর্থন, সাইটেশন নির্ভুলতা, পারমিশন লিকেজ, ল্যাটেন্সি এবং খরচ আলাদাভাবে পরীক্ষা করুন।
- ডকুমেন্ট, রিট্রিভাল সেটিংস, প্রম্পট বা মডেল পরিবর্তনের পর সেটটি পুনরাবৃত্তি করুন। অপ্রয়োজনীয় ব্যক্তিগত তথ্য সরানোর পর প্রকৃত ব্যর্থতাগুলো যোগ করুন।
এটি একটি প্রস্তাবিত মূল্যায়ন পদ্ধতি, কোনো ঐতিহাসিক ক্লায়েন্ট ডেটাসেট সম্পর্কে দাবি নয়। কোনো সসীম টেস্ট সেট প্রমাণ করে না যে ভবিষ্যতের উত্তরগুলো সর্বদা সঠিক হবে। উচ্চ-প্রভাবিত কাজের জন্য ওয়ার্কফ্লো অনুযায়ী অতিরিক্ত নিয়ন্ত্রণ, অনুমোদন বা হিউম্যান রিভিউ প্রয়োজন।
এক্সপ্লোর করুন LLM ইন্টিগ্রেশন একটি অ্যাপ্লিকেশনের ভেতরে একটি AI ফিচারের জন্য, অথবা ওয়ার্কফ্লো অটোমেশন যখন কাজটি বেশ কয়েকটি সিস্টেম অতিক্রম করে। ডেভেলপমেন্ট টুল এনভায়রনমেন্ট এবং ডিপ্লয় করা প্রোডাক্টের ডেটা ফ্লো আলাদা সিদ্ধান্ত।
