סוכני AI ואוטומציה

אינטגרציית LLM

הוסיפו מודלי שפה גדולים למוצר שלכם, עם אחזור מתוך הנתונים שלכם, הערכה על שאלות אמיתיות, מנגנוני הגנה, בקרת עלויות ומנגנון חלופי ברור כשהמודל לא בטוח.

בואו נדבר על הפרויקט שלכםדברו איתנו על פיצ'ר ה-LLM

פיצ'רים מבוססי LLM שנבנים לסביבת הייצור

קריאה ל-API של מודל היא החלק הקל. העבודה האמיתית היא לגרום לתשובות שלו להיות מדויקות, בטוחות ובעלות סבירה בתוך המוצר שלכם. אנחנו משלבים בתוכנה שלכם מודלים כמו מודלי GPT של OpenAI, Claude, Gemini, Llama או Mistral, מפיצ'ר בודד ועד יצירה מועשרת באחזור (RAG) מתוך מאגר הידע שלכם. עבור צוותי מוצר והנדסה, אנחנו מטפלים בבחירת המודל, באחזור, בפרומפטים, בהערכה, במנגנוני ההגנה ובבקרת העלויות, ומעצבים את האופן שבו המשתמשים רואים מקורות ומסמנים תשובות שגויות.

הנדסת LLM בסיוע AI ובהובלת מומחים

איך ה-AI מסייע

  • סוכני קוד מנסחים טיוטות לקוד האינטגרציה, לפייפליינים של אחזור ולתשתיות בדיקה, שהמהנדסים סוקרים.
  • ה-AI מציע שאלות בדיקה מתוך המסמכים שלכם; המומחים שלכם מאשרים את אלה שמגדירות איכות.
  • ה-AI משווה פלטים בין מודלים ופרומפטים מועמדים, ומסמן חשד לרגרסיות לסקירה.
  • ה-AI מסכם לוגים מסביבת הייצור ומשוב משתמשים כדי לחשוף דפוסי כשל חוזרים.

מה באחריות המומחים שלנו

  • בחירת המודל והספק, על סמך תוצאות ההערכה, העלות וכללי הנתונים שלכם
  • למה המודל יכול לגשת: מקורות נתונים, הרשאות משתמשים והגדרות שמירה
  • רף האיכות שהתשובות חייבות לעמוד בו לפני כל שחרור
  • ההתנהגות החלופית כשהאחזור נכשל, כשספק לא זמין או כשהמודל לא בטוח

איך נוצרת תשובה אחת שמבוססת על מקורות

בקשה מועשרת באחזור (RAG), להמחשה; כללי המקורות, הבדיקות ונוסח התשובה החלופית מתוכננים עבור המוצר שלכם.

  1. נשאלת שאלה

    משתמש מחובר שואל שאלה; הזהות והתפקיד שלו עוברים יחד עם הבקשה.

  2. אחזור מורשה

    החיפוש מדרג קטעים מהמקורות המאונדקסים שלכם לפי הרלוונטיות שלהם לשאלה.

    נקודת בקרה: רק קטעים שהמשתמש הזה רשאי לראות

  3. פרומפט עם מקורות

    השאלה, הקטעים שאוחזרו והנחיות בניהול גרסאות לגבי פורמט וסירובים משולבים לפרומפט אחד.

  4. תגובת המודל

    המודל שנבחר מחזיר תשובה מובנית שמצטטת את הקטעים שעליהם הסתמך.

  5. בדיקת ביסוס במקורות

    בדיקות אוטומטיות מוודאות שכל ציטוט מפנה לקטע שאוחזר, ומסמנות טענות שחורגות מהם.

    נקודת בקרה: תשובות לא מבוססות מעוכבות

  6. תשובה או מנגנון חלופי

    המשתמש רואה את התשובה עם קישורים למקורות, או הודעה פשוטה שאף מקור מורשה לא מכסה את השאלה.

כשמשהו נכשל: אם האחזור לא מוצא דבר, הבדיקות נכשלות או שהספק לא זמין, הפיצ'ר אומר זאת במקום לנחש, והמקרה נרשם לבדיקה.

מי מבקש פיצ'רים מבוססי LLM

אתם רוצים מודל שעונה מתוך הנתונים שלכם, אבל אב טיפוס מהיר טוען דברים שהמסמכים שלכם לא תומכים בהם, מתעלם מהשאלה מי רשאי לראות מה, ויש לו עלויות תפעול שאף אחד לא יכול לחזות.

  • צוותי מוצר שמוסיפים חיפוש, סיכומים או ניסוח טיוטות לאפליקציית SaaS קיימת
  • ארגונים שהעובדים שלהם מתקשים למצוא תשובות בנהלים ובמדריכים הפנימיים
  • צוותי הנדסה שמעבירים לראשונה אב טיפוס מבוסס LLM לסביבת הייצור

מה תקבלו

מה פיצ'ר מבוסס LLM צריך בסביבת הייצור

  • בחירת מודל ואינטגרציה

    חיבור ה-Backend שלכם ל-OpenAI, ל-Claude, ל-Gemini או למודלים עם משקלים פתוחים, עם הגבלת קצב, ניסיונות חוזרים, מעבר לספק חלופי ומעקב שימוש.

  • RAG על מאגר הידע שלכם

    אחזור מתוך המסמכים והנתונים שלכם דרך מסד נתונים וקטורי, עם הפניות למקורות וכללי גישה, כך שהתשובות מכבדות את ההרשאות של כל משתמש.

  • פרומפטים ופלטים מובנים

    פרומפטים עם ניהול גרסאות, דוגמאות Few-shot ופלטים מובנים שהקוד שלכם יכול לאמת, במקום טקסט חופשי שהוא צריך לנחש את משמעותו.

  • סט הערכה

    סטים של בדיקות שנבנים מהשאלות האמיתיות שלכם, מקבלים ציון על דיוק, על התבססות על המקורות ועל פורמט, ורצים שוב לפני כל שינוי בפרומפט, במודל או בנתונים.

  • מנגנוני הגנה ומנגנונים חלופיים

    סינון קלט, בקרת תוכן בפלט, הגנות מפני Prompt Injection ומנגנון חלופי מוגדר כשהמודל לא בטוח או כשספק לא זמין.

  • Fine-tuning היכן שזה עוזר

    כוונון (Fine-tuning) של המודל על הנתונים שלכם, לשפת התחום, לטון או לפורמטים, כשההערכה מראה שפרומפטים ואחזור לא מספיקים.

מחוץ לאינטגרציית LLM

  • עבודה רב-שלבית שמשנה רשומות או מפעילה פעולות במערכות אחרות שייכת לשירות סוכני אוטומציה; פיצ'ר LLM כאן עונה, מנסח או מחלץ מידע בתוך המוצר שלכם.
  • עוזר שירות לקוחות באתר שלכם או ב-WhatsApp, עם העברה לצוות התמיכה, מכוסה בשירות צ'אטבוטים מבוססי AI.
  • אנחנו לא כותבים או מתקנים את מסמכי המקור שלכם: כשהאחזור מעלה תוכן מיושן או סותר, אנחנו מסמנים אותו כדי שהאחראים עליו יתקנו אותו.
  • הרצת מודלים עם משקלים פתוחים (open-weight) על השרתים או על חשבון הענן שלכם מוגדרת בנפרד במסגרת תשתית AI פרטית, לעיתים קרובות לצד האינטגרציה.

בקשות טיפוסיות לפיצ'רים מבוססי LLM

תרחישים טיפוסיים שאנחנו מגדירים להם היקף, לא מקרי בוחן של לקוחות.

  • תשובות מתוך מסמכי נהלים פנימיים

    העובדים מחפשים בכונן משותף ולעיתים קרובות מוצאים עותקים מיושנים של נהלים. היינו מאנדקסים רק את הגרסאות העדכניות, מחילים את כללי הגישה של כל צוות, מצטטים את הקטע שעומד מאחורי כל תשובה, ומסרבים לענות כשאף מקור מורשה לא מכסה את השאלה.

  • סיכומים במוצר SaaS מרובה דיירים

    אפליקציית SaaS רוצה כפתור שמסכם את הפעילות האחרונה בחשבון. היינו מסננים את האחזור לפי דייר (tenant) ולפי תפקיד לפני שהפרומפט נבנה, ומוסיפים מקרי בדיקה שמנסים לשלוף נתונים של לקוח אחר.

  • אב טיפוס שקורא למודל מהדפדפן

    אב טיפוס עובד שולח פרומפטים ישירות מהדפדפן עם מפתח API משותף. היינו מעבירים את הקריאות ל-Backend שלכם, מוסיפים מגבלות לכל משתמש, רישום לוגים ופרומפטים בניהול גרסאות, ובונים סט הערכה לפני השחרור הראשון.

איך אנחנו מספקים אינטגרציית LLM

  1. 01

    תרחיש שימוש והיתכנות

    אנחנו מנסים את תרחיש השימוש על הנתונים והשאלות האמיתיים שלכם, משווים מודלים מועמדים ומעריכים את עלויות התפעול לפני שאתם מתחייבים לבנייה מלאה.

  2. 02

    ארכיטקטורה וכללי נתונים

    דפוס האינטגרציה, תכנון האחזור, כללי הגישה, תנאי הספק וההתנהגות החלופית מוסכמים עם הצוות שלכם ומתועדים.

  3. 03

    בנייה והערכה

    המהנדסים בונים את האינטגרציה ואת הפיצ'ר שהמשתמשים רואים, וצוות ה-QA נותן לו ציון מול סט ההערכה עד שהוא עומד ברף האיכות שאישרתם.

  4. 04

    שחרור וניטור

    הפצה מבוקרת עם ניטור, מגבלות עלות ואיסוף משוב, ואחריה הערכה מתמשכת ככל שהמודלים, הפרומפטים והנתונים משתנים.

שתי דרכים לעבוד עם כלי AI

בחרו היכן סוכני קוד מבוססי AI רשאים לעבד את הקוד שלכם בזמן שאנחנו בונים. הסטנדרט ההנדסי זהה בשתי הדרכים.

לא בטוחים? נמליץ על אחת מהן בשלב הגדרת ההיקף. השוואת אפשרויות עבודה עם AI

איך העיצוב, ה-QA והתפעול תומכים בפיצ'ר ה-LLM שלכם

  • עיצוב לאמון ולתיקון

    המעצבים מתכננים איך מוצגים תשובות, מקורות ואי-ודאות, איך משתמשים עורכים או מסמנים תשובה שגויה, ואיך הצוות שלכם סוקר את הסימונים האלה, כך שהפיצ'ר כן לגבי המגבלות שלו.

  • QA מעבר למסלול התקין

    צוות ה-QA מתחזק את סטי ההערכה, בודק את איכות התשובות, את הרשאות הנתונים ואת החשיפה ל-Prompt Injection, ומריץ שוב בדיקות רגרסיה אחרי שינויים במודל, בפרומפטים או בנתונים.

  • תפעול ובקרת עלויות

    צוות ה-DevOps מתפעל את האינטגרציה עם רישום לוגים, דשבורדים של שימוש ועלויות, שמירה במטמון וניתוב בין מודלים, ומריץ מודלים עם משקלים פתוחים על תשתית פרטית כשכללי הנתונים מחייבים זאת.

  • עדכוני מודלים ופרומפטים

    ספקים משנים מודלים ומוציאים אותם משימוש. אנחנו בודקים מודלים חלופיים מול סט ההערכה שלכם לפני המעבר, ושומרים על הפרומפטים, האחזור והעלויות מכווננים ככל שהשימוש גדל.

שאלות ותשובות

שאלות נפוצות

מה זה RAG, והאם אנחנו צריכים את זה?

יצירה מועשרת באחזור (RAG) מאפשרת למודל לענות מתוך המסמכים והנתונים שלכם, ולא רק מתוך האימון הכללי שלו. אתם צריכים את זה כשהתשובות חייבות לשקף מידע פרטי, מקצועי או כזה שמשתנה לעיתים קרובות. אנחנו מוסיפים הפניות למקורות כדי שאפשר יהיה לבדוק את התשובות, וכללי גישה כדי שמשתמשים יקבלו רק תוכן שמותר להם לראות.

האם לבצע Fine-tuning למודל או להשתמש ב-RAG?

רוב הפיצ'רים צריכים להתחיל בפרומפטים טובים ובאחזור, כי קל יותר לשנות אותם ולבקר אותם. Fine-tuning עוזר כשאתם צריכים פורמט, טון או אוצר מילים מקצועי עקביים שפרומפטים לא מצליחים לשמר, ולפעמים מאפשר למודל קטן וזול יותר לעשות את העבודה. אנחנו מחליטים על סמך תוצאות הערכה על הנתונים שלכם, לא כברירת מחדל.

אפשר להשתמש במודל פרטי או בקוד פתוח?

כן. מודלים עם משקלים פתוחים (open-weight) כמו Llama או Mistral יכולים לרוץ על תשתית שבשליטתכם, או שנוכל להשתמש בספקים מתארחים כמו OpenAI או Claude לפי הגדרות חשבון ושמירת נתונים שסוכמו. עבודת הפיתוח שלנו עצמה פועלת לפי החבילה שתבחרו: הנדסת AI פרטית / מקומית או הנדסת Claude Code / OpenAI Codex.

כמה עולה לבנות ולתפעל פיצ'ר מבוסס LLM?

עלות הבנייה תלויה בהיקף: מקורות הנתונים, האינטגרציות, עבודת הממשק ועומק ההערכה. עלות התפעול תלויה בשימוש ובבחירת המודל. אנחנו מעריכים את שתיהן בשלב בדיקת ההיתכנות, ואז מנהלים את עלות התפעול באמצעות ניתוב בין מודלים, שמירה במטמון, מגבלות טוקנים ודשבורדים של שימוש שגלויים לכם.

לכל מקרי הבוחן
לכל הפרויקטים
לכל המאמרים

הביאו פיצ'ר מבוסס LLM לסביבת הייצור

הביאו תרחיש שימוש ונתונים לדוגמה. נבדוק היתכנות, נשווה מודלים ונשרטט את ההערכה, את מנגנוני ההגנה ואת עלויות התפעול לפני שתתחייבו.

בואו נדבר על הפרויקט שלכםדברו עם מהנדס AI