שימוש בכלי לניתוח מודלים גדולים של שפה

בדף הזה מוסבר איך להשתמש במנוע RAG במנתח LLM של Gemini Enterprise Agent Platform.

מבוא

מנוע RAG משתמש ב-LLM לניתוח מסמכים. מודלים גדולים של שפה (LLM) יכולים לעבד מסמכים ביעילות בדרכים הבאות:

  • להבין ולפרש תוכן סמנטי בפורמטים שונים.
  • שליפת נתחים רלוונטיים מהמסמך.
  • לחלץ מידע משמעותי ממסמכים.
  • לזהות קטעים רלוונטיים במסמכים.
  • לסכם מסמכים מורכבים בצורה מדויקת.
  • הסבר על תמונות ועל הפעולות שניתן לבצע בהן
  • חילוץ נתונים מתרשימים ומדיאגרמות.
  • לתאר תמונות.
  • להבין את הקשר בין תרשימים לטקסט.
  • לספק תשובות מדויקות יותר עם יותר הקשר.

היכולות של מנוע RAG משפרות באופן משמעותי את איכות התשובות שנוצרות.

מודלים נתמכים

המודלים הבאים תומכים בניתוח של מודל שפה גדול (LLM) של מנוע RAG:

סוגי קבצים נתמכים

סוגי הקבצים הבאים נתמכים על ידי מנתח ה-LLM:

  • application/pdf
  • image/png
  • image/jpeg
  • image/webp
  • image/heic
  • image/heif

תמחור ומכסות

פרטים על התמחור זמינים במאמר בנושא תמחור של Gemini Enterprise Agent Platform.

במאמר מכסות לקצב שליחת בקשות מפורטות המכסות הרלוונטיות.

כדי לנתח את המסמכים, מנתח ה-LLM קורא למודלים של Gemini. הפעולה הזו יוצרת עלויות נוספות, שמחויבות בפרויקט. אפשר להעריך את העלות באמצעות הנוסחה הבאה:

cost = number_of_document_files * average_pages_per_document *
(average_input_tokens * input_token_pricing_of_selected_model +
average_output_tokens * output_token_pricing_of_selected_model)

לדוגמה, יש לכם 1,000 קובצי PDF, ולכל קובץ PDF יש 50 דפים. בממוצע, כל עמוד PDF מכיל 500 טוקנים, ואנחנו צריכים עוד 100 טוקנים כדי ליצור הנחיה. הפלט הממוצע הוא 100 טוקנים.

cost = 1,000 * 50 * (600 * 0.075 / 1M + 100 * 0.3 / 1M) = 3.75

העלות היא 3.75$.

ייבוא קבצים עם LlmParser מופעל

מחליפים את הערכים במשתנים הבאים שמופיעים בדוגמאות הקוד:

  • ‫PROJECT_ID: המזהה של פרויקט Google Cloud .

  • ‫LOCATION: האזור שבו הבקשה שלכם מעובדת.

  • ‫RAG_CORPUS_RESOURCE: מזהה הקורפוס.

  • ‫GCS_URI: ה-URI של Cloud Storage של הקבצים שרוצים לייבא.

  • ‫GOOGLE_DRIVE_URI: ה-URI של הקבצים ב-Google Drive שרוצים לייבא.

  • ‫MODEL_NAME: שם המשאב של המודל שמשמש לניתוח.

    פורמט: projects/{project_id}/locations/{location}/publishers/google/models/{model_id}

  • ‫CUSTOM_PARSING_PROMPT: אופציונלי: הנחיה מותאמת אישית שהלקוח מגדיר כדי שמנתח ה-LLM ישתמש בה לניתוח מסמכים.

  • ‫MAX_PARSING_REQUESTS_PER_MIN: אופציונלי: המספר המקסימלי של בקשות שהעבודה יכולה לשלוח למודל של Agent Platform בדקה. מידע נוסף זמין במאמר בנושא מגבלות על שיעורי בקשות בפלטפורמת Agent Platform של AI גנרטיבי ובדף Quotas & System Limits של הפרויקט, שבו אפשר להגדיר ערך מתאים.

REST 

  curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_RESOURCE/ragFiles:import" -d '{
    "import_rag_files_config": {
      "gcs_source": {
        "uris":  ["GCS_URI", "GOOGLE_DRIVE_URI"]
      },
      "rag_file_chunking_config": {
        "chunk_size": 512,
        "chunk_overlap": 102
      },
      "rag_file_parsing_config": {
        "llm_parser": {
          "model_name": "MODEL_NAME",
          "custom_parsing_prompt": "CUSTOM_PARSING_PROMPT"
          "max_parsing_requests_per_min": "