הכזרות מעניינות מ OpenAI: Function calling and other API updates
חברת OpenAI מציגה : הפחתת מחירים, אבל הדברים שהכי מרגשים אותי הם דגם ה-gpt-3.5-turbo-16k החדש שמציע מגבלה של 16,000 טוקנים (פי 4 מדגם ה-3.5 טורבו הקיים) במחיר של 0.003$ לאסימוני קלט של 1K ו-0.004$ לכל אסימוני פלט של 1K - 1/10 מהמחיר של GPT-4 8k.
כמה עדכונים מרגשים:
יכולת קריאת פונקציות חדשה ב-Chat Completions API
גרסאות מעודכנות וניתנות יותר לכיוון של gpt-4וgpt-3.5-turbo
גרסת הקשר חדשה של 16K של gpt-3.5-turbo(לעומת גרסת ה-4K הרגילה)
הפחתה של 75% בעלויות בדגם ההטבעות המתקדם שלנו
הפחתת עלות של 25% על אסימוני קלט עבורgpt-3.5-turbo
הכרזה על ציר הזמן של ביטול הרכישה עבור הדגמים gpt-3.5-turbo-0301וgpt-4-0314
כל הדגמים האלה מגיעים עם אותן ערבויות לפרטיות ואבטחה של נתונים שהצגנו ב-1 במרץ - לקוחות הם הבעלים של כל התפוקות שנוצרו מהבקשות שלהם ונתוני ה-API שלהם לא ישמשו להדרכה.
קריאת פונקציה
מפתחים יכולים כעת לתאר פונקציות ל- gpt-4-0613ו gpt-3.5-turbo-0613, ולאפשר למודל לבחור באופן מושכל להוציא אובייקט JSON המכיל ארגומנטים כדי לקרוא לפונקציות הללו. זוהי דרך חדשה לחבר בצורה מהימנה יותר את היכולות של GPT עם כלים וממשקי API חיצוניים.
מודלים אלה כוונו עדין כדי לזהות מתי צריך לקרוא לפונקציה (בהתאם לקלט של המשתמש) וגם כדי להגיב עם JSON שדבק בחתימת הפונקציה. קריאת פונקציות מאפשרת למפתחים לקבל באופן אמין יותר נתונים מובנים מהמודל. לדוגמה, מפתחים יכולים:
צור צ'אטבוטים שעונים על שאלות על ידי קריאה לכלים חיצוניים (למשל, כמו ChatGPT Plugins)
המר שאילתות כגון "שלח אימייל לאניה כדי לראות אם היא רוצה לקבל קפה ביום שישי הבא" לשיחת פונקציה כמו send_email(to:
string, body: string), או "איך מזג האוויר בבוסטון?" ל get_current_weather(location: string, unit: 'celsius' | 'fahrenheit').
המרת שפה טבעית לקריאות API או שאילתות מסד נתונים
המרה "מי הם עשרת הלקוחות המובילים שלי החודש?" לקריאת API פנימית כגון get_customers_by_revenue(start_date: string, end_date: string, limit: int), או "כמה הזמנות ביצעה Acme, Inc. בחודש שעבר?" לשאילתת SQL באמצעות sql_query(query: string).
חילוץ נתונים מובנים מטקסט
הגדר פונקציה בשם extract_people_data(people: [{name: string, birthday: string, location: string}]), כדי לחלץ את כל האנשים המוזכרים במאמר בויקיפדיה.
מקרי שימוש אלה מופעלים על ידי פרמטרים חדשים של API בנקודת /v1/chat/completionsהקצה שלנו, functionsו- function_call, המאפשרים למפתחים לתאר פונקציות למודל באמצעות JSON Schema, ולבקש ממנו לבקש אופציונלי לקרוא לפונקציה ספציפית. התחל עם תיעוד המפתחים שלנו והוסף בדיקות אם אתה מוצא מקרים שבהם ניתן לשפר את קריאת הפונקציות
מודלים חדשים
GPT-4
gpt-4-0613כולל דגם מעודכן ומשופר עם קריאת פונקציות.
gpt-4-32k-0613כולל את אותם שיפורים כמו gpt-4-0613, יחד עם אורך הקשר מורחב להבנה טובה יותר של טקסטים גדולים יותר.
עם העדכונים הללו, נזמין עוד אנשים רבים מרשימת ההמתנה לנסות את GPT-4 במהלך השבועות הקרובים, מתוך כוונה להסיר את רשימת ההמתנה לחלוטין עם הדגם הזה. תודה לכל מי שחיכה בסבלנות, אנחנו נרגשים לראות מה אתה בונה עם GPT-4!
GPT-3.5 טורבו
gpt-3.5-turbo-0613כולל את אותה פונקציה קריאת כמו GPT-4 כמו גם יכולת היגוי אמינה יותר באמצעות הודעת המערכת, שתי תכונות המאפשרות למפתחים להנחות את תגובות הדגם בצורה יעילה יותר.
gpt-3.5-turbo-16kמציע פי 4 אורך ההקשר של gpt-3.5-turboבמחיר כפול: $0.003 לאסימוני קלט של 1K ו-$0.004 לכל אסימוני פלט של 1K. הקשר של 16 אלף אומר שהמודל יכול כעת לתמוך ב-20 דפי טקסט בבקשה אחת.
הוצאה משימוש במודל
היום, נתחיל בתהליך השדרוג וההוצאה משימוש עבור הגרסאות הראשוניות של gpt-4ועליהן gpt-3.5-turboהכרזנו במרץ . אפליקציות המשתמשות בשמות הדגמים היציבים ( gpt-3.5-turbo, gpt-4, ו gpt-4-32k) ישודרגו אוטומטית לדגמים החדשים המפורטים למעלה ב-27 ביוני. להשוואת ביצועי מודל בין גרסאות, ספריית Evals שלנו תומכת בבדיקות ציבוריות ופרטיות כדי להראות כיצד שינויים במודל ישפיעו על מקרי השימוש שלך.
מפתחים שזקוקים ליותר זמן למעבר יכולים להמשיך להשתמש בדגמים הישנים יותר על ידי ציון gpt-3.5-turbo-0301, gpt-4-0314, או gpt-4-32k-0314בפרמטר 'מודל' של בקשת ה-API שלהם. הדגמים הישנים הללו יהיו נגישים עד ה-13 בספטמבר, ולאחר מכן ייכשלו בקשות לציון שמות הדגמים הללו. אתה יכול להישאר מעודכן לגבי הוצאה משימוש של מודלים דרך דף הוצאה משימוש של המודל . זהו העדכון הראשון לדגמים הללו; לכן, אנו מברכים בשקיקה משוב למפתחים שיעזור לנו להבטיח מעבר חלק.
תמחור נמוך יותר
ממשיכים להפוך את המערכות שלנו ליעילות יותר ומעבירים את החיסכון הזה למפתחים, ביעילות היום.
הטבעות
text-embedding-ada-002הוא דגם ההטבעות הפופולרי ביותר . היום מפחיתים את העלות ב-75% ל-$0.0001 לכל 1K אסימונים.
GPT-3.5 טורבו
gpt-3.5-turboהוא מודל הצ'אט הפופולרי ביותר שלנו ומפעיל את ChatGPT עבור מיליוני משתמשים. היום אנחנו החברה את העלות של gpt-3.5-turboאסימוני הקלט של ב-25%. מפתחים יכולים כעת להשתמש במודל זה תמורת 0.0015$ בלבד לאסימוני קלט של 1K ו-$0.002 לאסימוני פלט של 1K, מה שמשתווה בערך ל-700 דפים לדולר.
gpt-3.5-turbo-16kיתומחר ב-$0.003 לאסימוני קלט של 1K ו-$0.004 לאסימוני פלט של 1K.
ההכרזה המלאה : https://openai.com/blog/function-calling-and-other-api-updates