דגמי שפה גדולים, כמו GPT-4 ו-PaLM 2, התפתחו לחלק מכריע במערכות בינה מלאכותית עכשוויות, חוללו מהפכה בתפיסה שלהם בעיבוד שפה טבעית ומשנים מגזרים שונים. למרות ההתקדמות הגדולה בהבנה והפקת תשובות מתאימות להקשר, ל-LLMs עדיין יש חסרונות מסוימים. העובדה שאינטראקציות מרובות פניות, עם מודלים של שפה, מייצרות הרבה אסימונים שהם בקלות יותר ממגבלת אסימוני הקלט של LLMs היא אחת הבעיות המרכזיות. GPT-4, למשל, מוגבל ל-32,000 אסימונים. ה-LLMs חייבים לשמור מידע הקשרי במהלך המפגש ולהפיק תשובות בהתאם למידע שנאסף.
עם זאת, פשוט שרשור של כל המידע ההקשרי ודחוס אותו לתוך LLMs יכול בקלות לחרוג מיכולות העיבוד של LLMs ולצבור שגיאות, ולגרום למודל לאבד מעקב אחר השיחה ולייצר תגובות פחות מדויקות. כמה מנגנוני זיכרון עצבי נחקרו כדי להתגבר על בעיית קלט האסימון המוגבלת של LLMs. רכיבי הזיכרון משמשים כמערכת אחסון ושליפה למידע רלוונטי מאינטראקציות קודמות. עם זאת, הגדלת LLMs עם זיכרון עצבי קונבנציונלי מובילה בדרך כלל לקשיים באחסון, אחזור ומניפולציה של מידע היסטורי בזיכרון, במיוחד עבור משימות הדורשות חשיבה מורכבת מרובה הופ.
שתי סיבות עיקריות הן שהם לא שומרים נתונים היסטוריים בצורה מובנית ואינם עושים בהם מניפולציות באופן סימבולי מכיוון שכולם מסתמכים על חישובי דמיון וקטוריים, שעלולים לטעות ולגרום להצטברות של טעויות. חוקרים מאוניברסיטת טסינגואה, האקדמיה לבינה מלאכותית בבייג'ינג ומאוניברסיטת ג'ג'יאנג דוגלים בשימוש במאגרי מידע כזיכרון סמלי חדשני עבור לימודי LLM כדי לפתור את הבעיות שלמעלה. ChatDB הוא השם של המסגרת כולה. איור 1 להלן מתאר את שני החלקים המרכיבים את ChatDB: בקר LLM והזיכרון שלו. פעולות הקריאה והכתיבה לזיכרון נשלטות על ידי בקר LLM, שיכול להיות כל LLM בשימוש נרחב.
איור 1 מציג את תהליך ChatDB באופן כללי. פעולות הקריאה והכתיבה לזיכרון מנוהלות על ידי בקר LLM. על מנת להגיב לקלט המשתמש, הזיכרון שומר על נתוני עבר ומציג נתונים היסטוריים רלוונטיים. ב-ChatDB, אנו שמים דגש על הוספת מסדי נתונים ל-LLMs כדי לשמש כזיכרון הסמלי שלהם.
הזיכרון של LLMs, שיכול להיות סמלי, לא סמלי, או הכלאה של השניים, אחראי על מעקב אחר העבר והפצת נתונים לפי הצורך כדי לעזור ל-LLM להגיב לקלט אנושי. ChatDB שם דגש על מינוף מסדי נתונים כזיכרון סמלי, המאפשר אחסון מאורגן של נתונים היסטוריים באמצעות ביצוע שפה פיגורטיבית, כלומר פקודות SQL. ה-LLM יצר את הצהרות SQL אלה. מסד נתונים יכול לשמש כזיכרון סמלי במצבים הדורשים הקלטה מדויקת, עדכון, שאילתה, מחיקה וניתוח של נתונים היסטוריים. לדוגמה, מנהל חנות צריך לעקוב אחר נתוני מכירות יומיים. לכן, ניצול מטריצות או טקסט רגיל כזיכרון אינו הולם.
עם זאת, שימוש במסד נתונים כזיכרון סמלי חיצוני מתאים למדי. מסד הנתונים משתמש בפקודות SQL כדי לבצע פעולות מדויקות כגון הכנסת נתונים, מחיקה, עדכון ובחירה. כתוצאה מכך, הם השתמשו בבסיסי נתונים שכן זיכרון סמלי חיצוני מבטיח נכונות ויעילות בניהול ותפעול נתונים היסטוריים, שיפור ניכר בביצועים של LLMs במצבים הדורשים לכידה ועיבוד נתונים מדויקים וארוכים מאוד. במסגרת ChatDB, הם מציעים את אסטרטגיית שרשרת הזיכרון כדי לנצל בצורה מיומנת יותר את הזיכרון הסמלי החיצוני, ולהגביר עוד יותר את יכולת ההיגיון של LLMs.
קלט המשתמש מומר לרצף של שלבי פעולת זיכרון ביניים באמצעות טכניקת שרשרת הזיכרון, המייצרת את הפלטים הרצויים. בעיה מורכבת מחולקת למספר שלבי פעולת זיכרון באמצעות טכניקת שרשרת הזיכרון, מה שמפחית במידה ניכרת את הקושי בפתרון בעיות. כל שלב מתווך ב-ChatDB כרוך בהצהרת SQL אחת או יותר. תחום ה-LLM מרוויח מאוד מה-ChatDB שלהם. ראשית, הם מציעים להוסיף מסדי נתונים ל-LLM כזיכרון סמלי חיצוני שלהם. זה יאפשר אחסון מאורגן של נתונים היסטוריים ויאפשר מניפולציות סמליות ומסובכות של נתונים באמצעות הצהרות SQL.
שנית, הם יכולים לתמרן ביעילות את הזיכרון על ידי הפיכת קלט המשתמש לפעולות זיכרון ביניים מרובות שלבים באמצעות טכניקת שרשרת הזיכרון שלהם. זה משפר את היעילות של ChatDB ומאפשר לו לנהל עסקאות מסד נתונים מסובכות מרובות שולחנות עם יותר דיוק ויציבות. לבסוף, המחקר שלהם מראה שהוספת זיכרון סמלי ל-LLMs משפרת מיומנויות חשיבה מרובות הופ ומפחיתה צבירת שגיאות, מה שמאפשר ל-ChatDB לבצע ביצועים טובים יותר במערך נתונים סינתטי מאשר ChatGPT.
תהליך ChatDB ופרטי הפרוייקט המלאים : https://arxiv.org/pdf/2306.03901.pdf