מערכת בינה מלאכותית חדשה הנקראת מפענח סמנטי יכולה לתרגם את פעילות המוח של אדם - תוך כדי האזנה לסיפור או מדמיין בשקט מספר סיפור - לזרם רציף של טקסט. המערכת שפותחה על ידי חוקרים מאוניברסיטת טקסס באוסטין עשויה לעזור לאנשים שהם בהכרה מנטלית אך אינם מסוגלים לדבר פיזית, כמו אלה שתשושו משבץ, לתקשר שוב בצורה מובנת.
התוצאה אינה תמלול מילה במילה. במקום זאת, חוקרים תכננו אותו כדי ללכוד את תמצית הנאמר או המחשבה, אם כי בצורה לא מושלמת. כמחצית מהזמן, כאשר המפענח הוכשר לנטר את פעילות המוח של המשתתף, המכונה מפיקה טקסט התואם באופן הדוק (ולפעמים במדויק) למשמעויות המיועדות של המילים המקוריות.
לדוגמה, בניסויים האזנה למילים, "לא ידעתי אם לצרוח, לבכות או לברוח. במקום זאת, אמרתי, 'עזוב אותי בשקט!'" פוענחה כך, "התחילה לצרוח ולבכות, ואז היא פשוט אמרה, ' אמרתי לך לעזוב אותי בשקט'".
עיקרי המערכת :
מדענים פיתחו מערכת AI לא פולשנית המתמקדת בתרגום פעילות המוח של אדם לזרם של טקסט.
המערכת, הנקראת מפענח סמנטי, יכולה בסופו של דבר להועיל למטופלים שאיבדו את יכולתם לתקשר פיזית.
לאחר שמערכת הבינה המלאכותית מאומנת, היא יכולה ליצור זרם של טקסט כאשר משתתף מקשיב או מדמיין מספר סיפור חדש.
סריקות מכונת fMRI אפשרו למדענים למפות כיצד משמעויות וביטויים הובילו לתגובות באזורים שונים במוח.
המדענים מצאו דרך להשתמש בסריקות מוח ובמודלים של בינה מלאכותית כדי לתמלל את "העיקרון" של מה שאנשים חושבים, במה שתואר כצעד לקראת קריאת מחשבות.
בעוד שהמטרה העיקרית של מפענח השפה היא לעזור לאנשים שאיבדו את היכולת לתקשר, המדענים האמריקאים הכירו בכך שהטכנולוגיה מעלה שאלות לגבי "פרטיות נפשית". במטרה לשכך פחדים כאלה, הם הריצו בדיקות שהראו שלא ניתן להשתמש במפענח שלהם על מי שלא איפשר לו להתאמן על פעילות המוח שלו במשך שעות ארוכות בתוך סורק תהודה מגנטית (fMRI) פונקציונלית.
מחקרים קודמים הראו ששתל מוח יכול לאפשר לאנשים שאינם יכולים עוד לדבר או להקליד לאיית מילים או אפילו משפטים. "ממשקי מוח-מחשב" אלו מתמקדים בחלק של המוח השולט בפה כאשר הוא מנסה ליצור מילים. אלכסנדר הות', מדען מוח מאוניברסיטת טקסס באוסטין ומחבר שותף של מחקר חדש, אמר שמפענח השפה של הצוות שלו "עובד ברמה שונה מאוד".
"המערכת שלנו באמת עובדת ברמה של רעיונות, של סמנטיקה, של משמעות", אמר הות' במסיבת עיתונאים מקוונת. זוהי המערכת הראשונה שיכולה לשחזר שפה רציפה ללא שתל חודרני במוח, על פי המחקר בכתב העת Nature Neuroscience . 'עמוק יותר מהשפה'
לצורך המחקר, שלושה אנשים בילו בסך הכל 16 שעות בתוך מכשיר fMRI בהאזנה לסיפורים נרטיביים מדוברים, בעיקר פודקאסטים כמו Modern Love של הניו יורק טיימס. זה אפשר לחוקרים למפות כיצד מילים, ביטויים ומשמעויות הובילו לתגובות באזורי המוח הידועים כמעבדים שפה. הם הזינו את הנתונים הללו למודל שפת רשת עצבית שמשתמש ב-GPT-1, קודמתה של טכנולוגיית הבינה המלאכותית שנפרסה מאוחר יותר ב-ChatGPT הפופולרי ביותר.
המודל הוכשר לחזות כיצד המוח של כל אדם יגיב לדיבור הנתפס, ואז לצמצם את האפשרויות עד שימצא את התגובה הקרובה ביותר. כדי לבדוק את דיוק המודל, כל משתתף הקשיב לאחר מכן לסיפור חדש במכשיר fMRI. המחבר הראשון של המחקר ג'רי טאנג אמר שהמפענח יכול "לשחזר את עיקרי מה שהמשתמש שומע". למשל, כשהמשתתפת שמעה את המשפט "אין לי עדיין את רישיון הנהיגה שלי", הדוגמנית חזרה עם "היא אפילו לא התחילה ללמוד נהיגה עדיין".
המפענח נאבק בכינויים אישיים כמו "אני" או "היא", הודו החוקרים. אבל גם כשהמשתתפים חשבו על סיפורים משלהם - או צפו בסרטים אילמים - המפענח עדיין הצליח לתפוס את "העיקר", הם אמרו. זה הראה ש"אנחנו מפענחים משהו שהוא עמוק יותר מהשפה, ואז ממירים אותו לשפה", אמר הות'. מכיוון שסריקת fMRI איטית מכדי ללכוד מילים בודדות, היא אוספת "משש, צבירה של מידע במשך כמה שניות", אמר הות'. "אז אנחנו יכולים לראות איך הרעיון מתפתח, למרות שהמילים המדויקות הולכות לאיבוד".
אזהרה אתית
דייוויד רודריגז-אריאס ויליהן, פרופסור לביו-אתיקה באוניברסיטת גרנדה בספרד, שאינו מעורב במחקר, אמר שזה חורג ממה שהושג על ידי ממשקי מוח-מחשב קודמים. זה מקרב אותנו לעתיד שבו מכונות "מסוגלות לקרוא מחשבות ולתמלל מחשבות", הוא אמר, והזהיר שהדבר עלול להתרחש בניגוד לרצונם של אנשים, כמו כשהם ישנים. החוקרים ציפו לחששות כאלה. הם הריצו בדיקות שהראו שהמפענח לא עבד על אדם אם הוא לא כבר אומן על פעילות המוח המיוחדת שלו. שלושת המשתתפים גם הצליחו לסכל בקלות את המפענח. תוך כדי האזנה לאחד הפודקאסטים, נאמר למשתמשים לספור בשביעיות, לתת שם ולדמיין חיות או לספר סיפור אחר בנפשם. כל הטקטיקות הללו "חיבלו" במפענח, אמרו החוקרים. בשלב הבא, הצוות מקווה לזרז את התהליך כדי שיוכלו לפענח את סריקות המוח בזמן אמת. הם גם קראו לתקנות להגנה על הפרטיות הנפשית.
"המוח שלנו היה עד כה השומר על הפרטיות שלנו", אמר הביו-אתיקאי רודריגז-אריאס ויליהן. "תגלית זו יכולה להיות צעד ראשון לקראת פגיעה בחופש הזה בעתיד." מידע נוסף: שחזור סמנטי של שפה מתמשכת מהקלטות מוח לא פולשניות, Nature Neuroscience (2023). DOI: 10.1038/s41593-023-01304-9 מידע על כתב עת: Nature Neuroscience
Alex Huth (left), Shailee Jain (center) and Jerry Tang (right)
מתכוננים לאסוף נתוני פעילות המוח במרכז ההדמיה הביו-רפואית באוניברסיטת Texas באוסטין. החוקרים אימנו את המפענח הסמנטי שלהם על עשרות שעות של נתוני פעילות מוחית מהמשתתפים, שנאספו בסורק .
Photo: Nolan Zunk/University of Texas at Austin.
מדענים פיתחו מערכת בינה מלאכותית לא פולשנית המתמקדת בתרגום פעילות המוח של אדם לזרם של טקסט, על פי מחקר שנערך בביקורת עמיתים שפורסם ביום שני בכתב העת Nature Neuroscience .
המערכת, הנקראת מפענח סמנטי, יכולה בסופו של דבר להועיל לחולים שאיבדו את יכולתם לתקשר פיזית לאחר שסבלו משבץ מוחי, שיתוק או מחלות ניווניות אחרות.
חוקרים מאוניברסיטת טקסס באוסטין פיתחו את המערכת בין השאר על ידי שימוש במודל שנאי, הדומה לאלו התומכים בצ‘אטבוט Bard של גוגל ובצ’אטבוט ChatGPT של OpenAI.
משתתפי המחקר אימנו את המפענח על ידי האזנה למספר שעות של פודקאסטים בתוך סורק fMRI, שהוא כלי גדול שמודד את פעילות המוח. המערכת אינה דורשת שתלים כירורגיים.
PH.D. STUDENT JERRY TANG
מתכונן לאסוף נתוני פעילות המוח במרכז ההדמיה הביו-מדית באוניברסיטת TEXAS AT AUSTIN .
Photo: Nolan Zunk/University of Texas at Austin.
לאחר שמערכת הבינה המלאכותית מאומנת, היא יכולה ליצור זרם של טקסט כאשר המשתתף מאזין או מדמיין מספר סיפור חדש. הטקסט שנוצר אינו תמליל מדויק, אלא החוקרים תכננו אותו מתוך כוונה ללכוד מחשבות או רעיונות כלליים.
על פי הודעה לעיתונות, המערכת המאומנת מייצרת טקסט התואם באופן הדוק או מדויק למשמעות המיועדת של המילים המקוריות של המשתתף בערך במחצית מהזמן.
לדוגמה, כאשר משתתפת שמעה את המילים ”אין לי עדיין את רישיון הנהיגה שלי” במהלך ניסוי, המחשבות תורגמו ל”היא אפילו לא התחילה ללמוד נהיגה עדיין.”
″עבור שיטה לא פולשנית, זו קפיצת מדרגה אמיתית בהשוואה למה שנעשה קודם, שהוא בדרך כלל מילים בודדות או משפטים קצרים, אנחנו גורמים למודל לפענח שפה רציפה לפרקי זמן ממושכים עם רעיונות מסובכים.”
אמר אלכסנדר הות, אחד ממובילי המחקר, במהדורה.
המשתתפים התבקשו גם לצפות בארבעה סרטונים ללא שמע כשהם נמצאים בסורק, ומערכת הבינה המלאכותית הצליחה לתאר במדויק ”אירועים מסוימים” מהם, נכתב בהודעה.
החל מיום שני, לא ניתן להשתמש במפענח מחוץ למסגרת מעבדה מכיוון שהוא מסתמך על סורק fMRI. אבל החוקרים מאמינים שניתן יהיה להשתמש בו בסופו של דבר באמצעות מערכות הדמיית מוח ניידות יותר.
החוקרים המובילים של המחקר הגישו בקשה לפטנט PCT עבור הטכנולוגיה.