המאמץ האחרון של OpenAI , Shap-E, הוא מודל המאפשר לך ליצור אובייקטים תלת-ממדיים מטקסט, לא שונה מהאופן שבו Dall-E יכול ליצור תמונות דו-ממדיות.
לפי OpenAI, Shap-E הוא
"מודל מחולל מותנה לנכסי תלת מימד. שלא כמו עבודה אחרונה על מודלים מחוללים תלת מימדיים שמייצרים ייצוג פלט יחיד, Shap-E מייצר ישירות את הפרמטרים של פונקציות מרומזות שניתן להציג הן כרשתות מרקם והן כשדות זוהר עצביים."
פרסום GitHub של החברה ממשיך ומסביר כיצד Shap-E מאומן על שילוב של מיפוי נכסים תלת מימדיים ומודל דיפוזיה מותנה.
עם זאת, תוכנית ההפעלה החינמית הזו קצת יותר מאתגרת להתקנה ולהגדרה מאשר ChatGPT הפופולרית של החברה .
אתה יכול להוריד את דגם ה-Shap-E ב-GitHub ללא תשלום ולגשת אליו ב-Microsoft Paint 3D. זה עובד גם כשהמרה לקובץ STL, מה שמאפשר להחיות את הרינדורים שאתה יוצר באמצעות מדפסות תלת מימד.
בעוד שהידע הבסיסי הזה של מודל ה-Shap-E עשוי להיראות פשוט מספיק, ייתכן שתידרש הבנה טכנית מסוימת כדי להתקין את הדגם ולהפעיל אותו.
העורך הראשי של הפרסום, אברהם פילץ', בדק את Shap-E, שלטענתו לקח לו שמונה שעות לכרוך את דעתו. הוא הוסיף ש-OpenAI מציע מעט הוראות מלבד ההסבר שעליך להשתמש בפקודת Python pip להתקנה.
לאחר ההתקנה, Piltch אומר שהוא היה מסוגל לבדוק הנחיות עם קובצי GIF מונפשים בצבע וקובצי PLY מונוכרום, כאשר קובצי ה-GIF המונפשים נוחים, הוא ציין.
כמה הנחיות כללו כריש, מיינקראפט קריפר ו"מטוס שנראה כמו בננה", שלכולם היו רמות איכות משתנות בהתאם לסוג הקובץ שלהם. Piltch השתמש גם בפונקציה של המודל, המאפשרת למשתמשים להעלות תמונה דו-ממדית להמרה לאובייקט תלת-ממדי.
העורך ציין שאלו המנסים להתקין את Shap-E ולעבד אובייקטים תלת מימדיים צריכים לזכור שהמודל דורש משאבי מערכת רבים מהמחשב האישי.
בפרט, Shap-E תואם רק למעבדי Nvidia GPU ודורש מעבדים בעלי ביצועים גבוהים לעיבוד תוך מספר דקות, בניגוד לשעות.
חברת OpenAI כאן עם עוד פרויקט. הפעם זה Shap-E , מודל מחולל מותנה לנכסי תלת מימד. המאמר קורא שבניגוד למודלים מחוללים תלת-ממדיים אחרים המייצרים ייצוג פלט יחיד, Shape-E יכול ליצור ישירות את הפרמטרים של פונקציות מרומזות שניתן להציג הן כרשתות מרקם והן כשדות קרינה עצביים ( NeRF ) עם הנחיות טקסט בודדות.
בין הצעות הקוד הפתוח הבודדות של OpenAI , Shap-E הוא קוד פתוח וזמין עם משקלי הדגם, קוד ההסקה והדוגמה ב-GitHub.
אפשר למצוא את מאגר GitHub עבור Shape-E כאן .
לפי הפרסום, Shape-E מאומן בשני שלבים :
ראשית, מאומן מקודד, אשר ממפה נכסים תלת מימדיים באופן דטרמיניסטי לפרמטרים של פונקציה מרומזת.
שנית, מודל דיפוזיה מותנה מאומן על יציאות המקודד.
המודלים יכולים ליצור נכסי תלת-ממד מורכבים ומגוונים תוך שניות בודדות כאשר הם מאומנים על מערך נתונים גדול של נתוני תלת-ממד וטקסט מזווגים.
החלק המעניין ב-Shap-E של OpenAI הוא שלמרות מודלים של מרחב פלט בממדים גבוהים יותר, מרובי ייצוגים, Shap·E מתכנס מהר יותר ומייצר איכות דגימה דומה או טובה יותר מזו של Point·E .
למרות שהאובייקטים התלת-ממדיים שנוצרו עשויים להיראות מפוקסלים ומחוספסים, ניתן ליצור את המודלים עם טקסט בודד. מגבלה נוספת הכלולה בזה היא כרגע, הוא מסוגל לייצר רק אובייקטים עם הנחיות לאובייקט בודד ותכונות פשוטות, ומתקשה למצוא מספר תכונות, כפי שצוין במאמר.
לאחרונה, OpenAI הוציאה גם את Point-E, שהוצגה כ-3D DALL-E 2. אותה טכניקת דיפוזיה המשמשת ב-DALL-E ו-Point-E ממונפת גם ב-Shape-E. אבל הפעם, במקום דיפוזיה של ענן נקודתי עם Point-E, כעת משתמשים יכולים ליצור רשתות טקסטורות עם יכולת NeRF.