top of page
  • תמונת הסופר/תOr Manor

Visual ChatGPT: דיבור, ציור ועריכה עם Visual Foundation Models כתבת : אור מנור , 16.04.2023


מודל ChatGPT מושך עניין חוצה תחומים מכיוון שהוא מספק ממשק שפה עם יכולת שיחה ייחודית ויכולות חשיבה על פני תחומים רבים. עם זאת, מכיוון ש-ChatGPT מאומן בשפות, הוא אינו מסוגל כרגע לעבד או ליצור תמונות מהעולם החזותי.


יחד עם זאת, מודלים של Visual Foundation, כגון Visual Transformers או Stable Diffusion, למרות שמראים הבנה ויזואלית ויכולות יצירה נהדרות, הם רק מומחים למשימות ספציפיות עם כניסות ויציאות קבועות בסיבוב אחד.



לשם כך, נבנתה מערכת בשם \textbf{Visual ChatGPT}, המשלבת מודלים שונים של Visual Foundation, כדי לאפשר למשתמש ליצור אינטראקציה עם ChatGPT על ידי :

  1. שליחה וקבלה לא רק של שפות אלא גם תמונות

  2. מתן שאלות ויזואליות מורכבות או ויזואליות הוראות עריכה הדורשות שיתוף פעולה של דגמי AI מרובים עם ריבוי שלבים.

  3. מתן משוב ובקשת תוצאות מתוקנות.


עיצוב סדרה של הנחיות להחדרת מידע על המודל החזותי ל-ChatGPT, תוך התחשבות במודלים של מספר כניסות/יציאות ומודלים הדורשים משוב חזותי.

ניסויים מראים ש-Visual ChatGPT פותח את הדלת לחקור את התפקידים החזותיים של ChatGPT בעזרת Visual Foundation Models. המערכת שלנו זמינה לציבור בכתובת \url{ https URL זה }.


להורדת המסמך המלא :

Visual ChatGPT Talking Drawing and Editing with Visual Foundation Models
.pdf
הורידו את PDF • 2.45MB

לפירוט הקוד :

3 צפיות0 תגובות

פוסטים אחרונים

הצג הכול

Funding opportunities and business resources – April 2024

It may be April Fools’ Day, but this report is no joke!   A few of the opportunities have April 1st deadlines – so please skim through the list today! @Or_Manor The items listed include global and cou

קהילת Innovation Social club מתגייסת ומציע כמאה יוזמות עבור קהילת הטק בזמן מלחמת ''חרבות הברזל''

בקישור 4 טבלאות ; 1. מענקים והשקעות 2. רשימה של 430 קרנות הון סיכון תומכות בישראל - חיבורים ּּּדרך אור מנור. 3. יוזמות קהילת Innovation Social club 4. יוזמות רלוונטיות בקהילת הטק https://docs.google.c

Commentaires


bottom of page