GPT-3

GPT-3 (ראשי תיבות של: Generative Pre-trained Transformer 3, מילולית בעברית, טרנספורמר מאומן מראש בעל יכולת יצירה הוא מודל שפה אוטורגרסיבי, המשתמש בלמידה עמוקה כדי לייצר טקסט דמוי אנושי (כפי שאדם מוכשר היה מייצר).

GPT-3

מפתח	OpenAI
מחזור חיים	28 במאי 2020 – הווה (4 שנים)
גרסה אחרונה	175B
סוג רישיון	רישיון קנייני
קוד מקור	https://github.com/openai/gpt-3
arxiv.org/abs/2005.14165

GPT-3 הוא מודל חיזוי השפה מהדור השלישי בסדרת GPT-n (והיורש ל-GPT-2) שנוצר על ידי OpenAI, מעבדת מחקר לבינה מלאכותית בסן פרנסיסקו שנוסדה על ידי אילון מאסק וסם אלטמן.^[1] לגרסה המלאה של GPT-3 קיבולת של 175 מיליארד פרמטרים של למידת מכונה. GPT-3, שהוצג במאי 2020, והיה בבדיקת בטא החל מיולי 2020,^[2] הוא חלק ממגמה במערכות עיבוד שפות טבעיות (NLP) של ייצוגי שפה שהוכשרו מראש. לפני שחרורו של GPT-3, מודל השפה הגדול ביותר היה Turing NLG של מיקרוסופט, שהוצג בפברואר 2020, עם קיבולת של 17 מיליארד פרמטרים, פחות מעשירית מאשר של GPT-3.

איכות הטקסט שנוצר על ידי GPT-3 כה גבוהה עד שקשה להבדילה מזו שכתב אדם אמיתי. שלושים ואחד חוקרי ומהנדסי OpenAI הציגו את המאמר המקורי ב-28 במאי 2020 שחשף את GPT-3. במאמרם הם הזהירו מפני הסכנות הפוטנציאליות של GPT-3 וקראו למחקר כדי להפחית את הסיכון. דייוויד צ'אלמרס, פילוסוף אוסטרלי, תיאר את GPT-3 כ"אחת ממערכות ה-AI המעניינות והחשובות ביותר שיוצרו אי פעם."^[3]

מיקרוסופט הודיעה ב-22 בספטמבר 2020 כי היא רכשה זכויות שימוש בלעדיות בקוד של GPT-3; אחרים עדיין יכולים להשתמש ב-API הציבורי לקבלת פלט, אך רק למיקרוסופט יש גישה לקוד הבסיסי של GPT-3.

בשנת 2022 שוחררה גרסה מתקדמת "GPT-3.5". יש לה תכונות מתקדמות. מנוע חיפוש Perplexity מבוסס על גרסה זו.

ביקורות

• בסקירה שנערכה ביולי 2020 בניו יורק טיימס, פרהאד מנג'ו אמר כי יכולתו יוצאת הדופן של GPT-3 לייצר קוד מחשב, שירה ופרוזה אינה רק "מדהימה", "מוזרה" ו"משפילה", אלא גם "די מפחידה".^[4]
• ג'רום פסנטי, ראש מעבדת ה-AI של פייסבוק, אמר כי GPT-3 אינו "בטוח", ומצביע על השפה המינית, הגזענית ומוטה ושלילית שנוצרה על ידי המערכת כאשר התבקשה לדון ביהודים, נשים, אנשים שחורים והשואה.^[5]
• נועם חומסקי הביע את ספקנותו לגבי הערך המדעי של GPT-3: "זה לא מודל שפה. זה עובד באותה מידה עבור שפות בלתי אפשריות כמו עבור שפות בפועל. לכן הוא מופרך, אם הוא נועד כמודל שפה, בקריטריונים מדעיים נורמליים ... אולי זה שימושי למטרה כלשהי, אבל נראה שזה לא אומר לנו כלום על שפה או הכרה באופן כללי."^[6]

ראו גם

• Github Copilot
• OpenAI

קישורים חיצוניים

מדיה וקבצים בנושא GPT-3 בוויקישיתוף

הערות שוליים

1. Shead, Sam (23 ביולי 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. נבדק ב-31 ביולי 2020. {{cite news}}: (עזרה) Four preprints were released between May 28 and July 22, 2020.
2. Bussler, Frederik (21 ביולי 2020). "Will GPT-3 Kill Coding?". Towards Data Science. נבדק ב-1 באוגוסט 2020. {{cite web}}: (עזרה)
3. Chalmers, David (30 ביולי 2020). Weinberg, Justin (ed.). "GPT-3 and General Intelligence". Daily Nous. Philosophers On GPT-3 (updated with replies by GPT-3). נבדק ב-4 באוגוסט 2020. {{cite web}}: (עזרה)
4. Manjoo, Farhad (29 ביולי 2020). "How Do You Know a Human Wrote This?". הניו יורק טיימס. ISSN 0362-4331. נבדק ב-4 באוגוסט 2020. {{cite news}}: (עזרה)
5. Metz, Cade (2020-11-24). "Meet GPT-3. It Has Learned to Code (and Blog and Argue)". The New York Times (באנגלית אמריקאית). ISSN 0362-4331. נבדק ב-2020-11-24.
6. Chomsky on Terence McKenna, Sam Harris, GPT3, Cryptocurrencies, Kierkegaard, Neuralink, & Hofstadter. 2021-03-24. Event occurs at 1:11:44.