From Wikipedia, the free encyclopedia
PaLM (Pathways Language Model) — Google AI tərəfindən hazırlanmış 540 milyard parametrli transformator əsaslı böyük dil modeli.[1] Tədqiqatçılar həmçinin model miqyasının təsirlərini yoxlamaq üçün PaLM-in daha kiçik versiyalarını, 8 və 62 milyard parametrli modellərini yaradıblar.[2]
| PaLM | |
|---|---|
 | |
| Tipi | böyük dil modeli |
| Tərtibatçı | Google AI |
| Sayt | ai.google/discover/palm2/ |
 Vikianbarda əlaqəli mediafayllar | |
PaLM, sağlam düşüncə, arifmetik əsaslandırma, zarafat izahı, kod yaratmaq və tərcümə də daxil olmaqla, geniş spektrli tapşırıqları yerinə yetirməyə qadirdir.[2][3][4][5] Düşüncə zənciri ilə birləşdirildikdə, PaLM söz problemləri və məntiqə əsaslanan suallar kimi çoxsaylı addımların əsaslandırılmasını tələb edən verilənlər bazasında əhəmiyyətli dərəcədə yaxşı performans əldə edib.[1][2]
Model ilk dəfə 2022-ci ilin aprelində elan edildi və Google PaLM və bir sıra digər texnologiyalar üçün API təqdim edənə qədər 2023-cü ilin martına qədər gizli qaldı.[6] API ictimaiyyətə təqdim edilməzdən əvvəl gözləmə siyahısına qoşulmuş məhdud sayda tərtibatçılar üçün əlçatan idi.[7]
Google və DeepMind PaLM 540B-nin Med-PaLM adlı tibbi məlumatlar əsasında dəqiq tənzimlənmiş və tibbi sual-cavab meyarları üzrə əvvəlki modelləri üstələyən versiyasını hazırlayıblar.[8][9] Med-PaLM ABŞ tibbi lisenziyalaşdırma sualları üzrə keçid balını keçən ilk şirkət olub və həm qapalı, həm də açıq suallara dəqiq cavab verməklə yanaşı, həm də əsaslandırma təqdim edir və cavablarını qiymətləndirə bilir.[10]
Google həmçinin robot manipulyasiyası üçün istifadə edilə bilən ən müasir görmə dili modeli olan PaLM-E yaratmaq üçün görmə transformatorundan istifadə edərək PaLM-i genişləndirib.[11][12] Model robototexnika sahəsindəki tapşırıqları təkrar təlimə və ya incə sazlamaya ehtiyac olmadan rəqabətli şəkildə yerinə yetirə bilər.[13]
2023-cü ilin may ayında Google hər il keçirilən Google I/O tədbirində PaLM 2-ni elan etdi.[14] PaLM 2-nin 3,6 trilyon token üzərində öyrədilmiş 340 milyard parametr modeli olduğu bildirilir.[15]
2023-cü ilin iyun ayında Google, PaLM-2 arxitekturası və işə salınmasından istifadə edən nitqdən nitqə tərcümə üçün yaradılan AudioPaLM-i elan etdi.[16]
PaLM müxtəlif təbii dil tapşırıqlarını və istifadə hallarını özündə birləşdirən 780 milyard tokendən ibarət yüksək keyfiyyətli korpusda əvvəlcədən hazırlanmışdır. Bu verilənlər bazasına filtrdən keçmiş veb səhifələr, kitablar, Vikipediya məqalələri, xəbər məqalələri, GitHub-dakı açıq mənbəli repozitoriyalardan əldə edilmiş mənbə kodu və sosial media söhbətləri daxildir.[1][2] O, Google-un LaMDA modelini öyrətmək üçün istifadə olunan verilənlər bazasına əsaslanır.[2] Məlumat dəstinin sosial media söhbət hissəsi korpusun 50%-ni təşkil edir ki, bu da modelin dialoq qabiliyyətinə kömək edir.[2]
PaLM 540B, bu günə qədər təsvir edilən ən böyük TPU konfiqurasiyası olan model və məlumat paralelliyi kombinasiyasından istifadə etməklə birləşdirilən 768 hosta qoşulmuş hər Podda 3,072 TPU v4 çipi olan iki TPU v4 Pod üzərində öyrədilmişdir.[2][17] Bu, 6,144 çipdən istifadə edərək, miqyasda səmərəli öyrənməyə imkan verdi və bu miqyasda LLM-lər üçün əldə edilən ən yüksək öyrənmə səmərəliliyi rekordunu (cihazın FLOPS istifadəsi 57,8%) qırdı.[3]
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
