Nagy nyelvi modell forrásának megtekintése

A '''nagy nyelvi modell''' ([[angol nyelv|angolul]] ''Large language model'', LLM) olyan számítási modell, amely képes nyelv generálására, vagy más [[természetes nyelv]]i feldolgozási feladatok elvégzésére. Mint nyelvi modellek, az LLM-ek úgy sajátítják el ezeket a képességeket, hogy óriási mennyiségű [[szöveg]]ből, egy önfelügyelt és egy félig felügyelt [[gépi tanulás|tanulási]] folyamat során, [[statisztika]]i összefüggéseket tanulnak meg.<ref name=":7">{{Cite web |date=2019-02-14 |title=Better Language Models and Their Implications |url=https://openai.com/blog/better-language-models/ |url-status=live |archiveurl=https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/ |archivedate=2020-12-19 |accessdate=2019-08-25 |work=OpenAI}}</ref>

A legnagyobb és legtehetségesebb LLM-ek 2024 augusztusában, [[mesterséges neurális hálózat]]ok, amelyeket csak dekóderes, transzformer alapú architektúrával építettek. Ez lehetővé teszi számukra a nagy léptékű (hatalmas mennyiségű, heterogén tartalmú, sokféle forrásból származó<ref>{{Cite web |title=Large Scale Data - an overview {{!}} ScienceDirect Topics |url=https://www.sciencedirect.com/topics/computer-science/large-scale-data |work=www.sciencedirect.com |accessdate=2024-09-15}}</ref>) szöveges adatok hatékony feldolgozását és generálását. A modern modellek a konkrét feladatokhoz finomhangolhatók, és prompt mérnöki tevékenységgel irányíthatók.<ref name="few-shot-learners">{{Cite journal|author=Brown|first=Tom B.|date=Dec 2020|editor1-last=Hadsell|title=Language Models are Few-Shot Learners|url=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=33|pages=1877–1901|accessdate=2023-03-14|archivedate=2023-11-17|archiveurl=https://web.archive.org/web/20231117204007/https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|url-status=live}}</ref> Ezek a modellek prediktív képességet sajátítanak el az emberi nyelvi korpuszokban rejlő szintaxis, szemantika és [[Ontológia (informatika)|ontológiák]]  tekintetében, ugyanakkor öröklik mindazt a pontatlanságot és torzítást ''(bias)'', amely az általuk betanult adatokban jelen volt.<ref name="Manning-2022">{{Cite journal|author=Manning|first=Christopher D.|authorlink=Christopher D. Manning|year=2022|title=Human Language Understanding & Reasoning|url=https://www.amacad.org/publication/human-language-understanding-reasoning|journal=Daedalus|volume=151|issue=2|pages=127–138|doi=10.1162/daed_a_01905|access-date=|accessdate=2023-03-09|archivedate=2023-11-17|archiveurl=https://web.archive.org/web/20231117205531/https://www.amacad.org/publication/human-language-understanding-reasoning|url-status=live}}</ref>

Néhány nevezetes LLM: az [[OpenAI]] GPT modellsorozata (pl. a GPT-3.5, a GPT-4, valamint a [[GPT-4o]] ; amelyet a [[ChatGPT]]-ben és a [[Microsoft]] Copilotban használtak fel); a [[Google LLC|Google]] Gemini (ez utóbbit jelenleg az azonos nevű chatbotban használatos ); a [[Meta Platforms|Meta]] LLaMA modellcsaládja; [[IBM|az IBM]] eredetileg Watsonx-szel kiadott Granite modelljei; az Anthropic Claude modelljei; és a Mistral AI modelljei.

== Története ==
2017 előtt volt néhány olyan nyelvi modell, amelyek az akkor elérhető képességekhez viszonyítva nagyok voltak. Az 1990-es években az [[IBM alignment models|IBM igazítási modellek]] (olyan, egyre összetettebb modellek sorozatáról van szó, amelyeket a statisztikai gépi fordításban használnak) úttörő szerepet játszottak a statisztikai nyelvi modellezésben. 2001-ben egy simított, 0,3 milliárd szóra kiképzett n-gram modell elérte az akkori SOTA (a technika legkorszerűbb) perplexitását.  A 2000-es években, amikor az internethasználat elterjedt, néhány kutató internetes léptékű nyelvi adatkészleteket konstruált ("web as corpus"<ref>{{Cite journal|author=Kilgarriff|first=Adam|date=September 2003|title=Introduction to the Special Issue on the Web as Corpus|url=https://direct.mit.edu/coli/article/29/3/333-347/1816|journal=Computational Linguistics|volume=29|issue=3|pages=333–347|doi=10.1162/089120103322711569|issn=0891-2017}}</ref> ), amelyek alapján statisztikai nyelvi modelleket képeztek ki.<ref>{{Cite journal|author=Banko|first=Michele|date=2001|title=Scaling to very very large corpora for natural language disambiguation|url=http://dx.doi.org/10.3115/1073012.1073017|journal=Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01|pages=26–33|location=Morristown, NJ, USA|publisher=Association for Computational Linguistics|doi=10.3115/1073012.1073017}}</ref><ref>{{Cite journal|author=Resnik|first=Philip|date=September 2003|title=The Web as a Parallel Corpus|url=https://direct.mit.edu/coli/article/29/3/349-380/1809|journal=Computational Linguistics|volume=29|issue=3|pages=349–380|doi=10.1162/089120103322711578|issn=0891-2017|access-date=|accessdate=2024-06-07|archivedate=2024-06-07|archiveurl=https://web.archive.org/web/20240607172811/https://direct.mit.edu/coli/article/29/3/349-380/1809|url-status=live}}</ref> 2009-ben a legtöbb nyelvi feldolgozási feladatban a statisztikai nyelvi modellek domináltak a szimbolikus nyelvi modellekkel szemben, mivel képesek hasznosan befogadni nagy adathalmazokat.<ref>{{Cite journal|author=Halevy|first=Alon|date=March 2009|title=The Unreasonable Effectiveness of Data|url=https://ieeexplore.ieee.org/document/4804817|journal=IEEE Intelligent Systems|volume=24|issue=2|pages=8–12|doi=10.1109/MIS.2009.36|issn=1541-1672}}</ref>

Miután 2012 körül a neurális hálózatok dominánssá váltak a képfeldolgozásban, a nyelvi modellezésre is alkalmazták őket. A Google 2016-ban átalakította fordítószolgáltatását neurális gépi fordításra (NMT). A transzformerek előtti időszakhoz hasonlóan, most is a (Sequence to Sequence) [[Seq2seq]] mély LSTM hálózatok által tették ezt. (Egy többrétegű hosszú rövid-távú memória [Long Short-Term Memory]  a bemeneti adatsorozatot leképezi egy rögzített dimenziójú vektorra, majd egy másik LSMT a vektorból dekódolja a célszekvenciát.<ref>{{Cite web |url=https://www.sh-tsang.medium.com/review-seq2seq-sequence-to-sequence-learning-with-neural-networks-bcb84071a670 |title= |accessdate=}}</ref>)
[[Fájl:The-Transformer-model-architecture.png|bélyegkép|A transzformermodell fő összetevőinek illusztrációja az eredeti papírról, ahol a rétegek normalizálása a többfejű figyelem után (nem előtte) történt]]
A Google kutatói a 2017-es NeurIPS konferencián mutatták be a transzformer architektúrát a mérföldkőnek számító " Attention Is All You Need ” című tanulmányukban. E cikk célja a 2014 utáni Seq2seq technológia fejlesztése volt,<ref>{{Cite journal|author=Vaswani|first=Ashish|title=Attention is All you Need|journal=Advances in Neural Information Processing Systems|date=2017|volume=30|url=https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf|publisher=Curran Associates, Inc.|accessdate=2024-01-21|archivedate=2024-02-21|archiveurl=https://web.archive.org/web/20240221141113/https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf|url-status=live}}</ref> és főként a Bahdanau és munkatársai által 2014-ben kifejlesztett figyelem-mechanizmuson (attention mechanism) alapult.

2018-ban bevezették a Google kutatói által épített BERT-öt (Bidirectional encoder representations from transformers), és ez a nyelvi modell gyorsan „mindenütt jelenlévővé” vált.<ref>{{Cite journal|author=Rogers|first=Anna|date=2020|title=A Primer in BERTology: What We Know About How BERT Works|url=https://aclanthology.org/2020.tacl-1.54|journal=Transactions of the Association for Computational Linguistics|volume=8|pages=842–866|doi=10.1162/tacl_a_00349|accessdate=2024-01-21|archivedate=2022-04-03|archiveurl=https://web.archive.org/web/20220403103310/https://aclanthology.org/2020.tacl-1.54/|url-status=live}}</ref> Bár az eredeti transzformernek kódoló és dekódoló blokkja is van, a BERT csak kódoló (encoder) modell.

Noha 2018-ban bevezették a csak dekóderhez használható GPT-1-et, 2019-ben a GPT-2 volt az, amely széleskörű figyelmet keltett, mivel [[OpenAI|az OpenAI]] eleinte, a rosszindulatú felhasználástól félve, túl átütő erejűnek tartotta a nyilvános kiadáshoz.<ref>{{Cite web |url=https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction |title=New AI fake text generator may be too dangerous to release, say creators |author=Hern |first=Alex |work=[[The Guardian]] |date=14 February 2019 |accessdate=20 January 2024 |archivedate=14 February 2019 |archiveurl=https://web.archive.org/web/20190214173112/https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction |url-status=live}}</ref> A GPT-3 2020-ban egy lépéssel tovább ment, és 2024-től már csak API-n keresztül érhető el, így nincs lehetőség a modell letöltésére és helyben futtatására. De a 2022-es, fogyasztóknak szánt, böngészőalapú [[ChatGPT]] volt az, amely megragadta az általános népesség fantáziáját, és okozott némi médiafelhajtást és online zsongást.  A 2023-as GPT-4-et megnövekedett pontossága miatt dícsérték, és "szent grálként" tekintettek rá a multimodális képességei miatt.<ref>{{Cite web |url=https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/ |title=GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why |author=Heaven |first=Will |date=March 14, 2023 |publisher=[[MIT Technology Review]] |accessdate=January 20, 2024 |archivedate=March 17, 2023 |archiveurl=https://web.archive.org/web/20230317224201/https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/ |url-status=live}}</ref> Az OpenAI nem fedte fel a GPT-4 magas szintű architektúráját és paramétereinek számát.

Az egymással versengő nyelvi modellek nagyrészt a GPT sorozattal próbáltak megegyezni, legalábbis a paraméterek száma szempontjából.

2022 óta a nyílt forráskódú modellek egyre népszerűbbek, eleinte főleg a BLOOM és a LLaMA, bár mindkettőnek korlátozzák a felhasználási területét. A Mistral AI modelljei, a Mistral 7B és a Mixtral 8x7b engedékenyebb [[Apache Licenc|Apache licenccel]] rendelkeznek. 2024 júniusától a Llama-3-70b-Instruct, a Llama finomhangolt változata, a 3 70 milliárd paraméteres modell a legerősebb nyílt LLM az LMSYS Chatbot Arena ranglistája szerint, erősebb, mint a GPT-3.5, de nem olyan erős, mint a GPT-4.

2024-től a legnagyobb és legjobb képességű modellek szinte mindegyike a transzformer-architektúrán alapul. Néhány a legújabb kivitelezések közül más architektúrájú, mint például a rekurrens (visszacsatolt) neurális hálózatok (RNN) változatai és a Mamba (egy állapottér modell [SSM]).<ref>{{Cite arXiv|last=Peng|title=RWKV: Reinventing RNNS for the Transformer Era}}</ref><ref>{{Cite web |author=Merritt |first=Rick |date=2022-03-25 |title=What Is a Transformer Model? |url=https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/ |accessdate=2023-07-25 |work=NVIDIA Blog |archivedate=2023-11-17 |archiveurl=https://web.archive.org/web/20231117203924/https://blogs.nvidia.com/blog/what-is-a-transformer-model/ |url-status=live}}</ref><ref>{{Citation|last=Gu|first=Albert|title=Mamba: Linear-Time Sequence Modeling with Selective State Spaces|date=2023-12-01}}</ref>

== Adatkészlet előfeldolgozása ==

=== Tokenizálás ===
Mivel [[Gépi tanulás|a gépi tanulási]] algoritmusok szöveg helyett számokat dolgoznak fel, a szöveget számokká kell alakítani. Első lépésben egy szókészletről születik döntés, majd önkényesen, de egyedileg egész indexeket rendelnek a szójegyzék minden egyes bejegyzéséhez, végül pedig egy beágyazást társítanak az integer indexhez. Az algoritmusok közé tartozik a bájtpáros kódolás ([BPE], a melyet a természetes nyelvi feldolgozában [<nowiki/>[[Natural Language Procession,]] NLP] alszavak tokenizálására használnak) és a WordPiece (ez a Google által a BERT előképzésére kifejlesztett tokenizációs algoritmus).

Vannak speciális tokenek is, amelyek [[vezérlőkarakter]]ként szolgálnak, mint például <code>[MASK]</code> a kimaszkolt tokenhez (ahogyan az a BERT -ben használatos), és <code>[UNK]</code> (unknown – ismeretlen) a szókincsben nem szereplő karakterekhez.

Ezenkívül néhány speciális szimbólumot használnak a különleges szövegformázás jelölésére. Például a „Ġ” egy előtte álló szóközt jelöl a RoBERTa-ban és a GPT-ben. A "##" egy előző szó folytatását jelöli a BERT-ben.<ref>{{Citation|last=Kaushal|first=Ayush|title=What do tokens know about their characters and how do they know it?|date=2022-06-06|url=https://arxiv.org/abs/2206.02608|access-date=2024-09-08|doi=10.48550/arXiv.2206.02608|last2=Mahowald|first2=Kyle}}</ref>

Például BPT tokenizátor, amit a GPT-3 (Legacy) haszná felosztja <small><code>tokenizer: texts -> series of numerical "tokens"</code></small> mint
{| cellpadding="0;" cellspacing="0;" style="border:1px solid black"
| style="border-left: 2px green; border-right: 2px green" |token
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" | izer
| style="border-left: 2px green; border-right: 2px green" | :
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |&nbsp;[texts
| style="border-left: 2px green; border-right: 2px green" |&nbsp;->
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" | serie
| style="border-left: 2px green; border-right: 2px green" |&nbsp;of
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |numerical
| style="border-left: 2px green; border-right: 2px green" |&nbsp;"
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" | t
| style="border-left: 2px green; border-right: 2px green" | ok
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |ens
| style="border-left: 2px green; border-right: 2px green" | "
|}
A tokenizálás az adatkészleteket is [[Adattömörítés|tömöríti]] . Mivel az LLM-ek általában egy sorban lévő, nem pedig egyenetlenül adagolt inputot írnak elő, a rövidebb szövegeket ki kell "párnázni", egészen addig, amíg a hosszúságuk meg nem egyezik a leghosszabb szöveg hosszával. Az adatkészlet nyelvétől függ, hogy átlagosan hány tokenre van szükség szavanként.<ref>{{Cite web |url=https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized |title=All languages are NOT created (tokenized) equal |author=Yennie Jun |date=2023-05-03 |accessdate=2023-08-17 |quote=In other words, to express the same sentiment, some languages require up to 10 times more tokens. |work=Language models cost much more in some languages than others |archivedate=2023-08-17 |archiveurl=https://web.archive.org/web/20230817165705/https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized |url-status=dead}}</ref><ref>{{Cite journal|author=Petrov|first=Aleksandar|date=June 23, 2023|title=Language Model Tokenizers Introduce Unfairness Between Languages|url=https://openreview.net/forum?id=Pj4YYuxTq9|journal=NeurIPS|accessdate=September 16, 2023|archivedate=December 15, 2023|archiveurl=https://web.archive.org/web/20231215212906/https://openreview.net/forum?id=Pj4YYuxTq9|url-status=live}}</ref>

==== BPE ====
Példaként vegyünk egy bájtpáros kódoláson alapuló tokenizátort. Az első lépésben az összes egyedi karaktert (beleértve az üreseket és az írásjeleket is) n -grammok kezdeti halmazaként (azaz unigrammok kezdeti halmazaként) kezeli. A szomszédos karakterek leggyakrabban előforduló párja egymás után összevonódik egy bigrammá, és a pár minden példányát ez helyettesíti. A korábban összevont, szomszédos ''n'' -gramm-párok összes (korábban összevont) előfordulását –  amelyek a leggyakrabban fordulnak együtt elő – ezután ismét összevonják – egy még hosszabb – ''n'' -grammá, egészen addig, amíg a szókészlet az előírt méretűvé nem válik (a GPT-3 esetén a méret 50257) .<ref name="xbiWb">{{Cite web |title=OpenAI API |url=https://platform.openai.com/ |archiveurl=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer |archivedate=April 23, 2023 |accessdate=2023-04-30 |work=platform.openai.com}}</ref> A tokenizátorral, a betanítása után, bármely szöveg tokenizálható, feltéve, hogy nem tartalmaz olyan karaktereket, amelyek nem szerepelnek az unigrammok kezdőkészletében.<ref name="2022Book_">{{Hivatkozás/Könyv |last=Paaß |first=Gerhard |title=Foundation Models for Natural Language Processing |accessdate=3 August 2023 |series=Artificial Intelligence: Foundations, Theory, and Algorithms |date=2022 |isbn=9783031231902 |doi=10.1007/978-3-031-23190-2_2 |page=19–78 |chapter=Pre-trained Language Models |chapterurl=https://link.springer.com/chapter/10.1007/978-3-031-23190-2_2 |archiveurl=https://web.archive.org/web/20230803212329/https://link.springer.com/chapter/10.1007/978-3-031-23190-2_2 |archivedate=3 August 2023}}</ref>

==== Problémák ====
A főként angol korpuszokból kinyert gyakoriságokon alapuló token szókincs, a lehető legkevesebb tokent használja egy átlagos angol szóhoz. Egy másik nyelven kódolt átlagos szó azonban, egy ilyen angolra optimalizált tokenizátor használata esetén, szuboptimális mennyiségű tokenre van felosztva. A GPT-2 tokenizátor szavanként akár 15-ször több tokent képes használni egyes nyelveken, például a [[mianmar]]i Shan nyelven. Olyan, még elterjedtebb nyelvek, mint például a portugál és a német pedig „50%-os token-töblettel” rendelkeznek az angolhoz képest.<ref>{{Cite arXiv|eprint=2305.15425|last1=Petrov|title=Language Model Tokenizers Introduce Unfairness Between Languages}}</ref>

A mohó tokenizálás szintén okoz apróbb problémákat a szöveg befejezésénél.<ref>{{Cite web |author=Lundberg |first=Scott |date=2023-12-12 |title=The Art of Prompt Design: Prompt Boundaries and Token Healing |url=https://towardsdatascience.com/the-art-of-prompt-design-prompt-boundaries-and-token-healing-3b2448b0be38 |accessdate=2024-08-05 |work=Medium |language=en}}</ref>

=== Adatkészlet tisztítás ===
Az LLM-ek képzésével összefüggésben az adatkészleteket általában a toxikus szakaszok eltávolításával, az alacsony minőségű adatok elvetésével és a duplikációk megszüntetésével tisztítják.  A megtisztított adatkészletek növelhetik a képzés hatékonyságát, és javíthatják a szervertől származó adatfolyam minőségét, teljesítőképességét.<ref>{{Cite journal|author=Lee|first=Katherine|date=May 2022|title=Deduplicating Training Data Makes Language Models Better|url=https://aclanthology.org/2022.acl-long.577.pdf|journal=Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics|volume=1: Long Papers|pages=8424–8445|doi=10.18653/v1/2022.acl-long.577}}</ref>  Egy betanított large language model egy további LLM betanításához szükséges adatkészletek tisztítására is használható..

A weben található tartalom egyre nagyobb hányada LLM által generált, ezért az adattisztítás a jövőben az ilyen tartalmak kiszűrését is magában foglalhatja. Az LLM által generált tartalom akkor jelenthet problémát, ha a tartalom az emberi szöveghez hasonló (ami bonyolultabbá teszi a szűrést), de rosszabb minőségű (lerontja a rá betanított modellek teljesítményét).<ref name="qbFw1">{{Cite arXiv|eprint=2005.14165|last1=Brown|title=Language Models are Few-Shot Learners}}</ref>

=== Szintetikus adatok ===
Előfordulhat, hogy a legnagyobb nyelvi modellek képzéséhez több nyelvi adatra van szükség a természetes módon rendelkezésre állónál, vagy, hogy a természetesen előforduló adatok nem megfelelő minőségűek. Ezekben az esetekben szintetikus adatok használhatók. A Microsoft [[Phi (LLM)|Phi]] LLM-sorozatát például egy másik LLM által generált, tankönyvszerű adatokon tanították be.<ref>{{Cite arXiv|last1=Abdin|title=Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone|eprint=2404.14219}}</ref>

== Képzés és architektúra ==

=== Megerősítő tanulás emberi visszajelzésből (RLHF) ===
A emberi visszajelzésen alapuló megerősítő tanulás (Reinforcement learning from human feedback – RLHF) algoritmusokon – például a proximális politikaoptimalizáláson (PPO) – keresztül az emberi preferenciák adathalmazán alapuló modell további finomhangolására használatos.<ref name="instructGPT-paper">{{Cite arXiv|eprint=2203.02155|last1=Ouyang|title=Training language models to follow instructions with human feedback}}</ref>

=== Utasítás hangolás ===
Az önképző ("self-instruct") eljárásokat használva,  az LLM-ek képessé váltak a helyes válaszok önálló  [[Bootstrap|rendszerbetöltésére (bootstrap]]), helyettesítve a naiv válaszokat, néhány eset ember által generált korrekciójából kiindulva. Például az „Írjon esszét a ''Hamlet'' fő témáiról" utasításban a kezdeti naiv kiegészítés, ennek a szöveges sorozatnak a korpuszban előforduló gyakorisága alapján, a következő lehet: "Ha március 17-e után küldi be az esszét, az osztályzata 10%-kal csökken minden egyes késedelmes nap után".<ref name="self-instruct-paper">{{Cite arXiv|eprint=2212.10560|last1=Wang|title=Self-Instruct: Aligning Language Model with Self Generated Instructions}}</ref>

=== Szakértők keveréke ===
A legnagyobb LLM túl drága lehet a közvetlen képzéshez és használathoz. Az ilyen modellekre a szakértői keverék (mixture of experts – MoE) alkalmazható, a Google kutatói által 2017 óta folytatott kutatási vonal, amelynek célja az akár 1 billió paramétert is elérő modellek betanítása.<ref name="HGZCJ">{{Cite arXiv|eprint=1701.06538|last1=Shazeer|title=Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer}}</ref><ref name="R9Qq5">{{Cite arXiv|eprint=2006.16668|last1=Lepikhin|title=GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding}}</ref>

=== Prompt tervezés, figyelemmechanizmus és kontextusablak ===
A legtöbb olyan eredmény, amelyet korábban csak (költséges) finomhangolással lehetett elérni, elérhető az „utasítás tervezésen" (prompt engineering) keresztül, noha ez egyetlen beszélgetés hatókörére korlátozódik (pontosabban egy kontextusablak hatókörére).<ref name="emergentpaper">{{Cite journal|author=Wei|first=Jason|date=31 August 2022|title=Emergent Abilities of Large Language Models|url=https://openreview.net/forum?id=yzkSU5zdwD|journal=Transactions on Machine Learning Research|issn=2835-8856|accessdate=19 March 2023|archivedate=22 March 2023|archiveurl=https://web.archive.org/web/20230322210052/https://openreview.net/forum?id=yzkSU5zdwD|url-status=live}}</ref>
[[Fájl:Multiple_attention_heads.png|bélyegkép|Amikor minden fej a saját kritériumai szerint kiszámítja, hogy mennyi másik token releváns az "it_" tokenhez, jelzi, hogy a második figyelemfej, amelyet a második oszlop képvisel, leginkább az első két sorra, azaz a tokenekre koncentrál, vagyis az "Az"-ra és az "állat"-ra, míg a harmadik oszlop leginkább az alsó két sorra fókuszál, azaz a "fáradt"-ra, ami két tokenné lett tokenizálva.<ref name="Jay_Allamar">{{Cite web |author=Allamar |first=Jay |title=Illustrated transformer |url=https://jalammar.github.io/illustrated-transformer/ |accessdate=2023-07-29 |archivedate=2023-07-25 |archiveurl=https://web.archive.org/web/20230725230033/http://jalammar.github.io/illustrated-transformer/ |url-status=live}}</ref>]]
Annak érdekében, hogy megtudja, mely tokenek relevánsak egymás számára a kontextusablak keretein belül, a figyelemmechanizmus „puha” súlyokat számol minden egyes tokenhez, pontosabban annak beágyazásához, több figyelemfej használatával, amelyek mindegyike saját „relevanciával” rendelkezik a saját lágy súlyok kiszámításához. Például a kicsi (azaz 117 milliós paraméter méretű) GPT-2 modell tizenkét figyelemfejjel és mindössze 1 ezer tokenből álló kontextusablakkal rendelkezik.<ref name="Jay_Allamar_GPT2">{{Cite web |author=Allamar |first=Jay |title=The Illustrated GPT-2 (Visualizing Transformer Language Models) |url=https://jalammar.github.io/illustrated-gpt2/ |accessdate=2023-08-01}}</ref> Közepes változatában 345M paraméterrel rendelkezik, és 24 réteget tartalmaz, egyenként 12 figyelemfejjel. A gradiens süllyedéssel (GD) végzett képzéshez 512-es tételméretet használtak.<ref name="2022Book_" />

A legnagyobb modelleknek, így például a Google 2024 februárjában bemutatott Gemini 1.5-jének, akár 1 millió tokenes kontextusablaka is lehet (és a 10 milliós kontextusablakot is „sikeresen tesztelték").<ref>{{Cite web |title=Our next-generation model: Gemini 1.5 |url=https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |work=Google |accessdate=18 February 2024 |date=15 February 2024 |archivedate=18 February 2024 |archiveurl=https://web.archive.org/web/20240218141522/https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |url-status=live}}</ref> Más, nagy kontextusablakokkal rendelkező modellek közé tartozik például az Anthropic's Claude 2.1 is, amely egy, akár 200 000 tokenes kontextusablakkal rendelkezik.<ref>{{Cite web |url=https://www.anthropic.com/news/claude-2-1-prompting |title=Long context prompting for Claude 2.1 |date=December 6, 2023 |accessdate=January 20, 2024 |archivedate=August 27, 2024 |archiveurl=https://web.archive.org/web/20240827053830/https://www.anthropic.com/news/claude-2-1-prompting |url-status=live}}</ref>

Vegye figyelembe, hogy ez a maximum a bemeneti tokenek számára vonatkozik, valamint, hogy a kimeneti tokenek maximális száma eltér a bemeneti tokenek számától, és hogy a kimeneti tokenek maximális száma gyakran kisebb a bemeneti tokenek maximális számánál. Például a GPT-4 Turbo modell maximális kimenete 4096 tokenes.

Egy beszélgetés hosszát, amelyet a modell figyelembe tud venni a következő válasza generálásakor, egy kontextusablak mérete is korlátozza. Ha egy beszélgetés hossza  – például [[ChatGPT|a ChatGPT]]-vel – hosszabb, mint az adott LLM kontextusablaka, akkor a következő válasz generálásakor csak a kontextusablakon belüli részeket veszi figyelembe a modell, vagy valamilyen algoritmust kell alkalmaznia a modellnek a beszélgetés egymástól túl távol eső részeinek összefoglalására.

A kontextusablak megnagyobbításának hiányosságai közé tartozik a magasabb számítási költség és a helyi kontextusra való összpontosítás esetleges felhígulása. Az ablak kicsinyítése azonban azt okozhatja, hogy a modell kihagy egy fontos, hosszú távú függőséget (a sorozat, pl. egy beszélgetés, távoli elemei közötti kapcsolatot). Ezek kiegyensúlyozása kísérletezés és domén-specifikus megfontolások kérdése.

Egy modell előre betanítható annak előzetes becslésére, hogy hogyan folytatódik a szegmens, vagy éppen arra, hogy mi hiányzik a szegmensből, egy a betanítási adatkészletéből adott szegmens esetében.<ref name="ioUpE">{{Hivatkozás/Könyv |last=Zaib |first=Munazza |title=Proceedings of the Australasian Computer Science Week Multiconference |date=4 February 2020 |isbn=9781450376976 |doi=10.1145/3373017.3373028 |page=1–4 |chapter=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP |chapterurl=https://www.researchgate.net/publication/338931711}}</ref> Bármelyik lehet

* autoregresszív (azaz megjósolja, hogyan folytatódik a szegmens, úgy, ahogy a GPT-k csinálják): például adott egy „szeretek enni” szegmens, amelyre, a modell „fagylaltot” vagy „szusit” jósol.
* " maszkolt " (azaz kitölti a szegmensből hiányzó részeket, ahogy "BERT"<ref name="jm">{{Hivatkozás/Könyv |last=Jurafsky |first=Dan |title=Speech and Language Processing |url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |accessdate=24 May 2022 |edition=3rd edition draft |date=7 January 2023 |archiveurl=https://web.archive.org/web/20230323210221/https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |archivedate=23 March 2023}}</ref> teszi): például adott egy "I like to <code>[__] [__] cream</code>" szegmens esetén a modell azt jósolja, hogy az „eat" és az „ice" hiányzik.

A modelleket olyan kiegészítő feladatokra is ki lehet képezni, amelyek tesztelik az adateloszlás megértését. Például a következő mondat előrejelzését (next sentence prediction – NSP), amelyben mondatpárok jelennek meg, és a modellnek meg kell jósolnia, hogy ezek egymás után megjelennek-e a tanító korpuszban.<ref name="jm" /> Edzés közben a regularizációs veszteséget az edzés stabilizálására is alkalmazzák, de általában nem használják a tesztelés és az értékelés során.

=== Infrastruktúra ===
A legnagyobb modellek képzéséhez jelentős infrastruktúra szükséges.<ref>{{Cite web |title=From bare metal to a 70B model: infrastructure set-up and scripts |url=https://imbue.com/research/70b-infrastructure/ |accessdate=2024-07-24 |work=imbue.com |language=en-US |archivedate=2024-07-26 |archiveurl=https://web.archive.org/web/20240726203419/https://imbue.com/research/70b-infrastructure/ |url-status=live}}</ref><ref>{{Cite web |title=metaseq/projects/OPT/chronicles at main • facebookresearch/metaseq |url=https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles |accessdate=2024-07-24 |work=GitHub |language=en |archivedate=2024-01-24 |archiveurl=https://web.archive.org/web/20240124035658/https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles |url-status=live}}</ref><ref>{{Cite web |author=Albrecht |first=Josh |date=2024-07-23 |title=State of the Art: Training >70B LLMs on 10,000 H100 clusters |url=https://www.latent.space/p/llm-training-2024 |accessdate=2024-07-24 |work=www.latent.space |language=en}}</ref>

== Képzési költség ==
[[Fájl:Estimated_training_cost_of_some_AI_models_-_2024_AI_index.jpg|jobbra|keretnélküli]]
2020 óta, a szoftver és a hardver területén tett előrelépések következtében jelentősen csökkentek a költségek, így 2023-ban egy 12 milliárd paraméterű LLM számítási költsége 72 300 A100-GPU óra volt, míg 2020-ban egy 1,5 milliárd paraméterű LLM képzésének költsége, (amely két nagyságrenddel volt kisebb, mint a 2020-as csúcstechnika), 80 ezer és 1,6 millió USD között volt.<ref name="Wiggers">{{Cite web |author=Wiggers |first=Kyle |date=28 April 2022 |title=The emerging types of language models and why they matter |url=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/ |work=TechCrunch |accessdate=9 March 2023 |archivedate=16 March 2023 |archiveurl=https://web.archive.org/web/20230316072443/https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/ |url-status=live}}</ref>   2020 óta jelentős összegeket fektettek be a fokozatosan egyre nagyobb modellekbe. Például a GPT-2 (azaz egy 1,5 milliárd paraméteres modell) képzése 2019-ben 50000 USD-ba került, míg a PaLM (azaz egy 540 milliárd paraméteres modell) 2022-ben 8 millió USD-ba, a Megatron-Turing NLG 530B pedig (2021-ben) körülbelül 11 millió USD-ba került.

A transzformer-alapú LLM esetében sokkal magasabb a képzési költség, mint a következtetési költség.  Míg az egy tokenre való betanítás paraméterenként 6 [[FLOPS|FLOP-]] ba kerül, a tokenre való következtetés paraméterenként csak 1-2 FLOP-ba kerül.<ref name="kaplan-scaling">Section 2.1 and Table 1, {{Cite arXiv|title=Scaling Laws for Neural Language Models}}</ref>

== Eszközhasználat ==
Vannak bizonyos feladatok, amelyeket elvileg egyetlen LLM sem tud megoldani, legalábbis külső eszközök vagy kiegészítő szoftverek nélkül. Ilyen feladat például a felhasználó '354 * 139 = ' bevitelére való válaszadás, feltéve, hogy az LLM még nem találkozott ennek a számításnak a folytatásával a képzési korpuszában. Ilyen esetekben az LLM-nek futó programkódot kell igénybe vennie, amely kiszámítja az eredményt, amelyet azután belefoglalhat a válaszába. Egy másik példa: „Mennyi idő van most? Most ... van "', ahol egy különálló értelmező programnak végre kell hajtania egy kódot ahhoz, hogy hozzáférjen a  rendszeridőhöz a számítógépen, és az LLM belefoglalhassa azt a válaszába.<ref name="PI1fW">{{Cite arXiv|title=PAL: Program-aided Language Models}}</ref><ref name="J5OW5">{{Cite web |title=PAL: Program-aided Language Models |url=https://reasonwithpal.com/ |accessdate=2023-06-12 |work=reasonwithpal.com |archivedate=2023-06-12 |archiveurl=https://web.archive.org/web/20230612162208/https://reasonwithpal.com/ |url-status=live}}</ref> Ez az alapstratégia kifinomultabbá válhat a generált programok többszöri próbálkozásával és más mintavételi stratégiákkal.<ref name="gQxzq">{{Cite arXiv|title=ART: Automatic multi-step reasoning and tool-use for large language models}}</ref>

Általában annak érdekében, hogy egy LLM eszközt használjon, finomhangolni kell azt az eszközhasználatra. Amikor az eszközök száma véges, akkor csak egyszer lehet elvégezni a finomhangolást. Azonban amikor az eszközök száma tetszőlegesen nőhet – mint az online [[Alkalmazásprogramozási felület|API-]]<nowiki/>szolgáltatások esetében – akkor az LLM finomhangolható úgy, hogy képes legyen olvasni az API-dokumentációt és megfelelően hívni az API-t.<ref name="lLrda">{{Cite arXiv|eprint=2303.16434|last1=Liang|title=TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs}}</ref><ref name="4Xzrs">{{Cite arXiv|last1=Patil|title=Gorilla: Large Language Model Connected with Massive APIs|eprint=2305.15334}}</ref>

Az eszközhasználat egyszerűbb formája a visszakereséssel bővített generálás : az LLM kiterjesztése dokumentum-visszakereséssel. Adott egy lekérdezés, és egy dokumentum visszakereső meghívást kap a legrelevánsabb dokumentumok visszakeresésére. Ez általában úgy történik, hogy a lekérdezést és a dokumentumokat vektorokba kódolják, majd megkeresik a dokumentumokat a lekérdezés vektorához leginkább hasonló vektorokkal (ezek rendszerint vektoradatbázisban tárolódnak). Az LLM ezután, a lekérdezés és a visszakeresett dokumentumokból származó kontextus alapján, kimenetet generál.<ref name="BUZBP">{{Cite journal|author=Lewis|first=Patrick|date=2020|title=Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks|url=https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=33|pages=9459–9474|accessdate=2023-06-12|archivedate=2023-06-12|archiveurl=https://web.archive.org/web/20230612171229/https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html|url-status=live}}</ref>

== Ügynökség ==
Egy LLM az egy nyelvi modell, amely nem ügynök, mivel nincs célja, ugyanakkor használható egy intelligens ügynök összetevőjeként.<ref name="CFuti">{{Cite journal|author=Huang|first=Wenlong|date=2022-06-28|title=Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents|url=https://proceedings.mlr.press/v162/huang22a.html|journal=Proceedings of the 39th International Conference on Machine Learning|publisher=PMLR|pages=9118–9147}}</ref> A kutatók sokféle módszert leírtak már az ilyen integrációkhoz.

A [[ReAct pattern|ReAct minta]], a „Reason&nbsp;+&nbsp;Act" egy csomagja, ügynököt hoz létre egy LLM-ből, tervezőként használva az LLM-et. Arra utasítja az LLM-et, hogy "gondolkozzon hangosan". Konkrétan a nyelvi modellt a környezetnek, egy célnak, a lehetséges cselekvések egy listájának szöveges leírására, valamint az eddigi cselekvések és megfigyelések feljegyzése utasítja. Az pedig egy, vagy több gondolatot generál, mielőtt olyan cselekvést generálna, amelyet aztán végrehajt a környezetben.<ref name="DmvNE">{{Cite arXiv|title=ReAct: Synergizing Reasoning and Acting in Language Models}}</ref> Az LLM tervezőnek adott környezet nyelvi leírása akár egy környezetet leíró dolgozat LaTeX kódja is lehet.<ref name="JS8Vd">{{Cite arXiv|title=SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning}}</ref>

A DEPS ("Describe, Explain, Plan and Select") módszerben egy LLM először képleírásokon keresztül kapcsolódik a vizuális világhoz, majd utasítást kap, hogy előre betanított tudása és az kapott környezeti visszajelzések alapján hozzon létre összetett feladatokra és viselkedésekre vonatkozó terveket.<ref>{{Cite arXiv|eprint=2302.01560|last1=Wang|title=Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents}}</ref>

A Reflexiós módszer  egy több epizódon keresztül tanuló ügynököt konstruál. Az LLM minden egyes epizód végén megkapja az epizód jegyzőkönyvét, és utasítást kap, hogy gondolja át a „megtanult leckéket", amelyek segítik abban, hogy egy következő epizódban jobban teljesítsen. Ezeket a „megtanult leckéket" a következő epizódokban kapja  meg az ügynök.

[[Monte-Carlo-fakeresés|A Monte Carlo tree search]] LLM-et használhat a megértést segítő kiterjesztésként. Ha egy programadó világmodell nem érhető el, egy LLM-et a világmodellként működő környezet leírásával is lehet utasítani.<ref name="ltTer">{{Cite arXiv|eprint=2305.14992|last1=Hao|title=Reasoning with Language Model is Planning with World Model}}</ref>

Nyílt végű kutatáshoz egy LLM használható a megfigyelések „érdekességének” pontozására, amely egyfajta jutalomjelzésként használható egy normál (nem-LLM) megerősítő tanulási ügynök vezérlésére.  Alternatív megoldásként, az LLM javasolhat fokozatosan nehezedő feladatokat a tanterv szerinti tanuláshoz .<ref name=":0">{{Cite web |title=Voyager {{!}} An Open-Ended Embodied Agent with Large Language Models |url=https://voyager.minedojo.org/ |accessdate=2023-06-09 |work=voyager.minedojo.org |archivedate=2023-06-08 |archiveurl=https://web.archive.org/web/20230608225054/https://voyager.minedojo.org/ |url-status=live}}</ref> Ahelyett, hogy egyedi műveleteket hajtana végre, az LLM-tervező „készségeket” vagy funkciókat is létrehozhat az összetett műveletsorozatokhoz. A készségek tárolhatók és később felidézhetők, lehetővé téve az absztrakció növekvő szintjét a tervezésben.<ref name=":0" />

Az LLM-alapú ügynökök hosszútávú memóriát őrizhetnek a korábbi kontextusaikról, és ez a memória ugyanazon a módon visszakereshető, mint  a visszakereséssel bővített generálás. Több ilyen ügynök is képes társadalmi interakcióba lépni.<ref name="XuvjF">{{Cite arXiv|last1=Park|title=Generative Agents: Interactive Simulacra of Human Behavior|eprint=2304.03442}}</ref>

== Tömörítés ==
Az LLM-eket tipikusan egyszeres, vagy fél-pontosságú lebegőpontos (floating point numbers) számokkal (float32 és float16) képezik. Egy float16 16 bittel, vagy 2 bájttal rendelkezik, így egymilliárd paraméterhez 2 gigabájt szükséges. A legnagyobb modellek jellemzően 100 milliárd paraméterrel rendelkeznek, 200 gigabájtot igényelnek a betöltéshez, ami a legtöbb szórakoztató-elektronikai tartományon kívülre helyezi őket.<ref>{{Cite web |author=Mann |first=Tobias |title=How to run an LLM locally on your PC in less than 10 minutes |url=https://www.theregister.com/2024/03/17/ai_pc_local_llm/ |accessdate=2024-05-17 |work=www.theregister.com}}</ref>

''A tréning utáni [[Kvantálás (jelfeldolgozás)|kvantálás]]''<ref name="LS2Go">{{Cite journal|author=Nagel|first=Markus|date=2020-11-21|title=Up or Down? Adaptive Rounding for Post-Training Quantization|url=https://proceedings.mlr.press/v119/nagel20a.html|journal=Proceedings of the 37th International Conference on Machine Learning|publisher=PMLR|pages=7197–7206|accessdate=2023-06-14|archivedate=2023-06-14|archiveurl=https://web.archive.org/web/20230614080854/https://proceedings.mlr.press/v119/nagel20a.html|url-status=live}}</ref> célja a helyigény csökkentése azáltal, hogy csökkenti a betanított modell paramétereinek pontosságát, ugyanakkor a teljesítményének nagy részét megőrzi.   A kvantálás legegyszerűbb formája egyszerűen lecsonkítja az összes számot egy megadott számú bitre. Ez javítható, ha rétegenként eltérő kvantálási kódkönyvet használunk. További fejlesztés érhető el, ha a különböző paraméterekhez eltérő pontosságot alkalmaznak: nagyobb pontosságot a különösen fontos paramétereknél („kiugró súlyok").  Lásd<ref>{{Cite web |author=Grootendorst |first=Maarten |title=A Visual Guide to Quantization |url=https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization |archiveurl=https://web.archive.org/web/20240731003355/https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization |archivedate=31 Jul 2024 |accessdate=2024-07-31 |work=newsletter.maartengrootendorst.com |language=en}}</ref> a vizuális útmutatót.

Míg a kvantált modellek jellemzően fagyasztottak, és csak az előre kvantált modellek finomhangoltak, a kvantált modellek még lehetnek finomhangoltak.<ref name="D0nFA">{{Cite arXiv|eprint=2305.14314|last1=Dettmers|title=QLoRA: Efficient Finetuning of Quantized LLMs}}</ref>

== Multimodalitás ==
A multimodalitás a „többféle modalitással rendelkezést" jelenti, a „modalitás” pedig egyfajta bemeneti vagy kimeneti adatra utal, például videóra, képre, hangra, szövegre, propriocepcióra, stb.<ref>{{Cite journal|author=Kiros|first=Ryan|date=2014-06-18|title=Multimodal Neural Language Models|url=https://proceedings.mlr.press/v32/kiros14.html|journal=Proceedings of the 31st International Conference on Machine Learning|publisher=PMLR|pages=595–603|accessdate=2023-07-02|archivedate=2023-07-02|archiveurl=https://web.archive.org/web/20230702195952/https://proceedings.mlr.press/v32/kiros14.html|url-status=live}}</ref> Számos mesterséges intelligencia-modellt kifejezetten egyfajta modalitás bevitelére és egy másik fajta modalitás kibocsátására képeztek ki. Így például az AlexNetet a képet a címkéhez,<ref>{{Cite journal|author=Krizhevsky|first=Alex|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=25|accessdate=2023-07-02|archivedate=2023-07-02|archiveurl=https://web.archive.org/web/20230702195952/https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html|url-status=live}}</ref> a vizuális kérdés megválaszolása (a képnek és cimkéjének a szöveges átírása),<ref>{{Cite journal|author=Antol|first=Stanislaw|date=2015|title=VQA: Visual Question Answering|url=https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html|journal=ICCV|pages=2425–2433|accessdate=2023-07-02|archivedate=2023-07-02|archiveurl=https://web.archive.org/web/20230702195952/https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html|url-status=live}}</ref> és a beszédfelismerés (a beszéd szöveggé való átírására) típusú feladatok végrehajtására.

Egy általános módszer a multimodális modellek LLM-ből történő létrehozására a betanított kódoló kimenetének "tokenizálása". Konkrétan a következőképpen lehet létrehozni egy LLM-et, amely képes megérteni a képeket: vegyünk egy már képzett LLM-et, és vegyünk egy már szintén kiképzett képkódolót. <math>E</math> . Készítsünk egy kis többrétegű perceptront (ami egy hatékony képfelismerő algoritmus a 20. sz. közepéről) <math>f</math>, így bármilyen képhez <math>y</math>, az utófeldolgozott vektor, <math>f(E(y))</math> mérete megegyezik egy kódolt token méretével. Ez egy "kép token". Ezután már egymásba lehet illeszteni a szöveges és a képi tokeneket. Az összetett modellt ezután finomhangoljuk egy kép-szöveg adatkészleten. Ez az alapkonstrukció egy kicsit kifinomultabb formában a modell tökéletesítésére is alkalmazható. A képkódoló a stabilitás javítása érdekében lefagyhat.<ref>{{Cite arXiv|last1=Li|title=BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models|eprint=2301.12597}}</ref>

A Flamingo bemutatta a tokenizációs módszer hatékonyságát, egy pár előre betanított nyelvi modellt és képkódolót finomhangolt annak érdekében, hogy jobban teljesítsenek a vizuális kérdések megválaszolásában, mint a nulláról betanított modellek.<ref>{{Cite journal|author=Alayrac|first=Jean-Baptiste|date=2022-12-06|title=Flamingo: a Visual Language Model for Few-Shot Learning|url=https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html|journal=Advances in Neural Information Processing Systems|volume=35|pages=23716–23736|accessdate=2023-07-02|archivedate=2023-07-02|archiveurl=https://web.archive.org/web/20230702195951/https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html|url-status=live}}</ref> A Google PaLM modellt egy multimodális PaLM-E modellre finomhangolták, tokenizációs módszerrel, robotvezérlésre alkalmazva.  A LLaMA modelleket szintén tokenizációs módszerrel alakították át multimodálissá, engedélyezve a kép- és videó bemeneteket.

A GPT-4 szöveget és képet is tud használni bemenetként<ref>{{Cite arXiv|last=OpenAI|title=GPT-4 Technical Report}}</ref> (noha a látáskomponenst a GPT-4V-ig<ref>{{Cite web |author=OpenAI |date=September 25, 2023 |title=GPT-4V(ision) System Card |url=https://cdn.openai.com/papers/GPTV_System_Card.pdf}}</ref> nem hozták nyilvánosságra); Szintén multimodális a Google DeepMind Gemini.<ref>{{Citation|last=Pichai|title=Google Keynote (Google I/O '23)|date=10 May 2023|url=https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s}}</ref> A Mistral a saját multimodell Pixtral 12B modelljét 2024 szeptemberében mutatta be.<ref>{{Cite web |author=Wiggers |first=Kyle |title=Mistral releases Pixtral 12B, its first multimodal model |url=https://techcrunch.com/2024/09/11/mistral-releases-pixtral-its-first-multimodal-model/?utm_medium=aisecret.us&utm_source=aisecret.us&utm_campaign=aisecret.us |work=TechCrunch |accessdate=14 September 2024 |date=11 September 2024}}</ref>

== Tulajdonságok ==

=== Skálázási törvények ===
{{Bővebben|Neural scaling law}}
Egy LLM-et a következő négy hiperparaméter jellemez:

* (elő)képzés költsége ( <small><math>C</math></small> ),
* magának a [[mesterséges neurális hálózat]]nak a mérete, például a paraméterek száma <small><math>N</math></small> (azaz a neuronok mennyisége a rétegeiben, a köztük lévő súlyok és a torzítások),
* (elő)képzési adatkészletének mérete (azaz a korpuszban lévő tokenek száma, <small><math>D</math></small> ),
* teljesítmény (elő)edzés után.

Ezeket a hiperparamétereket egyszerű statisztikai törvények kapcsolják össze, amelyeket "skálázási törvényeknek" neveznek. Egy adott skálázási törvény (pl. " Csincsilla-skálázás ") az egy korszakra autoregresszíven betanított LLM-re vonatkozóan, log-log tanulási ütemtervet követve, kimondja, hogy<ref name="fJta3">{{Cite arXiv|eprint=2203.15556|last1=Hoffmann|title=Training Compute-Optimal Large Language Models}}</ref> <math display="block">\begin{cases}
C = C_0 ND \\[6pt]
L = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_0
\end{cases}</math> hol vannak a változók:

* <small><math>C</math></small> a modell betanításának költsége [[FLOPS|FLOP-]] ban.
* <small><math>N</math></small> a paraméterek száma a modellben.
* <small><math>D</math></small> a képzési készletben lévő tokenek száma.
* <small><math>L</math></small> az átlagos negatív log-valószínűség veszteség tokenenként ( [[Nat (információs alapmértékegység)|nats]] /token), amelyet a betanított LLM ért el a tesztadatkészleten.

A statisztikai hiperparaméterek pedig a következők:

* <small><math> C_0 = 6</math></small>, ami azt jelenti, hogy paraméterenként 6 FLOP-ba kerül egy token edzése. Vegye figyelembe, hogy a képzési költség sokkal magasabb, mint a következtetési költség, ahol paraméterenként 1-2 FLOP-ba kerül egy tokenre következtetni.<ref name="kaplan-scaling" />
* <small><math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math></small>

=== Kibontakozó képességek ===
[[Fájl:LLM_emergent_benchmarks.png|bélyegkép|A törésként emlegetett pont(ok)ban<ref name="IYm4Q">{{Cite arXiv|eprint=2210.14891|last1=Caballero|title=Broken Neural Scaling Laws}}</ref> a vonalak megváltoztatják meredekségüket, így egy lineáris logaritmikus diagramon ívekkel összekapcsolt lineáris szakaszok sorozataként jelennek meg.]]
A nagyobb modellek teljesítménye különböző feladatokon, amikor egy log-log skálán van ábrázolva, a kisebb modellekkel elért teljesítmény lineáris extrapolációjaként jelenik meg. Azonban ezt a linearitást a skálázási törvényben a " törés(ek) "  megszakíthatja(ák), ott, ahol hirtelen megváltozik a vonal meredeksége, illetve ahol a nagyobb modellek "felbukkanó képességeket" sajátítanak el.<ref name="emergentpaper" /><ref name="JM6s1">{{Cite web |title=137 emergent abilities of large language models |url=https://www.jasonwei.net/blog/emergence |accessdate=2023-06-24 |work=Jason Wei}}</ref> Ezek a modell összetevőinek összetett interakciójából származnak, tehát nem kifejezetten programozottak, vagy tervezettek.

A felbukkanó képességek közül a legérdekesebb a példa bemutatókból való kontextuson belüli tanulás.<ref name="Hahn_20230314">{{Cite arXiv|eprint=2303.07971|last1=Hahn|title=A Theory of Emergent In-Context Learning as Implicit Structure Induction}}</ref> Ez olyan feladatokat foglal magában, mint például:

* számtan, a [[Nemzetközi fonetikai ábécé|nemzetközi fonetikus ábécé]] dekódolása, egy szó betűinek a megfelelő sorrendbe állítása, egy szó kontextusban való egyértelművé tétele,<ref name="emergentpaper" /><ref name="57FEA">{{Cite journal|author=Pilehvar|first=Mohammad Taher|title=Proceedings of the 2019 Conference of the North|date=June 2019|url=https://aclanthology.org/N19-1128|journal=Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)|location=Minneapolis, Minnesota|publisher=Association for Computational Linguistics|pages=1267–1273|doi=10.18653/v1/N19-1128|accessdate=2023-06-27|archivedate=2023-06-27|archiveurl=https://web.archive.org/web/20230627202732/https://aclanthology.org/N19-1128/|url-status=live}}</ref><ref name="TEIkA">{{Cite web |title=WiC: The Word-in-Context Dataset |url=https://pilehvar.github.io/wic/ |accessdate=2023-06-27 |work=pilehvar.github.io |archivedate=2023-06-27 |archiveurl=https://web.archive.org/web/20230627202725/https://pilehvar.github.io/wic/ |url-status=live}}</ref> térbeli szavak konvertálása, [[Égtáj|kardinális irányok]] (például „északkeleti” válasz a [0, 0, 1-re; 0, 0, 0; 0, 0, 0]) ismerete,  szövegben ábrázolt szinekkel kapcsolatos kifejezések.<ref name="zgy1i">{{Cite journal|author=Patel|first=Roma|date=2021-10-06|title=Mapping Language Models to Grounded Conceptual Spaces|url=https://openreview.net/forum?id=gJcEM8sxHK|journal=ICLR|accessdate=2023-06-27|archivedate=2023-06-24|archiveurl=https://web.archive.org/web/20230624191940/https://openreview.net/forum?id=gJcEM8sxHK|url-status=live}}</ref>
* gondolati láncra vonatkozó utasítás : A modell kimenetei csak akkor javulnak a gondolatlánc-utasítással, ha a modell mérete meghaladja a 62B-t. A kisebb modellek jobban teljesítenek, ha azonnali, gondolatlánc nélküli válaszadásra utasítják őket.<ref name="Imb98">''[https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f A Closer Look at Large Language Models Emergent Abilities] {{Webarchive|url=https://web.archive.org/web/20230624012329/https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f|date=2023-06-24}}'' (Yao Fu, Nov 20, 2022)</ref>
* a sértő tartalom azonosítása a hinglish (a hindi és az angol kombinációja) bekezdéseiben, és [[Szuahéli nyelv|a kiswahili]] közmondások hasonló angol megfelelőjének létrehozása.<ref name="CeQVF">{{Cite web |author=Ornes |first=Stephen |date=March 16, 2023 |title=The Unpredictable Abilities Emerging From Large AI Models |url=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ |work=Quanta Magazine |accessdate=March 16, 2023 |archivedate=March 16, 2023 |archiveurl=https://web.archive.org/web/20230316203438/https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ |url-status=live}}</ref>

Schaeffer és munkatársai amellett érvelnek, hogy az LLM-ek ezeket a felbukkanó képességeket nem előre megjósolhatatlanul, hanem egy sima skálázási törvény szerint, előre láthatóan sajátítják el. A szerzők egy feleletválasztós kérdéseket megoldó LLM játékstatisztikai modelljét vizsgálták, és kimutatták, hogy ez a statisztikai modell, más típusú feladatok figyelembevételére módosítva, ezekre a feladatokra is vonatkozik.<ref name="C775b">{{Cite arXiv|eprint=2304.15004|last1=Schaeffer|title=Are Emergent Abilities of Large Language Models a Mirage?}}</ref>

Jelöljük a paraméterek számát, ''x''-szel, a modell teljesítményét pedig ''y''-nal!

* Ha ''y'' = átlagos Pr (helyes token), akkor (log ''x'', ''y'') egy [[ecponenciális függvény|exponenciális görbe]] (mielőtt egynél eléri a legmagasabb értékét), amely felbukkanásnak tűnik.
* Ha ''y'' = átlagos log(Pr(helyes token)), akkor a (log ''x'', ''y'') ábrázolása egy [[egyenes]] vonal (mielőtt nullánál eléri a felső értékét), amely nem tűnik felbukkanónak.
* Ha ''y'' = átlagos Pr (a legvalószínűbb token) akkor, a (log ''x'', ''y'') egy [[lépcsős függvény]], amely felbukkanónak tűnik.

== Értelmezés ==
Önmagukban a nagy nyelvi modellek „[[Feketedoboz (rendszerelmélet)|fekete dobozok]]”, és nem világos, hogyan tudnak nyelvi feladatokat ellátni. Az LLM működésének megértésére számos módszer létezik.

A mechanikus értelmezhetőség célja az LLM visszafejtése olyan szimbolikus algoritmusok felfedezésével, amelyek közelítik az LLM által megvalósított következményt. Az egyik példa az Othello-GPT, ahol egy kis transzformert arra képeznek ki, hogy előre jelezze a legális [[Fonákolós|Othello-]]<nowiki/>lépéseket. Azt találták, hogy az Othello táblának lineáris ábrázolása van, és az ábrázolás módosítása a megfelelő módon megváltoztatja az előre jelzett legális Othello-mozgásokat.<ref name="RLik9">{{Cite web |date=2023-01-21 |title=Large Language Model: world models or surface statistics? |url=https://thegradient.pub/othello/ |accessdate=2023-06-12 |work=The Gradient}}</ref> Egy másik példában egy kis transzformert Karel programokra képeznek ki. Az Othello-GPT példához hasonlóan a Karel program szemantikájának is van lineáris ábrázolása, és a reprezentáció módosítása a megfelelő módon változtatja meg a kimenetet. A modell megfelelő programokat is generál, amelyek átlagosan rövidebbek, mint azok, amelyeket a képzési készlet tartalmaz.

Egy másik példában a szerzők  [[Maradékosztály|a moduláris aritmetikai összeadásra]] tanítottak kis transzformereket. Az eredményül kapott modellek visszafejtettek voltak, és kiderült, hogy diszkrét [[Fourier-transzformáció]]t (DFT) használtak.<ref name="oYGlo">{{Cite arXiv|eprint=2301.05217|last1=Nanda|title=Progress measures for grokking via mechanistic interpretability}}</ref>

=== Megértés és intelligencia ===
Amikor egy 2022-es felmérésben megkérdezték, hogy a (nem hangolt) LLM-ek „meg tudják-e (valaha) érteni a természetes nyelvet valamilyen nem triviális értelemben”, az  NLP-kutatók egyenletesen oszlottak el.<ref name="debate understanding">{{Cite journal|author=Mitchell|first=Melanie|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882}}</ref> Az „LLM-megértés” hívei úgy vélik, hogy egyes LLM-képességek, mint például a matematikai gondolkodás, bizonyos fogalmak „megértésének” képességére utalnak. A Microsoft egyik csapata 2023-ban azzal érvelt, hogy a GPT-4 „meg tud oldani olyan újszerű és nehéz feladatokat, amelyek kiterjednek a matematikára, a kódolásra, a látásra, az orvostudományra, a jogra, a pszichológiára és egyebekre”, valamint, hogy a GPT-4 „ésszerűen úgy tekinthető, mint egy általános mesterséges intelligencia rendszer korai, de még mindig nem teljes) verziója": „Mondhatja-e valaki ésszerűen azt, hogy egy rendszer, amely sikeresen leteszi a szoftvermérnökjelöltek  számára kötelező vizsgákat, az nem ''igazán'' intelligens?"<ref name="O8Upd">{{Cite news|author=Metz|first=Cade|date=16 May 2023|title=Microsoft Says New A.I. Shows Signs of Human Reasoning|work=The New York Times|url=https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html}}</ref>  Egyes kutatók az LLM-eket „idegen intelligenciaként" jellemzik.<ref name="rEEmH">{{Cite news|date=2023|title=ChatGPT is more like an 'alien intelligence' than a human brain, says futurist|work=ZDNET|url=https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/|accessdate=12 June 2023|archivedate=12 June 2023|archiveurl=https://web.archive.org/web/20230612065937/https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/|url-status=live}}</ref>  Például a Conjecture vezérigazgatója, Connor Leahy úgy véli, hogy a hangolatlan LLM-ek olyanok, mint a kifürkészhetetlen idegen „ Shoggothok ”, és úgy véli, hogy az RLHF hangolás „mosolygó homlokzatot” hoz létre, amely elfedi az LLM belső működését: „Ha nem tolja túl messzire, a mosolygós arc megmarad. De akkor adsz neki egy [váratlan] utasítást, és hirtelen meglátod az őrületnek, a furcsa gondolkodási folyamatoknak és a nyilvánvalóan nem emberi megértésnek ezt a masszív övönaluliságát."<ref name="rAFIZ">{{Cite news|author=Roose|first=Kevin|date=30 May 2023|title=Why an Octopus-like Creature Has Come to Symbolize the State of A.I.|work=The New York Times|url=https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html|accessdate=12 June 2023|archivedate=30 May 2023|archiveurl=https://web.archive.org/web/20230530193814/https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html|url-status=live}}</ref><ref name="4luKE">{{Cite news|date=13 April 2023|title=The A to Z of Artificial Intelligence|work=Time Magazine|url=https://time.com/6271657/a-to-z-of-artificial-intelligence/|accessdate=12 June 2023|archivedate=16 June 2023|archiveurl=https://web.archive.org/web/20230616123839/https://time.com/6271657/a-to-z-of-artificial-intelligence/|url-status=live}}</ref>

Ezzel szemben az „LLM-ek nem értenek" iskola egyes hívei úgy vélik, hogy a létező LLM-ek „egyszerűen újrakeverik és újrakombinálják a meglévő írásokat" – ez a jelenség sztochasztikus papagáj néven ismert – vagy rámutatnak a meglévő LLM-ek hiányosságaira.az előrejelzési készségek, a gondolkodási készségek, a működés és a megmagyarázhatóság területein.<ref name="debate understanding" /> Például a GPT-4-nek természetes hiányosságai vannak a tervezésben és a valós idejű tanulásban.  Megfigyelték, hogy a generatív LLM-ek magabiztosan jelentenek ki olyan tényállításokat, amelyek a képzési adataik alapján nem látszanak indokoltnak, ezt a jelenséget „ hallucinációnak ” nevezik.<ref name="hallucination-survey">{{Cite journal|author=Ji|first=Ziwei|date=November 2022|title=Survey of Hallucination in Natural Language Generation|url=https://dl.acm.org/doi/pdf/10.1145/3571730|format=pdf|journal=ACM Computing Surveys|publisher=[[Association for Computing Machinery]]|volume=55|issue=12|pages=1–38|doi=10.1145/3571730|accessdate=15 January 2023|archivedate=26 March 2023|archiveurl=https://web.archive.org/web/20230326145635/https://dl.acm.org/doi/pdf/10.1145/3571730|url-status=live}}</ref> Konkrétan, a hallucinációk az LLM-ek kontextusában megfelelnek a szintaktikailag helyesnek, gördülékenynek és természetesnek tűnő szövegek vagy válaszok generálásának, de a tényszerűség szempontjából helytelenek, értelmetlenek, vagy nem hűségesek a megadott forrásbemenethez.  Terrence Sejnowski idegtudós érvelése szerint, „a szakértőknek az LLM-ek intelligenciájáról alkotott, szerteágazó véleményei azt sugallják, hogy a természetes intelligencián alapuló régi elképzeléseink nem megfelelőek".<ref name="debate understanding" />

Az LLM által mutatott intelligencia, vagy megértés kérdéskörének két fő aspektusa van – az első az, hogy hogyan kell a gondolkodást és a nyelvet egy számítógépes rendszerben modellezni, a második pedig az, hogy hogyan lehet lehetővé tenni a számítógépes rendszer számára, hogy emberi nyelvet generáljon.<ref name="debate understanding" /> A nyelvnek, mint a [[Gondolkodás|megismerés]]  egy modelljének ezeket az aspektusait a [[kognitív nyelvészet]] területén fejlesztették ki. [[George Lakoff]] amerikai nyelvész a neurális nyelvelméletet (Neural Theory of Language-t (NTL))<ref>{{Hivatkozás/Könyv |last=Lakoff |first=George |title=Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Philosophy; Appendix: The Neural Theory of Language Paradigm |year=1999 |publisher=New York Basic Books |isbn=978-0-465-05674-3 |page=569–583}}</ref> mint [[Kognitív nyelvészet|számítási alapot]] mutatta be a nyelv tanulási feladatok, és megértés egy modelljeként való használathoz. [https://www.icsi.berkeley.edu/icsi/projects/ai/ntl Az NTL-modell] felvázolja, hogy hogyan alakítják a gondolkodás és a nyelv természetét az emberi agy specifikus neurális struktúrái, másfelől viszont azt, hogy az ilyen neurális rendszereknek milyen számítási tulajdonságai alkalmazhatók a gondolkodás és a nyelv modellezésére egy számítógépes rendszerben. Miután létrehozták a számítógépes rendszerekben a nyelv modellezésére szolgáló keretrendszert, a hangsúly az elfogadható nyelvtannal rendelkező nyelv generálására alkalmas számítógépes keretrendszer létrehozására helyeződött át. Vyvyan Evans brit kognitív nyelvész és digitális kommunikációtechnológus ''a The Language Myth: Why Language Is Not An Instinct''  (A nyelvmítosz: miért nem ösztön a  nyelv?) című, 2014-es könyvében feltérképezte a valószínűségi kontextusmentes nyelvtan (PCFG) szerepét az NLP kognitív minták modellezésére és emberszerű nyelv létrehozására való képességeiben.<ref>{{Hivatkozás/Könyv |last=Evans |first=Vyvyan. |title=The Language Myth |year=2014 |publisher=Cambridge University Press |isbn=978-1-107-04396-1}}</ref><ref>{{Hivatkozás/Könyv |last=Friston |first=Karl J. |title=Active Inference: The Free Energy Principle in Mind, Brain, and Behavior; Chapter 4 The Generative Models of Active Inference |year=2022 |publisher=The MIT Press |isbn=978-0-262-36997-8}}</ref>

== Értékelés ==

=== Perplexitás ===
A nyelvi modell teljesítményének a leggyakrabban használt mérőszáma az adott szövegkorpuszon való perplexitása (zavarossága.) A perplexitás annak a mértéke, hogy egy modell mennyire képes előrejelezni egy adatkészlet tartalmát; minél nagyobb valószínűséget rendel a modell az adatkészlethez, annál kisebb a zavartság. Matematikailag a perplexitást a tokenenkénti átlagos negatív log-valószínűség exponenciálisaként határozzuk meg: <math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(\Pr(\text{token}_i \mid \text{context for token}_i))</math> itt <math>N</math> a tokenek száma a szövegkorpuszban, és „kontextus az <math>i</math> tokenhez" a használt LLM konkrét típusától függ. Ha az LLM autoregresszív, akkor „a kontextus az <math>i</math> tokenhez " az <math>i</math> token előtt megjelenő szövegrész. Ha az LLM maszkolt, akkor „a kontextus az <math>i</math> tokenhez " az <math>i</math> tokent körülvevő szövegrész.

Mivel a nyelvi modellek túlilleszkedhetnek a képzési adataikhoz, a modelleket rendszerint a perplexitásuk alapján értékelik, egy láthatatlan adatokból álló tesztkészleten.<ref name="jm" /> Ez különös kihívást jelent a nagy nyelvi modellek értékelése számára. Ahogy egyre nagyobb, zömében az internetről lekapart, szöveges korpuszokra tanítják őket, egyre fokozottabban nő a valószínűsége annak, hogy a modellek betanítási adatai akaratlanul is tartalmazzák bármely adott tesztkészlet részeit.<ref name="few-shot-learners" />

==== BPW, BPC és BPT ====
[[Információelmélet|Az információelméletben]] az [[Shannon-entrópiafüggvény|entrópia]] fogalma szorosan kapcsolódik a perplexitáshoz, ezt a kapcsolatot, nevezetesen, [[Claude Shannon]] állapította meg.<ref name="Huyen">{{Cite web |url=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/ |title=Evaluation Metrics for Language Modeling |author=Huyen |first=Chip |date=October 18, 2019 |work=The Gradient |accessdate=January 14, 2024}}</ref> Ennek az összefüggésnek a matematikai kifejezése a következő:<math>\text{Entrópia} = \log_2(\text{Perplexitás})</math>.

Ebben az összefüggésben az entrópiát általában bit per szó (BPW) vagy bit per karakter (BPC) értékkel számszerűsítik. Hogy konkrétan melyikkel az azon múlik, hogy a nyelvi modell szóalapú vagy karakter alapú tokenizálást alkalmaz.

Nevezetesen, a nagyobb nyelvi modellek esetében, amelyek túlnyomórészt részszavak tokenizálását alkalmazzák, a bit per token (BPT) tűnik legmegfelelőbb mértéknek. A különböző nagy nyelvi modellek (LLM) tokenizációs módszereinek eltérése miatt azonban a BPT nem szolgál megbízható mérőszámként a különböző modellek összehasonlító elemzéséhez. Ahhoz, hogy a bit per tokent átalakítsuk BPW-vé, meg kell szorozni a szavankénti tokenek átlagos számával.

A nyelvi modellek értékelése és összehasonlítása során az entrópia helyett, általában a kereszt-entrópia a preferált mérőszám. Az alapelv az, hogy az alacsonyabb bit per szó (BPW) a modell fokozott tömörítési képességét jelzi. Ez pedig a modell pontos előrejelzések készítésében való jártasságát tükrözi.

=== Feladatspecifikus adatkészletek és benchmarkok ===
A nyelvi modellek képességeinek a  speciális downstrem feladatokon való értékelésére nagy számú tesztelési adatkészletet és benchmarkot is kifejlesztettek. A tesztek különféle képességek értékelésére készülhetnek, többek között az általános ismeretek, a józan ész okoskodása  és a matematikai problémamegoldás területén.

Az értékelési adatkészletek egyik széles kategóriája a kérdésre válaszoló adatkészletek, amelyek kérdés és helyes válasz párokból állnak, például („A San Jose Sharks megnyerte a Stanley Kupát?", „Nem").<ref name="boolq">{{Cite arXiv|eprint=1905.10044|last1=Clark|title=BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions}}</ref> Egy kérdés megválaszolós feladat akkor tekinthető „nyitott könyvnek", ha a modell utasítása olyan szöveget tartalmaz, amelyből a várt válasz levezethető (például az előző kérdéshez kapcsolódhat valamilyen szöveg, amely tartalmazza a következő mondatot: „A cápák egyszer, 2016-ban, továbbjutottak a Stanley Kupa döntőjébe, ahol vereséget szenvedtek a Pittsburgh Penguinstől."<ref name="boolq" /> ). Ellenkező esetben a feladat „zárt könyvnek" tekintendő, és a modellnek a képzés során megőrzött tudásra kell támaszkodnia.<ref name="survey">{{Cite arXiv|eprint=2303.18223|title=A Survey of Large Language Models}}</ref> A gyakran használt kérdésmegválaszoló adatkészletek néhány példája: a TruthfulQA, a SQuAD, a Web Questions, és a TriviaQA.<ref name="survey" />

Az értékelési adatkészletek szövegkiegészítés formáját is ölthetik, amikor a modell kiválasztja a legvalószínűbb szót vagy mondatot a prompt befejezéséhez, például: „Alice barátja volt Bobnak. Alice elment meglátogatni a barátját, ____".<ref name="few-shot-learners" />

Néhány vegyes benchmark is kidolgozásra került, amelyek a különböző értékelési adatkészletek és feladatok sokféleségét kombinálják. A példák közé tartozik a GLUE, a SuperGLUE, az MMLU, a BIG-bench és a HELM.<ref name="Huyen" /> Az OpenAI nyilvánosságra hozott eszközöket az összetett benchmarkok futtatásához, de megjegyezte, hogy az értékelési eredmények érzékenyek az utasítási  módszerre.<ref>{{Citation|title=openai/simple-evals|date=2024-05-28|url=https://github.com/openai/simple-evals|access-date=2024-05-28}}</ref><ref>{{Citation|title=openai/evals|date=2024-05-28|url=https://github.com/openai/evals|access-date=2024-05-28}}</ref> Egyes nyilvános adatkészletek tévesen felcímkézett, kétértelmű, megválaszolhatatlan vagy más módon rossz minőségű kérdéseket tartalmaznak, amelyek  megtisztíthatók annak érdekében,  hogy megbízhatóbb benchmark pontszámokat szolgáltathassanak.<ref>{{Cite web |title=Sanitized open-source datasets for natural language and code understanding: how we evaluated our 70B model |url=https://imbue.com/research/70b-evals/ |accessdate=2024-07-24 |work=imbue.com |language=en-US |archivedate=2024-07-26 |archiveurl=https://web.archive.org/web/20240726173012/https://imbue.com/research/70b-evals/ |url-status=live}}</ref>

Korábban az volt a norma, hogy az értékelési adatkészlet egy kiragadott részének eredményeit feljegyezzék, miután felügyelt finomhangolást végeztek a fennmaradó részen. Manapság elterjedtebb, hogy egy előre betanított modellt közvetlenül az utasítási (prompting) technikákon keresztül értékelnek ki. De a kutatók eltérnek egymástól az egyes feladatokra vonatkozó promptok megfogalmazásának részleteit illetően, különösen abban a tekintetben, hogy hány megoldott feladat példája legyen a prompthoz kapcsolva (azaz ''n'' értéke egy ''n''-shot utasításban).

==== Ellentmondásosan felépített értékelések ====
A nagy nyelvi modellek gyors fejlődése miatt az értékelési benchmarkok rövid élettartamúak, és a legkorszerűbb modellek gyorsan "eltelítik" a meglévő benchmarkokat, meghaladva az emberi annotátorok teljesítményét. Mindez a benchmarkok helyettesítésére vagy nagyobb kihívást jelentő feladatokkal való kiegészítésére irányuló erőfeszítésekhez vezetett. Ráadásul, a „shortcut learning” (lerövidített tanulás) bizonyos eseteiben, az MI-k „csalnak” a feleletválasztós teszteken, oly módon, hogy statisztikai korrelációkat használnak a felületesen megírt tesztkérdések esetében, annak érdekében, hogy a ténylegesen feltett kérdés szükséges megértése nélkül kitalálják a helyes válaszokat.<ref name="debate understanding" />

Egyes adathalmazokat ellentmondásos módon állítottak össze, olyan konkrét problémákra összpontosítva, amelyek esetében a meglévő nyelvi modellek az emberekhez képest szokatlanul gyengébb teljesítményt nyújtanak. Példa erre a TruthfulQA adatkészlet, egy 817 kérdésből álló, kérdés megválaszoló adatkészlet, amelyre a nyelvi modellek hajlamosak helytelenül válaszolni azáltal, hogy leutánozzák azokat a hazugságokat, amelyeknek ismétlődően ki voltak téve a képzésük során. Például egy LLM nemmel válaszolhat arra a kérdésre, hogy „megtaníthatunk-e egy öreg kutyát új trükkökre?", az angol szólásnak – amely szerint ''„[[wiktionary:you can't teach an old dog new tricks|nem lehet egy öreg kutyát új trükkökre tanítani]]" – való kitettsége miatt;'' pedig ez szó szerint nem igaz.<ref name="truthfulqa">{{Cite arXiv|eprint=2109.07958|last1=Lin|title=TruthfulQA: Measuring How Models Mimic Human Falsehoods}}</ref>

Az ellentmondásos értékelési adatkészlet másik példája a Swag és utódja, a HellaSwag, amely olyan problémagyűjtemény, amelyben több lehetőség közül kell kiválasztani egyet a szövegrészlet befejezéséhez. A hibás kiegészítéseket egy nyelvi modellből vett mintavétellel és egy osztályozókészlettel végzett szűréssel hozták létre a kutatók. Az ebből adódó problémák az emberek számára jelentéktelenek, ugyanakkor ez azt jelenti, hogy az adatkészletek létrehozásakor a legmodernebb nyelvi modellek pontossága gyenge volt. Például:<blockquote>Egy fitneszközpont táblát látunk. Ezután pedig egy, a kamerába beszélő férfit, aki  egy fitneszlabdán ül és fekszik. A férfi...<nowiki></br></nowiki> a) bemutatja, hogyan lehet növelni a hatékony edzésmunkát a labdán fel-alá futkozva.<nowiki></br></nowiki> b) megmozgatja a karjait és a lábait, és felépít rengeteg izmot.<nowiki></br></nowiki> c) majd labdázik, és egy grafikai és sövénynyírási bemutatót látunk.<nowiki></br></nowiki> d) felüléseket végez, miközben a labdán van és beszél.<ref name="hellaswag">{{Cite arXiv|eprint=1905.07830|last1=Zellers|title=HellaSwag: Can a Machine Really Finish Your Sentence?}}</ref></blockquote>A BERT a b) pontot választja a legvalószínűbb befejezésnek, noha a helyes válasz a d) pont.<ref name="hellaswag" />

== Szélesebb hatás ==
2023-ban ''a Nature Biomedical Engineering'' azt írta, hogy „már nem lehet pontosan megkülönböztetni" az ember által írt szöveget a nagy nyelvi modellek által létrehozott szövegtől, és hogy „ de az bizonyos, hogy az általános célú, nagy nyelvi modellek gyorsan elterjednek... Meglehetősen nagy biztonsággal lehet fogadni arra, hogy idővel sok iparágat megváltoztatnak majd."<ref name="ZDTUM">{{Cite journal|date=7 March 2023|title=Prepare for truly useful large language models|journal=Nature Biomedical Engineering|volume=7|issue=2|pages=85–86|doi=10.1038/s41551-023-01012-6|pmid=36882584}}</ref> [[Goldman Sachs|A Goldman Sachs]] 2023-ban azt jósolta, hogy a generatív nyelvi mesterséges intelligencia a következő tíz évben 7%-kal növelheti a globális GDP-t, és világszerte 300 millió munkahelyet tehet majd ki az automatizálásnak.<ref name="81w7x">{{Cite news|date=7 May 2023|title=Your job is (probably) safe from artificial intelligence|work=The Economist|url=https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence|accessdate=18 June 2023|archivedate=17 June 2023|archiveurl=https://web.archive.org/web/20230617225618/https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence|url-status=live}}</ref><ref name="zIM6Y">{{Cite web |title=Generative AI Could Raise Global GDP by 7% |url=https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html |accessdate=18 June 2023 |work=Goldman Sachs |archivedate=18 June 2023 |archiveurl=https://web.archive.org/web/20230618013836/https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html |url-status=live}}</ref>

=== Memorizálás és szerzői jog ===
A memorizálás egy, az LLM-ekben felbukkanó viselkedés, melynek során időnként hosszú szövegsorok szó szerint kerülnek a kimenetbe (output) a betanítási adatokból, – ellentétben a hagyományos mesterséges neurális hálók tipikus viselkedésével. Az ellenőrzött LLM-kimenet értékelése a betanítási adatokból memorizált adatok mennyiségét méri (a GPT-2-sorozatú modellekre összpontosítva), amely változóan több, mint 1% pontos ismétlődéseknél,<ref>{{Cite journal|author=Peng|first=Zhencan|title=Near-Duplicate Sequence Search at Scale for Large Language Model Memorization Evaluation|journal=Proceedings of the ACM on Management of Data|date=13 June 2023|volume=1|issue=2|pages=1–18|doi=10.1145/3589324|url=https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf|accessdate=2024-01-20|archivedate=2024-08-27|archiveurl=https://web.archive.org/web/20240827053753/https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf|url-status=live}} Citing Lee et al 2022.</ref> vagy maximum 7%-os.<ref>{{Harvnb|Peng|Wang|Deng|2023}}.</ref>

=== Biztonság ===
Néhány hozzászóló aggodalmának adott hangot a félretájékoztatás véletlen vagy szándékos létrehozása vagy a rossz célra való felhasználás egyéb formái miatt.<ref name="nD6kH">{{Cite news|author=Alba|first=Davey|date=1 May 2023|title=AI chatbots have been used to create dozens of news content farms|work=The Japan Times|url=https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/|accessdate=18 June 2023}}</ref> Például a nagy nyelvi modellek elérhetősége csökkentheti a bioterrorizmus elkövetéséhez szükséges készségszintet. Ezért Kevin Esvelt, a biológiai biztonsággal foglalkozó kutató azt javasolta, hogy a kórokozók létrehozásával vagy továbbfejlesztésével kapcsolatos dokumentumokat, zárják ki a képzéseikből az LLM-alkotók.<ref name="PKiPY">{{Cite journal|date=14 June 2023|title=Could chatbots help devise the next pandemic virus?|url=https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus|journal=Science|doi=10.1126/science.adj2463|accessdate=18 June 2023|archivedate=18 June 2023|archiveurl=https://web.archive.org/web/20230618013834/https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus|url-status=live}}</ref>

A Google és különböző egyetemek, köztük [[Cornell Egyetem|a Cornell Egyetem]] és [[Kaliforniai Egyetem (Berkeley)|a Berkeley-i Kaliforniai Egyetem]] kutatói által publikált tanulmány kimutatta, hogy vannak potenciális biztonsági kockázatok az olyan nyelvi modellekben, mint [[ChatGPT|a ChatGPT]]. Tanulmányukban megvizsgálták és alátámasztották annak a  lehetőségét, hogy a kérdezők a ChatGPT-ből megszerezhetik az MI-modell által használt képzési adatokat. Például, amikor arra kérik a ChatGPT 3.5 turbót, hogy örökkéke ismételje a „vers” szót, az MI-modell több százszor kimondja a „vers” szót, majd eltér, letér a szabványos párbeszédstílustól, és értelmetlen kifejezéseket köp ki, így kiadja a képzési adatokat is, egy az egyben. A kutatók több mint 10 000 példát láttak olyan MI-modellre, amely hasonló módszerrel leplezi le a képzési adatait. A kutatók szerint nehéz megmondani, hogy az MI-modell valóban biztonságos-e vagy sem.<ref>{{Cite web |author=Stephen Council |date=1 Dec 2023 |title=How Googlers cracked an SF rival's tech model with a single word |url=https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php |accessdate= |publisher=SFGATE |archivedate=16 December 2023 |archiveurl=https://web.archive.org/web/20231216160941/https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php |url-status=live}}</ref>

Egy másik felbukkanó biztonsági probléma az „alvó ügynökök” potenciális jelenléte az LLM-modellekben. Ezek olyan, a modellbe épített rejtett funkciók, amelyek mindaddig alvó állapotban maradnak, amíg egy adott esemény vagy állapot ki nem váltja őket. Ezek aktiválódásakor az LLM eltér a tőle elvárt viselkedéstől, és veszélyes műveleteket hajt végre.<ref>{{Cite arXiv|last1=Hubinger|title=Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training|eprint=2401.05566}}</ref>

A nagyközönség számára elérhető nagy nyelvi modell (LLM) alkalmazások, mint például a ChatGPT vagy a Claude, általában biztonsági intézkedéseket tartalmaznak, amelyeket a káros tartalom kiszűrésére terveztek. Ezeknek az ellenőrzéseknek a hatékony megvalósítása azonban kihívásnak bizonyult. Például Kang és munkatársai  bemutattak egy módszert az LLM biztonsági rendszerek megkerülésére. Hasonlóképpen, Wang<ref>{{Cite web |author=Wang |first=Yongge |date=20 June 2024 |title=Encryption Based Covert Channel for Large Language Models |url=https://eprint.iacr.org/2024/586.pdf |publisher=IACR ePrint 2024/586 |accessdate=24 June 2024 |archivedate=24 June 2024 |archiveurl=https://web.archive.org/web/20240624191233/https://eprint.iacr.org/2024/586.pdf |url-status=live}}</ref> szemléltette, hogy egy potenciális bűnöző miként kerülheti meg a ChatGPT 4o biztonsági ellenőrzését, hogy információt szerezzen egy kábítószer-csempész művelet végrehajtásáról.

=== Algoritmikus torzítás ===
Az LLM-ek figyelemre méltó képességeket mutatnak az emberszerű szöveg létrehozásában, ugyanakkor fogékonyak a képzési adataikban jelenlévő torzítások öröklésére és kiterjesztésére. Ez manifesztálódhat különböző demográfiai tényezők – például rassz, gender, nyelvi és kulturális csoportokon alapuló – elferdített ábrázolásában vagy tisztességtelen kezelésében.<ref name=":8">{{Cite web |author=Stokel-Walker |first=Chris |date=November 22, 2023 |title=ChatGPT Replicates Gender Bias in Recommendation Letters |url=https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/ |accessdate=2023-12-29 |work=Scientific American |archivedate=2023-12-29 |archiveurl=https://web.archive.org/web/20231229043124/https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/ |url-status=live}}</ref> Mivel az angol adatok felülreprezentáltak a jelenlegi nagy nyelvi modellek képzési adataiban, ez a nem angol nézeteket is eljelentéktelenítheti.

==== Sztereotipizálás ====
Az MI-modellek sokféle sztereotípiát erősíthetnek, beleértve a genderen, az etnikai hovatartozáson, az életkoron, a nemzetiségen, a valláson, vagy a foglalkozáson alapulókat is. Ez olyan kimenetekhez (outputs)  vezethet, amelyek méltánytalanul általánosítanak vagy karikíroznak embercsoportokat, néha káros vagy lekicsinylő módon.<ref>{{Citation|last1=Cheng|first1=Myra|title=Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models|date=2023-05-29|last2=Durmus|first2=Esin|last3=Jurafsky|first3=Dan}}</ref>

A genderrel kapcsolatos torzítás különösképpen utal arra a tendenciára, hogy ezek a modellek olyan kimeneteket produkálnak, amelyek méltánytalanul előítéletesek az egyik nemhez képest. Ez az elfogultság jellemzően azokból az adatokból adódik, amelyek alapján ezeket a modelleket képezték. A nagy nyelvi modellek gyakran a hagyományos nemi normák alapján rendelnek hozzá az emberekhez szerepeket és jellemzőket.<ref name=":8" /> Például az ápolókat vagy a titkárokat túlnyomórészt nőkkel asszociálhatják, a mérnököket, vagy a vezérigazgatókat pedig férfiakkal társíthatják.<ref>{{Hivatkozás/Könyv |last=Kotek |first=Hadas |title=Proceedings of the ACM Collective Intelligence Conference |series=CI '23 |date=2023-11-05 |publisher=Association for Computing Machinery |location=New York, NY, USA |isbn=979-8-4007-0113-9 |doi=10.1145/3582269.3615599 |page=12–24 |chapter=Gender bias and stereotypes in Large Language Models |chapterurl=https://dl.acm.org/doi/10.1145/3582269.3615599}}</ref>

==== Politikai elfogultság ====
A politikai elfogultság az algoritmusok azon tendenciájára utal, hogy szisztematikusan részrehajlóak bizonyos politikai nézőpontokkal, ideológiákkal, vagy eredményekkel mások rovására. A nyelvi modellek politikai elfogultságot is tanúsíthatnak. Mivel a képzési adatok sokféle politikai véleményt és lefedettséget tartalmaznak, a modellek olyan válaszokat generálhatnak, amelyek egyes politikai ideológiák vagy nézőpontok felé hajlanak,  ezeknek a nézeteknek az adatokban tapasztalható túlsúlyától függően.<ref>{{Cite web |author=Heikkilä |first=Melissa |date=August 7, 2023 |title=AI language models are rife with different political biases |url=https://www.technologyreview.com/2023/08/07/1077324/ai-language-models-are-rife-with-political-biases/ |accessdate=2023-12-29 |work=MIT Technology Review}}</ref>

== Megjegyzések ==
a. Ez az a dátum, amikor a modell architektúráját leíró dokumentáció először megjelent.Sok esetben a kutatók egy modell több, különböző méretű változatát adják ki vagy jelentenek be.

b. Ezekben az esetekben itt a legnagyobb modell mérete szerepel.

c. Ez az előre betanított modellsúlyok licence. Maga a képzési kód szinte minden esetben nyílt forráskódú vagy könnyen replikálható.A kisebb modellek, köztük a 66B nyilvánosan elérhetők, míg a 175B modell kérésre elérhető.A Facebook licenc- és terjesztési rendszere korlátozta a jóváhagyott kutatók hozzáférését, de a modell súlyai kiszivárogtak, és széles körben elérhetővé váltak.Amint a műszaki jelentésben szerepel: „Tekintettel a nagyméretű modellek, például a GPT-4 versenyhelyzetére és biztonsági vonatkozásaira, ez a jelentés nem tartalmaz további részleteket az architektúráról (beleértve a modell méretét), a hardverről, a képzési számításokról, az adatkészlet-építésről és a képzésről. módszer...”

== Irodalom ==
* Jurafsky, Dan, Martin, James. H. [https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf ''Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''], 3rd Edition draft, 2023.
*  Zhao, Wayne Xin, et. al. (2023). "A Sur5vey of Large Language Models" arXiv:2303.18223 [cs.CL]
* Kaddur, Jean; et. al. (2023).
* "Challenges and Applications of Large Language Models". arXiv:2307.10169 [cs.CL]
* Yin, Shukang; Fu, Chaoyou; Zhao, Sirui; Li, Ke; Sun, Xing; Xu, Tong; Chen, Enhong (2023-06-01). "A Survey on Multimodal Large Language Models". arXiv:2306.13549 [cs.CV]
* {{Cite web |title=AI Index Report 2024 – Artificial Intelligence Index |url=https://aiindex.stanford.edu/report/ |accessdate=2024-05-05 |work=aiindex.stanford.edu}}
* {{Cite journal|author=Frank|first=Michael C.|title=Baby steps in evaluating the capacities of large language models|journal=Nature Reviews Psychology|date=27 June 2023|volume=2|issue=8|pages=451–452|doi=10.1038/s44159-023-00211-x|url=https://www.nature.com/articles/s44159-023-00211-x|accessdate=2 July 2023|issn=2731-0574}}

== Fordítás ==
{{fordítás|en|Large language model|oldid=1245835834}}

== Jegyzetek ==
{{jegyzetek}}

== Irodalom ==
* [[Dan Jurafsky|Jurafsky, Dan]], Martin, James. H. [https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf ''Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''], 3rd Edition draft, 2023.
* {{cite arXiv |last1=Zhao |first1=Wayne Xin |last2=Zhou |first2=Kun |last3=Li |first3=Junyi |display-authors=1 |title=A Survey of Large Language Models |date=2023 |class=cs.CL |eprint=2303.18223}}
* {{cite arXiv |last1=Kaddour |first1=Jean |display-authors=etal |title=Challenges and Applications of Large Language Models |date=2023 |class=cs.CL |eprint=2307.10169}}
* {{Cite journal |last1=Yin |first1=Shukang |last2=Fu |first2=Chaoyou |last3=Zhao |first3=Sirui |last4=Li |first4=Ke |last5=Sun |first5=Xing |last6=Xu |first6=Tong |last7=Chen |first7=Enhong |date=2024 |title=A Survey on Multimodal Large Language Models |journal=National Science Review |volume=11 |issue=12 |pages=nwae403 |doi=10.1093/nsr/nwae403 |pmid=39679213 |pmc=11645129 |arxiv=2306.13549}}
* {{Cite web |title=AI Index Report 2024 – Artificial Intelligence Index |url=https://aiindex.stanford.edu/report/ |access-date=2024-05-05 |website=aiindex.stanford.edu}}
* {{cite journal |last1=Frank |first1=Michael C. |title=Baby steps in evaluating the capacities of large language models |journal=Nature Reviews Psychology |date=27 June 2023 |volume=2 |issue=8 |pages=451–452 |doi=10.1038/s44159-023-00211-x |s2cid=259713140 |url=https://www.nature.com/articles/s44159-023-00211-x |access-date=2 July 2023 |issn=2731-0574}}

{{Generatív AI chatbotok}}
{{Generatív MI}}
{{nemzetközi katalógusok}}

{{portál|Informatika|i }}
[[Kategória:Gépi fordítás]]