Jazykový model

Jazykový model je pravděpodobnostní model přirozeného jazyka,^[1] který dokáže generovat pravděpodobnosti řady slov (následující slova ve větě) na základě textových korpusů v jednom nebo více jazycích, na kterých byl vycvičen. Jazykový model na základě statistických a pravděpodobnostních metod předpovídá následující sekvence textu. Jazykový model funguje na základě předloženého textu/korupusu/datasetu, ve kterém se snaží porozumět kontextu textu.^[2]

Velký jazykový model (LLM) je počítačový model jazyka založený na neuronové síti, trénované na velkém množství textu pomocí samoučení (takzvaný transformátor, obecně self-supervised learning) nebo částečného učení s učitelem (semi-supervised learning, paradigma slabého dohledu). Velké jazykové modely nahradily modely založené na rekurentních neuronových sítích, které ještě dříve vytlačily čistě statistické modely, jako je například slovní n-gramový jazykový model.^[3]

Jazykové modely jsou užitečné pro řadu úloh, včetně rozpoznávání řeči (pomáhají předcházet předpovědím málo pravděpodobných (např. nesmyslných) sekvencí), strojového překladu, generování přirozeného jazyka (generování textu podobného lidskému), optického rozpoznávání znaků, rozpoznávání rukopisu, indukce gramatiky, vyhledávání informací a dalších.

V tomto článku byl použit překlad textu z článku Language model na anglické Wikipedii.

Zdroj