Jazykový model

Jazykový model je je pravděpodobnostní model přirozeného jazyka,[1] který dokáže generovat pravděpodobnosti řady slov (následující slova ve větě) na základě textových korpusů v jednom nebo více jazycích, na kterých byl vycvičen. Jazykový model na základě statistických a pravděpodobnostních metod předpovídá následující sekvence textu. Jazykový model funguje na základě předloženého textu/korupusu/datasetu, ve kterém se snaží porozumět kontextu textu.[2]

Velké jazykové modely, jako jejich nejpokročilejší forma, jsou kombinací feedforward neuronových sítí a transformerů. Nahradily modely založené na rekurentních neuronových sítích, které dříve vytlačily čistě statistické modely, jako je například slovní n-gramový jazykový model.[3]

Jazykové modely jsou používány pro čistě statistické modely: modely založené na n-gramech slov, jazykové modely s maximální entropií či skip-gram model. Nebo pro neuronové sítě: rekurentní neuronové sítě (RNN) a tvorbu velkých jazykových modelů.

Odkazy

V tomto článku byl použit překlad textu z článku Language model na anglické Wikipedii.

Reference

  1. Speech and Language Processing. web.archive.org [online]. 2022-05-22 [cit. 2023-08-18]. Dostupné v archivu pořízeném z originálu dne 2022-05-22. 
  2. What is Language Modeling?. Enterprise AI [online]. [cit. 2023-08-19]. Dostupné online. (anglicky) 
  3. Jazykové modelování jako jedna z klíčových domén vývoje umělé inteligence | Labels. labels.ff.cuni.cz [online]. [cit. 2023-08-19]. Dostupné online. 

Zdroj