Jazykový model
Jazykový model je je pravděpodobnostní model přirozeného jazyka,[1] který dokáže generovat pravděpodobnosti řady slov (následující slova ve větě) na základě textových korpusů v jednom nebo více jazycích, na kterých byl vycvičen. Jazykový model na základě statistických a pravděpodobnostních metod předpovídá následující sekvence textu. Jazykový model funguje na základě předloženého textu/korupusu/datasetu, ve kterém se snaží porozumět kontextu textu.[2]
Velké jazykové modely, jako jejich nejpokročilejší forma, jsou kombinací feedforward neuronových sítí a transformerů. Nahradily modely založené na rekurentních neuronových sítích, které dříve vytlačily čistě statistické modely, jako je například slovní n-gramový jazykový model.[3]
Jazykové modely jsou používány pro čistě statistické modely: modely založené na n-gramech slov, jazykové modely s maximální entropií či skip-gram model. Nebo pro neuronové sítě: rekurentní neuronové sítě (RNN) a tvorbu velkých jazykových modelů.
Odkazy
V tomto článku byl použit překlad textu z článku Language model na anglické Wikipedii.
Reference
- ↑ Speech and Language Processing. web.archive.org [online]. 2022-05-22 [cit. 2023-08-18]. Dostupné v archivu pořízeném z originálu dne 2022-05-22.
- ↑ What is Language Modeling?. Enterprise AI [online]. [cit. 2023-08-19]. Dostupné online. (anglicky)
- ↑ Jazykové modelování jako jedna z klíčových domén vývoje umělé inteligence | Labels. labels.ff.cuni.cz [online]. [cit. 2023-08-19]. Dostupné online.
