Tokenizace textu: základní operace při zpracování přirozeného jazyka
Seznámíme se s knihovnou Tiktoken, která umožňuje takzvanou tokenizaci textu. Jedná se o jednu ze základních operací používaných v systémech pro zpracování přirozeného jazyka, což je bouřlivě se rozvíjející oblast. Read More Zdroj: Root.cz – články





