
HuggingFace, arriva il tokenizer che parla tutte le lingue
Su HuggingFace è spuntato un nuovo modello che promette di capire i testi in diverse lingue senza impazzire. Si chiama cijov-lang-tokenizer e, spoiler, è uno di quei progetti che passa sotto silenzio ma che i developer adorano.
