Mila::Data::Tokenizer Member List

This is the complete list of members for Mila::Data::Tokenizer, including all inherited members.

decode(std::span< const TokenId > tokens)=0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
encode(const std::string &text)=0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
getBosTokenId() const =0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
getEosTokenId() const =0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
getPadTokenId() const =0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
getVocabSize() const =0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
isValidToken(TokenId tokenId) const =0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
tokenToString(TokenId tokenId) const =0 (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	pure virtual
~Tokenizer()=default (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	virtual