This is the complete list of members for Mila::Data::BpeTokenizer, including all inherited members.

BpeTokenizer(BpeVocabulary vocab) (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlineexplicit
decode(std::span< const TokenId > tokens) override	Mila::Data::BpeTokenizer	inlinevirtual
encode(const std::string &text) override	Mila::Data::BpeTokenizer	inlinevirtual
getBosTokenId() const override (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlinevirtual
getEosTokenId() const override (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlinevirtual
getPadTokenId() const override (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlinevirtual
getVocab() const (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inline
getVocabSize() const override (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlinevirtual
isValidToken(TokenId tokenId) const override (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlinevirtual
load(const std::filesystem::path &path)	Mila::Data::BpeTokenizer	inlinestatic
loadGemma(const std::filesystem::path &path)	Mila::Data::BpeTokenizer	inlinestatic
loadGpt2(const std::filesystem::path &path)	Mila::Data::BpeTokenizer	inlinestatic
loadLlama32(const std::filesystem::path &path)	Mila::Data::BpeTokenizer	inlinestatic
loadMistral(const std::filesystem::path &vocab_path, const std::filesystem::path &merges_path)	Mila::Data::BpeTokenizer	inlinestatic
tokenToString(TokenId tokenId) const override (defined in Mila::Data::BpeTokenizer)	Mila::Data::BpeTokenizer	inlinevirtual
~Tokenizer()=default (defined in Mila::Data::Tokenizer)	Mila::Data::Tokenizer	virtual