Mila
Deep Neural Network Library
Loading...
Searching...
No Matches
Mila::Data::BpeVocabularyConfig Member List

This is the complete list of members for Mila::Data::BpeVocabularyConfig, including all inherited members.

BpeVocabularyConfig()=default (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfig
fromMetadata(const SerializationMetadata &meta)Mila::Data::BpeVocabularyConfiginline
getMaxMerges() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
getMinFrequency() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
getPreTokenizationMode() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
getPreTokenizationPattern() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
getSpecialTokens() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
getVocabSize() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
isByteLevel() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
isMergeCachingEnabled() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
toMetadata() constMila::Data::BpeVocabularyConfiginline
toString() const (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
validate() constMila::Data::BpeVocabularyConfiginline
withByteLevel(bool byte_level) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withMaxMerges(size_t max_merges) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withMergeCaching(bool enable) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withMinFrequency(size_t frequency) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withPreTokenization(PreTokenizationMode mode) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withPreTokenizationPattern(const std::string &pattern) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withSpecialTokens(const SpecialTokens &tokens) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline
withVocabSize(size_t size) (defined in Mila::Data::BpeVocabularyConfig)Mila::Data::BpeVocabularyConfiginline