Mila
Deep Neural Network Library
Loading...
Searching...
No Matches
Mila::Data::SpecialTokens Member List

This is the complete list of members for Mila::Data::SpecialTokens, including all inherited members.

bos_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
cls_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
count() constMila::Data::SpecialTokensinline
countAll() constMila::Data::SpecialTokensinline
eos_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
extended_special_tokensMila::Data::SpecialTokens
forClassification()Mila::Data::SpecialTokensinlinestatic
forMLM()Mila::Data::SpecialTokensinlinestatic
gemmaStyle()Mila::Data::SpecialTokensinlinestatic
getEnabledTokens() constMila::Data::SpecialTokensinline
getIdOffset() constMila::Data::SpecialTokensinline
getString(SpecialToken token) constMila::Data::SpecialTokensinline
gptStyle()Mila::Data::SpecialTokensinlinestatic
isEnabled(SpecialToken token) constMila::Data::SpecialTokensinline
isSpecialToken(std::string_view str) constMila::Data::SpecialTokensinline
llamaStyle()Mila::Data::SpecialTokensinlinestatic
mask_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
minimal()Mila::Data::SpecialTokensinlinestatic
none()Mila::Data::SpecialTokensinlinestatic
pad_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
sep_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
standard()Mila::Data::SpecialTokensinlinestatic
unk_token (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_bos (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_cls (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_eos (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_mask (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_pad (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_sep (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens
use_unk (defined in Mila::Data::SpecialTokens)Mila::Data::SpecialTokens