o
    [۷i$@                 !   @  sB  U d dl mZ d dlmZmZmZ d dlmZ dZdZ	dZ
dZG dd	 d	ZG d
d dZG dd deZG dd deZG dd deZi ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejd ej d!ej!d"i ej"d#ej#d$ej$d%ej%d&ej&d'ej'd(ej(d)ej)d*ej*d+ej+d,ej,d-ej-d.ej.d/ej/d0ej0d1ej1d2ej2d3i ej3d4ej4d5ej5d6ej6d7ej7d8ej8d9ej9d:ej:d;ej;d<ej<d=ej=d>ej>d?ej?d@ej@dAejAdBejBdCejCdDi ejDdEejEdFejFdGejGdHejHdIejIdJejJdKejKdLejLdMejMdNejNdOejOdPejPdQejQdRejRdSejSdTejTdUi ejUdVejVdWejWdXejXdYejYdZejZd[ej[d\ej\d]ej]d^ej^d_ej_d`ej`daejadbejbdcejcddejddeejedfi ejfdgejgdhejhdiejidjejjdkejkdlejldmejmdnejndoejodpejpdqejqdrejrdsejsdtejtduejudvejvdwi ejwdxejxdyejydzejzd{ej{d|ej|d}ej}d~ej~dejdejdejdejdejdejdejdejdejdejdejdejdiZded< ejdejdejdejdejdejdej@dAiZded< i ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi ejdejdejdejdejdejdejdejdejdejdejdejdejdÓejdēejdœejdƓejdǓi ejdȓejdɓejdʓejd˓ejd̓ejd͓ejdΓejdϓejdГejdѓejdғejdӓejdԓejdՓejd֓ejdדejdؓi ejdٓejdړejdۓejdܓejdݓejdޓejdߓejdejdejdejdejdejdejdejdejdejdi ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi ejdejdejdejdejdejd ej dejdejdejdejdejdejdejdejd	ej	d
ej
di ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi ejdejdejdejd ej d!ej!d"ej"d#ej#d$ej$d%ej%d&ej&d'ej'd(ej(d)ej)d*ej*d+ej+d,ej,d-i ej-d.ej.d/ej/d0ej0d1ej1d2ej2d3ej3d4ej4d5ej5d6ej6d7ej7d8ej8d9ej9d:ej:d;ej;d<ej<d=ej=d>i ej>d?ej?d@ej@dAejAdBejBdCejCdDejDdEejEdFejFdGejGdHejHdIejIdJejJdKejKdLejLdMejMdNejNdOi ejOdPejPdQejQdRejRdSejSdTejTdUejUdVejVdWejWdXejXdYejYdZejZd[ej[d\ej\d]ej]d^ej^d_ej_d`i ej`daejadbejbdcejcddejddeejedfejfdgejgdhejhdiejidjejjdkejkdlejldmejmdnejndoejodpejpdqi ejqdrejrdsejsdtejtduejudvejvdwejwdxejxdyejydzejzd{ej{d|ej|d}ej}d~ej~dejdejdejdi ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi ejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdejdi
Zded< i ejg ejQejRejSejTejUejVejWejXej_ejYejZej[ej\ej]ej^ej`ejaejbejcejdejeejfejgejhejiejjejkejlejmejnejoejpejqejrejsejtejuejvejwejxejyejzej{ej|ej}ej~ejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejg	ejejejejejejejejejejg	ejejejejejejejejejejejejejejejgejejejejejejejejejejejg
ejejejejejejejejejejejejejejejej2ej3gejejejejejejejejejejej2ej3ej4gej ejejejejejejejejejejejejgej!ejejejejejejejejejejejejejejgej"ejejejejejejejej1ej2ej3g
ej#ejejejejejejejejejejejejejejejej2gej$ejejejejejejejejejejg
ej%ejejejejejejejejejejejgi ejejejejejejejejejejejejejejgejejejejejejejejejejejg
ejejejejejejejejejejejejejgej&ejejejejejejejejejejg
ej'ejejejejejejejejejejejejejejejgej(ejejejejejejejejejejejejgej)ejejejejejejejejejejejejejgejyejejejejejejejejejejejejejgej{ejejejejejejejejejejejejejgej+ejejejejejejejejejejejejgej*ejejejejejejejejejejejejejejejejejgej,ejejejejejejejejejejejejejejejgej-ejejejejejejejejejejejejejejejgej.ejejejejejejejejejejejejejejejejejejejejejejejejejejejejejgej/ejejejejejejejejejejejejejejejgej0ejejejejejejejejejejejejejejejgej1ejejejejejejejejejejejejejejejejejejejejejejejgi ej2ejejejejejejejejejejejejejejejejejejejejejejejejejejejejejgej6ejejejejejejejejejejejejejgej7ejejejejejejejejejejejejejejejejejejejejejejejejejejejejgej8ejejejejejejejejejejejejejgejejejejejejejejejejejg
ej3ejejejejejejejejejejejejgej4ejejejejejejejejejejejejejejgej5ejejejejejejejejejejejejejejejejgej9ejejejejejejejejejejejgej:ejejejejejejejejejejejejejejgej;ejejejejejejejejejejejejejgej<ejejejejejejejejejejejejejejejejejejejejgej=ejejejejejejejejejejejejejejejejejgej>ejejejejejejejejejejejgej?ejejejejejejejejejejejejejgej@ejejejejejejejejejejejejejejejejgejAg ejejejejejejejejejejejejejejejejejÑejđejȑejɑejőejʑejǑejƑejˑej̑ej͑ejΑejϑejБejёejґi ejBejejejejejejejejejejejejejejejejejejgejCejejejejejejejejejejejejejgejDejejejejejejejejejejejejejejejejejejej ejejejejejejejejej	ej
ejgejEejejejejejejejejejejejejejejejejej ejejejejejejejejejejgejFejejejejejejejejejejejejejejejejejejejejejejejejejejejej	ejgejGejejejejejejejejejejejejejejejejejejejejejejejejejejejejejgejHejejejejejejejejejejejgejIejejejejejejejejejejejgejJejejejejejejejejejejejejejejejejejejejejejejejejejejgejKejejejejejejejejejejejejejejgejLejejejejejejejejejejejejgejMejejejejejejejejejejg
ejNejejejejejejejejejejejgejOejejejejejejejejejg	ejPejejejejejejejejejejejejejejgej}ejejejejejejejejejejejejgejQejejejejejejejejejejejejejejejgi ejRejejejejejejejejejejejgejSejejejejejejejejejejejejejejejejejejejgejTejejejejejejejejejejejejejejejejejejejejejgejUejejejejejejejejejejejejejejejejejejejejejejejejejejejejejgejqejejejejejejejejejejejejejejejejejejejejgejjejejejejejejejejejejejejgejVejejejejejejejejejejejejejgejWejejejejejejejejejejejejejejejejejejejejejgejXejejejejejejejejejejejejejejejejejejejejejejejejejejejejgejYg ejejejejejejejejejejejejejejejejejejejejejejejejejejejejejMejNejOejPejejejejejejejZejejejejejejejejejejejejejgej[ejejejejejejejejejejejejej ej!ej"ej#ej$ej%ej&ej'ej(ej)ej*ej+ej,ej-ej.ej/ej0ej1gej\ejejej'ej(ej)ej*ej+ej,ej-ej.ej/ej0ej1gej]ejejejejejejejejejejg
ej^ejejejejejejejejejejejgej_ejejejejejejejejejejejejejgej`ejejejejejejejejejejejejejejejejejgi ejaejejejejejejejejejejejejejejejejejejejejejejejgejbejejejejejejejejejejejejejejgejcejejejejejejejejejejejejejejejgejdejejejejejejejejejejejejejejejejejejejejejejejejejejejejejgejeejejejejejejejejejejejejgejfejejejejejejejejejejejejejejejejgejgejejejejejejejejejejejejejejejejejejejejejejejejejejgejhejejejejejejejejejejejejejejgejiejejej5ej6ej7ej8ej9ej:ejejej;ej<ej=ej>ej?ej@ejAejBejCejDgejkejejejejejejejejejejejejejejejejejgejlejejejejejejejejejejejejejejejejejejejejejejejejejejejgejmejejejejejejejejejejejejejejejejejejejejejejgejnejejejejejejejejejejejejejgejoejejejejejejejejejejejejejejejejejejejejejejejejejgejpejejejejejejejejejejejejgejejejejejejejejejejejejejgejrejejejejejejejejejejejejejejejejejejejgi ejsejejejejejejejejejejejejejejejejejejejgejtejejejejejejejejejejejejejejgejuejejejejejejejejejejejejejejgejvejejejejejejejejejejejejejejgejwejejejEejFejGejejejejejejejejejejejejejgejxejejejEejFejGejejejejejejejejejejejejejejejejgejzejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejgej|ejejejejejejejejejejejejejejejgej~ejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejHejIejJejLejKgejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejejejejejgejejejejejejejejejejejejejejejgejg ejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejejؑejejej֑ejܑejejejejiZded< ejejejgejejejgejejejgej(ejejgej9ejejgej:ejejgejCejejgejKejejgejTejejgejUejejgejVejgej_ejejgejkejgejejejgiZded< G dŐdƄ deZG dǐdȄ deZG dɐdʄ deZG dːd̄ deZG d͐d΄ deZG dϐdЄ deZG dѐd҄ deZG dӐdԄ deZG dՐdք dփZʐdאZi eŐj̐dؓeŐj͐dٓeŐjΐdړeŐjϐdۓeŐjАdܓeŐjѐdݓeŐjҐdޓeŐjӐdߓeŐjԐdאdeːd  eːd  feŐjՐddeːd  eːd  d feŐj֐dאded  d feŐjאdאded  eːd  d feŐjؐdded  eːd  eːd  feŐjِdאde eːd  feŐjڐddeːd  feŐjېddeːd  ed  feŐjܐddeːd  eːd  feŐjݐddeːd  eːd  feŐjސdڐeŐjߐddeːd  eːd  ed  d feŐjddeːd  eːd  feŐjdאded  eːd  feŐjdeŐjdِeŐjdؐeŐjdeŐjdeŐjdאeːd eːd  ed  feŐjdِeŐjdeŐjdeŐjdiZded< ejjZejjZejjZejjZejjZejjZejjZejjZejjZejj ZejjZejjZejjZejj	Z
ejjZejjZejjZejjZejjZejjZejjZejjZejjZejjZ ejj!Z"ejj#Z$ejj%Z&ejj'Z(ejj)Z*ej+j,Z-ej+j.Z/ej+j0Z1ej+j2Z3ej+j4Z5ej+j6Z7ej8j9Z:ej;j<Z=ej;j>Z?ej;j@ZAej;jBZCej;jDZEej;jFZGej;jHZIej;jJZKej;jLZMej;jNZOej;jPZQej;jRZSej;jTZUej;jVZWej;jXZYej;jZZ[ej;j\Z]ej;j^Z_ej;j`Zaej;jbZcej;jdZeej;jfZgej;jhZiej;jjZkej;jlZmdS (      )annotations)EnumIntEnumauto)AnyiGGUF          c                   @  s$  e Zd ZG dd dZG dd dZG dd dZG dd dZG d	d
 d
ZG dd dZG dd dZ	G dd dZ
G dd dZG dd dZG dd dZG dd dZG dd dZG dd dZG dd dZG dd  d ZG d!d" d"ZG d#d$ d$ZG d%d& d&ZG d'd( d(Zd)S )*Keysc                   @  s   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZ dZ!d Z"d!Z#d"Z$d#Z%d$Z&d%Z'd&Z(d'Z)d(Z*d)Z+d*Z,d+Z-d,Z.d-Z/d.Z0d/Z1d0Z2d1Z3d2Z4d3Z5d4Z6d5Z7d6Z8d7Z9d8Z:d9Z;d:Z<d;Z=d<S )=zKeys.Generalzgeneral.typezgeneral.architecturezgeneral.quantization_versionzgeneral.alignmentzgeneral.file_typezgeneral.sampling.sequencezgeneral.sampling.top_kzgeneral.sampling.top_pzgeneral.sampling.min_pz general.sampling.xtc_probabilityzgeneral.sampling.xtc_thresholdzgeneral.sampling.tempzgeneral.sampling.penalty_last_nzgeneral.sampling.penalty_repeatzgeneral.sampling.mirostatzgeneral.sampling.mirostat_tauzgeneral.sampling.mirostat_etazgeneral.namezgeneral.authorzgeneral.versionzgeneral.organizationzgeneral.finetunezgeneral.basenamezgeneral.descriptionzgeneral.quantized_byzgeneral.size_labelzgeneral.licensezgeneral.license.namezgeneral.license.linkzgeneral.urlzgeneral.doizgeneral.uuidzgeneral.repo_urlzgeneral.source.urlzgeneral.source.doizgeneral.source.uuidzgeneral.source.repo_urlzgeneral.base_model.countzgeneral.base_model.{id}.namezgeneral.base_model.{id}.authorzgeneral.base_model.{id}.versionz$general.base_model.{id}.organizationz#general.base_model.{id}.descriptionzgeneral.base_model.{id}.urlzgeneral.base_model.{id}.doizgeneral.base_model.{id}.uuidz general.base_model.{id}.repo_urlzgeneral.dataset.countzgeneral.dataset.{id}.namezgeneral.dataset.{id}.authorzgeneral.dataset.{id}.versionz!general.dataset.{id}.organizationz general.dataset.{id}.descriptionzgeneral.dataset.{id}.urlzgeneral.dataset.{id}.doizgeneral.dataset.{id}.uuidzgeneral.dataset.{id}.repo_urlzgeneral.tagszgeneral.languagesN)>__name__
__module____qualname__TYPEARCHITECTUREQUANTIZATION_VERSION	ALIGNMENT	FILE_TYPESAMPLING_SEQUENCESAMPLING_TOP_KSAMPLING_TOP_PSAMPLING_MIN_PSAMPLING_XTC_PROBABILITYSAMPLING_XTC_THRESHOLDSAMPLING_TEMPSAMPLING_PENALTY_LAST_NSAMPLING_PENALTY_REPEATSAMPLING_MIROSTATSAMPLING_MIROSTAT_TAUSAMPLING_MIROSTAT_ETANAMEAUTHORVERSIONORGANIZATIONFINETUNEBASENAMEDESCRIPTIONQUANTIZED_BY
SIZE_LABELLICENSELICENSE_NAMELICENSE_LINKURLDOIUUIDREPO_URL
SOURCE_URL
SOURCE_DOISOURCE_UUIDSOURCE_REPO_URLBASE_MODEL_COUNTBASE_MODEL_NAMEBASE_MODEL_AUTHORBASE_MODEL_VERSIONBASE_MODEL_ORGANIZATIONBASE_MODEL_DESCRIPTIONBASE_MODEL_URLBASE_MODEL_DOIBASE_MODEL_UUIDBASE_MODEL_REPO_URLDATASET_COUNTDATASET_NAMEDATASET_AUTHORDATASET_VERSIONDATASET_ORGANIZATIONDATASET_DESCRIPTIONDATASET_URLDATASET_DOIDATASET_UUIDDATASET_REPO_URLTAGS	LANGUAGES rI   rI   D/home/ubuntu/vllm_env/lib/python3.10/site-packages/gguf/constants.pyGeneral   sx    rK   c                   @  s   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZ dZ!d Z"d!Z#d"Z$d#Z%d$Z&d%Z'd&Z(d'Z)d(Z*d)Z+d*Z,d+Z-d,Z.d-Z/d.Z0d/Z1d0Z2d1Z3d2Z4d3S )4zKeys.LLMz{arch}.vocab_sizez{arch}.context_lengthz{arch}.embedding_lengthz{arch}.embedding_length_outz{arch}.features_lengthz{arch}.block_countz {arch}.leading_dense_block_countz{arch}.feed_forward_lengthz!{arch}.expert_feed_forward_lengthz({arch}.expert_shared_feed_forward_lengthz'{arch}.expert_chunk_feed_forward_lengthz{arch}.use_parallel_residualz{arch}.tensor_data_layoutz{arch}.expert_countz{arch}.expert_used_countz{arch}.expert_shared_countz{arch}.expert_group_countz{arch}.expert_group_used_countz{arch}.expert_weights_scalez{arch}.expert_weights_normz{arch}.expert_gating_funcz{arch}.expert_group_scalez{arch}.experts_per_groupz{arch}.moe_every_n_layersz{arch}.nextn_predict_layersz{arch}.n_deepstack_layersz{arch}.pooling_typez{arch}.logit_scalez{arch}.decoder_start_token_idz{arch}.decoder_block_countz{arch}.attn_logit_softcappingz{arch}.router_logit_softcappingz{arch}.final_logit_softcappingz{arch}.swin_normz{arch}.rescale_every_n_layersz{arch}.time_mix_extra_dimz{arch}.time_decay_extra_dimz{arch}.residual_scalez{arch}.embedding_scalez{arch}.token_shift_countz {arch}.interleave_moe_layer_stepz{arch}.full_attention_intervalz {arch}.activation_sparsity_scalez{arch}.altup.active_idxz{arch}.altup.num_inputsz'{arch}.embedding_length_per_layer_inputz{arch}.swiglu_clamp_expz{arch}.swiglu_clamp_shexpz{arch}.{dense}_feat_inz{arch}.{dense}_feat_outN)5r   r   r   
VOCAB_SIZECONTEXT_LENGTHEMBEDDING_LENGTHEMBEDDING_LENGTH_OUTFEATURES_LENGTHBLOCK_COUNTLEADING_DENSE_BLOCK_COUNTFEED_FORWARD_LENGTHEXPERT_FEED_FORWARD_LENGTH!EXPERT_SHARED_FEED_FORWARD_LENGTH EXPERT_CHUNK_FEED_FORWARD_LENGTHUSE_PARALLEL_RESIDUALTENSOR_DATA_LAYOUTEXPERT_COUNTEXPERT_USED_COUNTEXPERT_SHARED_COUNTEXPERT_GROUP_COUNTEXPERT_GROUP_USED_COUNTEXPERT_WEIGHTS_SCALEEXPERT_WEIGHTS_NORMEXPERT_GATING_FUNCEXPERT_GROUP_SCALEEXPERTS_PER_GROUPMOE_EVERY_N_LAYERSNEXTN_PREDICT_LAYERSNUM_DEEPSTACK_LAYERSPOOLING_TYPELOGIT_SCALEDECODER_START_TOKEN_IDDECODER_BLOCK_COUNTATTN_LOGIT_SOFTCAPPINGROUTER_LOGIT_SOFTCAPPINGFINAL_LOGIT_SOFTCAPPING	SWIN_NORMRESCALE_EVERY_N_LAYERSTIME_MIX_EXTRA_DIMTIME_DECAY_EXTRA_DIMRESIDUAL_SCALEEMBEDDING_SCALETOKEN_SHIFT_COUNTINTERLEAVE_MOE_LAYER_STEPFULL_ATTENTION_INTERVALACTIVATION_SPARSITY_SCALEALTUP_ACTIVE_IDXALTUP_NUM_INPUTSEMBD_LENGTH_PER_LAYER_INPSWIGLU_CLAMP_EXPSWIGLU_CLAMP_SHEXPDENSE_FEAT_IN_SIZEDENSE_FEAT_OUT_SIZErI   rI   rI   rJ   LLMg   sf    r~   c                   @  s   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZG dd dZdS )zKeys.Attentionz{arch}.attention.head_countz{arch}.attention.head_count_kvz{arch}.attention.max_alibi_biasz{arch}.attention.clamp_kqvz{arch}.attention.key_lengthz{arch}.attention.value_lengthz#{arch}.attention.layer_norm_epsilonz'{arch}.attention.layer_norm_rms_epsilonz#{arch}.attention.group_norm_epsilonz"{arch}.attention.group_norm_groupsz{arch}.attention.causalz{arch}.attention.q_lora_rankz{arch}.attention.kv_lora_rankz {arch}.attention.decay_lora_rankz{arch}.attention.iclr_lora_rankz-{arch}.attention.value_residual_mix_lora_rankz{arch}.attention.gate_lora_rankz'{arch}.attention.relative_buckets_countz{arch}.attention.sliding_windowz{arch}.attention.scalez{arch}.attention.output_scalez#{arch}.attention.temperature_lengthz{arch}.attention.key_length_mlaz!{arch}.attention.value_length_mlaz!{arch}.attention.shared_kv_layersz'{arch}.attention.sliding_window_patternz"{arch}.attention.temperature_scalec                   @     e Zd ZdZdZdZdS )zKeys.Attention.Indexerz#{arch}.attention.indexer.head_countz#{arch}.attention.indexer.key_lengthz{arch}.attention.indexer.top_kN)r   r   r   
HEAD_COUNT
KEY_LENGTHTOP_KrI   rI   rI   rJ   Indexer       r   N)r   r   r   r   HEAD_COUNT_KVMAX_ALIBI_BIAS	CLAMP_KQVr   VALUE_LENGTHLAYERNORM_EPSLAYERNORM_RMS_EPSGROUPNORM_EPSGROUPNORM_GROUPSCAUSALQ_LORA_RANKKV_LORA_RANKDECAY_LORA_RANKICLR_LORA_RANKVALUE_RESIDUAL_MIX_LORA_RANKGATE_LORA_RANKREL_BUCKETS_COUNTSLIDING_WINDOWSCALEOUTPUT_SCALETEMPERATURE_LENGTHKEY_LENGTH_MLAVALUE_LENGTH_MLASHARED_KV_LAYERSSLIDING_WINDOW_PATTERNTEMPERATURE_SCALEr   rI   rI   rI   rJ   	Attention   s:    r   c                   @  sD   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdS )z	Keys.Ropez{arch}.rope.dimension_countz{arch}.rope.dimension_sectionsz{arch}.rope.freq_basez{arch}.rope.freq_base_swaz{arch}.rope.scaling.typez{arch}.rope.scaling.factorz{arch}.rope.scaling.attn_factorz+{arch}.rope.scaling.original_context_lengthz{arch}.rope.scaling.finetunedz'{arch}.rope.scaling.yarn_log_multiplierz#{arch}.rope.scaling.yarn_ext_factorz${arch}.rope.scaling.yarn_attn_factorz"{arch}.rope.scaling.yarn_beta_fastz"{arch}.rope.scaling.yarn_beta_slowN)r   r   r   DIMENSION_COUNTDIMENSION_SECTIONS	FREQ_BASEFREQ_BASE_SWASCALING_TYPESCALING_FACTORSCALING_ATTN_FACTORSCALING_ORIG_CTX_LENSCALING_FINETUNEDSCALING_YARN_LOG_MULSCALING_YARN_EXT_FACTORSCALING_YARN_ATTN_FACTORSCALING_YARN_BETA_FASTSCALING_YARN_BETA_SLOWrI   rI   rI   rJ   Rope   s    r   c                   @  r   )z
Keys.Splitzsplit.nozsplit.countzsplit.tensors.countN)r   r   r   LLM_KV_SPLIT_NOLLM_KV_SPLIT_COUNTLLM_KV_SPLIT_TENSORS_COUNTrI   rI   rI   rJ   Split   r   r   c                   @  $   e Zd ZdZdZdZdZdZdZdS )zKeys.SSMz{arch}.ssm.conv_kernelz{arch}.ssm.inner_sizez{arch}.ssm.state_sizez{arch}.ssm.time_step_rankz{arch}.ssm.group_countz{arch}.ssm.dt_b_c_rmsN)	r   r   r   CONV_KERNEL
INNER_SIZE
STATE_SIZETIME_STEP_RANKGROUP_COUNT
DT_B_C_RMSrI   rI   rI   rJ   SSM       r   c                   @     e Zd ZdZdS )zKeys.KDAz{arch}.kda.head_dimN)r   r   r   HEAD_DIMrI   rI   rI   rJ   KDA       r   c                   @  r   )zKeys.WKVz{arch}.wkv.head_sizeN)r   r   r   	HEAD_SIZErI   rI   rI   rJ   WKV   r   r   c                   @     e Zd ZdZdZdS )zKeys.PosNetz{arch}.posnet.embedding_lengthz{arch}.posnet.block_countNr   r   r   rN   rQ   rI   rI   rI   rJ   PosNet       r   c                   @  r   )zKeys.ConvNextz {arch}.convnext.embedding_lengthz{arch}.convnext.block_countNr   rI   rI   rI   rJ   ConvNext   r   r   c                   @  r   )zKeys.Classifierz{arch}.classifier.output_labelsN)r   r   r   OUTPUT_LABELSrI   rI   rI   rJ   
Classifier   r   r   c                   @  r   )zKeys.ShortConvz{arch}.shortconv.l_cacheN)r   r   r   L_CACHErI   rI   rI   rJ   	ShortConv   r   r   c                   @  s   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZ dZ!d Z"d!Z#d"Z$d#Z%d$S )%zKeys.Tokenizerztokenizer.ggml.modelztokenizer.ggml.preztokenizer.ggml.tokensztokenizer.ggml.token_typeztokenizer.ggml.token_type_countztokenizer.ggml.scoresztokenizer.ggml.mergesztokenizer.ggml.bos_token_idztokenizer.ggml.eos_token_idztokenizer.ggml.eot_token_idztokenizer.ggml.eom_token_idztokenizer.ggml.unknown_token_idz!tokenizer.ggml.seperator_token_idztokenizer.ggml.padding_token_idztokenizer.ggml.mask_token_idztokenizer.ggml.add_bos_tokenztokenizer.ggml.add_eos_tokenztokenizer.ggml.add_sep_tokenztokenizer.ggml.add_space_prefixz'tokenizer.ggml.remove_extra_whitespacesz#tokenizer.ggml.precompiled_charsmapztokenizer.huggingface.jsonztokenizer.rwkv.worldztokenizer.chat_templateztokenizer.chat_template.{name}ztokenizer.chat_templatesztokenizer.ggml.fim_pre_token_idztokenizer.ggml.fim_suf_token_idztokenizer.ggml.fim_mid_token_idztokenizer.ggml.fim_pad_token_idztokenizer.ggml.fim_rep_token_idztokenizer.ggml.fim_sep_token_idztokenizer.ggml.prefix_token_idztokenizer.ggml.suffix_token_idztokenizer.ggml.middle_token_idN)&r   r   r   MODELPRELIST
TOKEN_TYPETOKEN_TYPE_COUNTSCORESMERGESBOS_IDEOS_IDEOT_IDEOM_IDUNK_IDSEP_IDPAD_IDMASK_IDADD_BOSADD_EOSADD_SEP
ADD_PREFIXREMOVE_EXTRA_WSPRECOMPILED_CHARSMAPHF_JSONRWKVCHAT_TEMPLATECHAT_TEMPLATE_NCHAT_TEMPLATES
FIM_PRE_ID
FIM_SUF_ID
FIM_MID_ID
FIM_PAD_ID
FIM_REP_ID
FIM_SEP_ID	PREFIX_ID	SUFFIX_ID	MIDDLE_IDrI   rI   rI   rJ   	Tokenizer   sH    r   c                   @      e Zd ZdZdZdZdZdZdS )zKeys.Adapterzadapter.typezadapter.lora.alphazadapter.lora.task_namezadapter.lora.prompt_prefixzadapter.alora.invocation_tokensN)r   r   r   r   
LORA_ALPHALORA_TASK_NAMELORA_PROMPT_PREFIXALORA_INVOCATION_TOKENSrI   rI   rI   rJ   Adapter      r   c                   @  r   )zKeys.IMatrixzimatrix.chunk_countzimatrix.chunk_sizezimatrix.datasetsN)r   r   r   CHUNK_COUNT
CHUNK_SIZEDATASETSrI   rI   rI   rJ   IMatrix  r   r   c                   @     e Zd ZdZdZdZdZdS )z	Keys.Clipzclip.projector_typezclip.has_vision_encoderzclip.has_audio_encoderzclip.has_llava_projectorN)r   r   r   PROJECTOR_TYPEHAS_VISION_ENCODERHAS_AUDIO_ENCODERHAS_LLAVA_PROJECTORrI   rI   rI   rJ   Clip!  
    r   c                   @  st   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZG dd dZG dd dZdS )zKeys.ClipVisionzclip.vision.projector_typezclip.vision.image_sizezclip.vision.image_min_pixelszclip.vision.image_max_pixelszclip.vision.preproc_image_sizezclip.vision.patch_sizezclip.vision.embedding_lengthzclip.vision.feed_forward_lengthzclip.vision.projection_dimzclip.vision.block_countzclip.vision.image_meanzclip.vision.image_stdzclip.vision.spatial_merge_sizezclip.use_geluzclip.use_siluzclip.vision.n_wa_patternzclip.vision.wa_layer_indexeszclip.vision.is_deepstack_layerszclip.vision.window_sizec                   @  r   )zKeys.ClipVision.Attentionz clip.vision.attention.head_countz(clip.vision.attention.layer_norm_epsilonNr   r   r   r   r   rI   rI   rI   rJ   r   <  r   r   c                   @  r   )zKeys.ClipVision.Projectorz"clip.vision.projector.scale_factorN)r   r   r   SCALE_FACTORrI   rI   rI   rJ   	Projector@  r   r  N)r   r   r   r   
IMAGE_SIZEIMAGE_MIN_PIXELSIMAGE_MAX_PIXELSPREPROC_IMAGE_SIZE
PATCH_SIZErN   rS   PROJECTION_DIMrQ   
IMAGE_MEAN	IMAGE_STDSPATIAL_MERGE_SIZEUSE_GELUUSE_SILUN_WA_PATTERNWA_LAYER_INDEXESIS_DEEPSTACK_LAYERSWINDOW_SIZEr   r  rI   rI   rI   rJ   
ClipVision'  s,    r  c                   @  s@   e Zd ZdZdZdZdZdZdZG dd dZ	G d	d
 d
Z
dS )zKeys.ClipAudiozclip.audio.projector_typezclip.audio.num_mel_binszclip.audio.embedding_lengthzclip.audio.feed_forward_lengthzclip.audio.projection_dimzclip.audio.block_countc                   @  r   )zKeys.ClipAudio.Attentionzclip.audio.attention.head_countz'clip.audio.attention.layer_norm_epsilonNr   rI   rI   rI   rJ   r   K  r   r   c                   @  r   )zKeys.ClipAudio.Projectorz!clip.audio.projector.stack_factorN)r   r   r   STACK_FACTORrI   rI   rI   rJ   r  O  r   r  N)r   r   r   r   NUM_MEL_BINSrN   rS   r  rQ   r   r  rI   rI   rI   rJ   	ClipAudioC  s    r  c                   @  r   )zKeys.Diffusionzdiffusion.shift_logitsN)r   r   r   SHIFT_LOGITSrI   rI   rI   rJ   	DiffusionR  r   r  c                   @  r   )z
Keys.xIELUzxielu.alpha_pzxielu.alpha_nz
xielu.betaz	xielu.epsN)r   r   r   ALPHA_PALPHA_NBETAEPSrI   rI   rI   rJ   xIELUU  r   r  N)r   r   r   rK   r~   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r  r  r  r  rI   rI   rI   rJ   r
      s*    R4"'r
   c                   @  r   )GGUFTypemodeladapterimatrixmmprojN)r   r   r   r   ADAPTERIMATRIXMMPROJrI   rI   rI   rJ   r  a  r   r  c                   @  s  e Zd Ze Ze Ze Ze Ze Ze Z	e Z
e Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Z e Z!e Z"e Z#e Z$e Z%e Z&e Z'e Z(e Z)e Z*e Z+e Z,e Z-e Z.e Z/e Z0e Z1e Z2e Z3e Z4e Z5e Z6e Z7e Z8e Z9e Z:e Z;e Z<e Z=e Z>e Z?e Z@e ZAe ZBe ZCe ZDe ZEe ZFe ZGe ZHe ZIe ZJe ZKe ZLe ZMe ZNe ZOe ZPe ZQe ZRe ZSe ZTe ZUe ZVe ZWe ZXe ZYe ZZe Z[e Z\e Z]e Z^e Z_e Z`e Zae Zbe Zce Zde Zee Zfe Zge Zhe Zie Zje Zke Zle Zme Zne Zoe Zpe Zqe Zre Zse Zte Zue Zve Zwe Zxe Zye Zze Z{e Z|e Z}dS )
MODEL_ARCHN)~r   r   r   r   r$  LLAMALLAMA4DECIFALCON	FALCON_H1BAICHUANGROKGPT2GPTJGPTNEOXMPT	STARCODERREFACTBERTMODERN_BERT
NOMIC_BERTNOMIC_BERT_MOENEO_BERTJINA_BERT_V2JINA_BERT_V3EUROBERTBLOOMSTABLELMQWENQWEN2QWEN2MOEQWEN2VLQWEN3QWEN3MOE	QWEN3NEXTQWEN3VL
QWEN3VLMOEQWEN35	QWEN35MOEPHI2PHI3PHIMOEPLAMOPLAMO2PLAMO3	CODESHELLORION	INTERNLM2MINICPMMINICPM3GEMMAGEMMA2GEMMA3GEMMA3NGEMMA_EMBEDDING
STARCODER2RWKV6
RWKV6QWEN2RWKV7ARWKV7MAMBAMAMBA2JAMBAXVERSE	COMMAND_RCOHERE2DBRXOLMOOLMO2OLMOEOPENELMARCTICDEEPSEEK	DEEPSEEK2CHATGLMGLM4GLM4_MOEGLM_DSABITNETT5	T5ENCODERJAISJAIS2NEMOTRON
NEMOTRON_HNEMOTRON_H_MOEEXAONEEXAONE4
EXAONE_MOEGRANITEGRANITE_MOEGRANITE_HYBRID	CHAMELEONWAVTOKENIZER_DECPLM
BAILINGMOEBAILINGMOE2DOTS1ARCEEAFMOEERNIE4_5ERNIE4_5_MOEHUNYUAN_MOEHUNYUAN_DENSESMOLLM3GPT_OSSLFM2LFM2MOEDREAMSMALLTHINKERLLADA	LLADA_MOESEED_OSSGROVEMOEAPERTUSCOGVLM	MINIMAXM2RND1PANGU_EMBEDMISTRAL3	PADDLEOCRMIMO2STEP35LLAMA_EMBED	MAINCODERKIMI_LINEARrI   rI   rI   rJ   r%  h  s    
r%  c                   @  sH   e Zd Ze Ze Ze Ze Ze Ze Z	e Z
e Ze Ze ZdS )VISION_PROJECTOR_TYPEN)r   r   r   r   MLPLDPLDPV2	RESAMPLERGLM_EDGEMERGERrV  rU  rD  r  rI   rI   rI   rJ   r    s    
r  c                   @  sl  e Zd Ze Ze Ze Ze Ze Ze Z	e Z
e Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Z e Z!e Z"e Z#e Z$e Z%e Z&e Z'e Z(e Z)e Z*e Z+e Z,e Z-e Z.e Z/e Z0e Z1e Z2e Z3e Z4e Z5e Z6e Z7e Z8e Z9e Z:e Z;e Z<e Z=e Z>e Z?e Z@e ZAe ZBe ZCe ZDe ZEe ZFe ZGe ZHe ZIe ZJe ZKe ZLe ZMe ZNe ZOe ZPe ZQe ZRe ZSe ZTe ZUe ZVe ZWe ZXe ZYe ZZe Z[e Z\e Z]e Z^e Z_e Z`e Zae Zbe Zce Zde Zee Zfe Zge Zhe Zie Zje Zke Zle Zme Zne Zoe Zpe Zqe Zre Zse Zte Zue Zve Zwe Zxe Zye Zze Z{e Z|e Z}e Z~e Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Z e Ze Ze Ze Ze Ze Ze Ze Ze Z	e Z
e Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Ze Z e Z!e Z"e Z#e Z$e Z%e Z&e Z'e Z(e Z)e Z*e Z+e Z,e Z-e Z.dS )MODEL_TENSORN(/  r   r   r   r   
TOKEN_EMBDTOKEN_EMBD_NORMTOKEN_TYPESPOS_EMBDOUTPUTDENSE_2_OUTDENSE_3_OUTOUTPUT_NORM
ROPE_FREQSROPE_FACTORS_LONGROPE_FACTORS_SHORTATTN_QATTN_KATTN_VATTN_QKVATTN_OUT	ATTN_NORMATTN_NORM_2ATTN_OUT_NORMATTN_POST_NORMATTN_ROT_EMBD
ATTN_SINKS	ATTN_GATEFFN_GATE_INPFFN_GATE_INP_SHEXPFFN_NORMFFN_PRE_NORMFFN_POST_NORMFFN_GATEFFN_DOWNFFN_UPFFN_ACTFFN_NORM_EXPFFN_GATE_EXPFFN_DOWN_EXP
FFN_UP_EXPFFN_GATE_UP_EXPFFN_GATE_SHEXPFFN_DOWN_SHEXPFFN_UP_SHEXPFFN_GATE_CHEXPFFN_DOWN_CHEXPFFN_UP_CHEXPFFN_EXP_PROBS_BATTN_Q_NORMATTN_K_NORMLAYER_OUT_NORMPER_LAYER_TOKEN_EMBDPER_LAYER_MODEL_PROJPER_LAYER_INP_GATEPER_LAYER_PROJPER_LAYER_PROJ_NORMPER_LAYER_POST_NORM
ALTUP_PROJALTUP_UNEMBD_PROJALTUP_CORRECT_COEFALTUP_CORRECT_SCALEALTUP_PREDICT_COEFALTUP_ROUTERALTUP_ROUTER_NORMLAUREL_LLAUREL_RLAUREL_POST_NORMSSM_IN
SSM_CONV1DSSM_XSSM_DTSSM_DT_NORMSSM_A
SSM_B_NORM
SSM_C_NORMSSM_DSSM_NORMSSM_OUT	SSM_ALPHASSM_BETA_ALPHASSM_CONV1D_QSSM_CONV1D_KSSM_CONV1D_VSSM_F_ASSM_F_BSSM_BETASSM_G_ASSM_G_BTIME_MIX_W0TIME_MIX_W1TIME_MIX_W2TIME_MIX_A0TIME_MIX_A1TIME_MIX_A2TIME_MIX_V0TIME_MIX_V1TIME_MIX_V2TIME_MIX_G1TIME_MIX_G2TIME_MIX_K_KTIME_MIX_K_ATIME_MIX_R_KTIME_MIX_LERP_XTIME_MIX_LERP_KTIME_MIX_LERP_VTIME_MIX_LERP_RTIME_MIX_LERP_GTIME_MIX_LERP_FUSEDTIME_MIX_LERP_WTIME_MIX_FIRSTTIME_MIX_DECAYTIME_MIX_DECAY_W1TIME_MIX_DECAY_W2TIME_MIX_KEYTIME_MIX_VALUETIME_MIX_RECEPTANCETIME_MIX_GATETIME_MIX_LNTIME_MIX_OUTPUTCHANNEL_MIX_LERP_KCHANNEL_MIX_LERP_RCHANNEL_MIX_KEYCHANNEL_MIX_RECEPTANCECHANNEL_MIX_VALUEATTN_Q_AATTN_Q_BATTN_KV_A_MQA	ATTN_KV_BATTN_K_BATTN_V_BATTN_Q_A_NORMATTN_KV_A_NORMFFN_SUB_NORMATTN_SUB_NORMDEC_ATTN_NORM
DEC_ATTN_Q
DEC_ATTN_K
DEC_ATTN_VDEC_ATTN_OUTDEC_ATTN_REL_BDEC_CROSS_ATTN_NORMDEC_CROSS_ATTN_QDEC_CROSS_ATTN_KDEC_CROSS_ATTN_VDEC_CROSS_ATTN_OUTDEC_CROSS_ATTN_REL_BDEC_FFN_NORMDEC_FFN_GATEDEC_FFN_DOWN
DEC_FFN_UPDEC_OUTPUT_NORMENC_ATTN_NORM
ENC_ATTN_Q
ENC_ATTN_K
ENC_ATTN_VENC_ATTN_OUTENC_ATTN_REL_BENC_FFN_NORMENC_FFN_GATEENC_FFN_DOWN
ENC_FFN_UPENC_OUTPUT_NORMCLSCLS_OUTCLS_NORMCONV1DCONVNEXT_DWCONVNEXT_NORMCONVNEXT_PW1CONVNEXT_PW2CONVNEXT_GAMMAPOSNET_CONV1POSNET_CONV2POSNET_NORMPOSNET_NORM1POSNET_NORM2POSNET_ATTN_NORMPOSNET_ATTN_QPOSNET_ATTN_KPOSNET_ATTN_VPOSNET_ATTN_OUTSHORTCONV_CONVSHORTCONV_INPROJSHORTCONV_OUTPROJVISEXP_ATTN_QKVVISEXP_ATTN_OUTVISEXP_GATEVISEXP_DOWN	VISEXP_UPINDEXER_K_NORMINDEXER_PROJINDEXER_ATTN_KINDEXER_ATTN_Q_BV_MMPROJV_MMPROJ_FCV_MMPROJ_MLPV_MMPROJ_PEGV_ENC_EMBD_CLSV_ENC_EMBD_PATCHV_ENC_EMBD_NORMV_ENC_EMBD_POSV_ENC_INPUT_NORMV_ENC_ATTN_QKVV_ENC_ATTN_QV_ENC_ATTN_Q_NORMV_ENC_ATTN_KV_ENC_ATTN_K_NORMV_ENC_ATTN_VV_ENC_ATTN_OV_ENC_ATTN_O_NORMV_ENC_POST_ATTN_NORMV_ENC_FFN_UPV_ENC_FFN_GATEV_ENC_FFN_DOWNV_LAYER_SCALE_1V_LAYER_SCALE_2
V_PRE_NORMV_POST_NORMV_MM_POST_NORMV_MM_INP_NORMV_MM_INP_PROJV_MM_SOFT_EMB_NORMV_MM_EMBEDDINGV_MM_HARD_EMB_NORMV_ENC_CONV_STEMV_ENC_CONV_STEM_NORMV_ENC_MSFA_EXPV_ENC_MSFA_EXP_NORMV_ENC_MSFA_PROJV_ENC_MSFA_PROJ_NORMV_ENC_MSFA_NORMV_RESMPL_POS_EMBD_KV_RESMPL_ATTN_QV_RESMPL_ATTN_KV_RESMPL_ATTN_VV_RESMPL_ATTN_OUTV_RESMPL_KVV_RESMPL_KV_NORMV_RESMPL_POST_NORMV_RESMPL_Q_NORMV_RESMPL_PROJV_RESMPL_QUERYV_TOK_EMBD_IMG_BREAKV_MM_PATCH_MERGER	V_DS_NORMV_DS_FC1V_DS_FC2V_MM_POST_FC_NORMV_MM_UP	V_MM_DOWN	V_MM_GATE	V_TOK_BOI	V_TOK_EOIA_ENC_EMBD_POSA_ENC_EMBD_NORMA_ENC_EMBD_TO_LOGITSA_ENC_CONV1DA_ENC_CONV1D_NORM
A_PRE_NORMA_POST_NORMA_ENC_LAYER_PRE_NORMA_ENC_ATTN_QA_ENC_ATTN_KA_ENC_ATTN_VA_ENC_PER_DIM_SCALEA_ENC_INPUT_NORMA_ENC_OUTPUTA_ENC_OUTPUT_NORMA_ENC_FFN_UPA_ENC_FFN_NORMA_ENC_FFN_POST_NORMA_ENC_FFN_SCALEA_ENC_FFN_GATEA_ENC_FFN_DOWNA_ENC_FFN_UP_1A_ENC_FFN_NORM_1A_ENC_FFN_POST_NORM_1A_ENC_FFN_SCALE_1A_ENC_FFN_GATE_1A_ENC_FFN_DOWN_1A_MMPROJA_MMPROJ_FCA_MM_NORM_PREA_MM_NORM_MIDA_MM_EMBEDDINGA_MM_HARD_EMB_NORMA_MM_SOFT_EMB_NORMA_MM_INP_PROJNEXTN_EH_PROJNEXTN_EMBED_TOKENSNEXTN_ENORMNEXTN_HNORMNEXTN_SHARED_HEAD_HEADNEXTN_SHARED_HEAD_NORMA_ENC_NORM_CONVA_ENC_LINEAR_POSA_ENC_POS_BIAS_UA_ENC_POS_BIAS_V	A_ENC_OUTA_ENC_CONV_DWA_ENC_CONV_NORMA_ENC_CONV_PW1A_ENC_CONV_PW2rI   rI   rI   rJ   r    sX   r  clipllamallama4decifalconbaichuangrokgpt2gptjgptneoxmpt	starcoderrefactbertzmodern-bertz
nomic-bertznomic-bert-moezneo-bertzjina-bert-v2zjina-bert-v3eurobertbloomstablelmqwenqwen2qwen2moeqwen2vlqwen3qwen3moe	qwen3nextqwen3vl
qwen3vlmoeqwen35	qwen35moephi2phi3phimoeplamoplamo2plamo3	codeshellorion	internlm2minicpmminicpm3gemmagemma2gemma3gemma3nzgemma-embedding
starcoder2rwkv6
rwkv6qwen2rwkv7arwkv7mambamamba2jambaxversez	command-rcohere2dbrxolmoolmo2olmoeopenelmarcticdeepseek	deepseek2chatglmglm4glm4moezglm-dsabitnett5	t5encoderjaisjais2nemotron
nemotron_hnemotron_h_moeexaoneexaone4z
exaone-moegranite
granitemoegranitehybrid	chameleonzwavtokenizer-decplm
bailingmoebailingmoe2dots1arceeafmoeernie4_5zernie4_5-moez	falcon-h1zhunyuan-moezhunyuan-densesmollm3zgpt-osslfm2lfm2moedreamsmallthinkerlladaz	llada-moeseed_ossgrovemoeapertusz
minimax-m2cogvlmrnd1zpangu-embeddedmistral3	paddleocrmimo2step35zllama-embed	maincoderzkimi-linearzdict[MODEL_ARCH, str]MODEL_ARCH_NAMESmlpldpldpv2	resamplerr  qwen2vl_mergerz dict[VISION_PROJECTOR_TYPE, str]VISION_PROJECTOR_TYPE_NAMES
token_embdtoken_embd_normtoken_typesposition_embdoutput_normoutputdense_2dense_3
rope_freqsrope_factors_longrope_factors_shortzblk.{bid}.attn_normzblk.{bid}.attn_norm_2zblk.{bid}.attn_qkvzblk.{bid}.attn_qzblk.{bid}.attn_kzblk.{bid}.attn_vzblk.{bid}.attn_outputzblk.{bid}.attn_rot_embdzblk.{bid}.attn_sinkszblk.{bid}.attn_gatezblk.{bid}.attn_q_normzblk.{bid}.attn_k_normzblk.{bid}.attn_output_normzblk.{bid}.post_attention_normzblk.{bid}.ffn_gate_inpzblk.{bid}.ffn_gate_inp_shexpzblk.{bid}.ffn_normzblk.{bid}.post_ffw_normzblk.{bid}.ffn_gatezblk.{bid}.ffn_downzblk.{bid}.ffn_upzblk.{bid}.ffn_gate_shexpzblk.{bid}.ffn_down_shexpzblk.{bid}.ffn_up_shexpzblk.{bid}.ffn_gate_chexpszblk.{bid}.ffn_down_chexpszblk.{bid}.ffn_up_chexpszblk.{bid}.ffnzblk.{bid}.ffn_norm_expszblk.{bid}.ffn_gate_expszblk.{bid}.ffn_down_expszblk.{bid}.ffn_up_expszblk.{bid}.ffn_gate_up_expszblk.{bid}.exp_probs_bzblk.{bid}.layer_output_normper_layer_token_embdper_layer_model_projper_layer_proj_normaltup_unembd_proj
altup_projzblk.{bid}.inp_gatezblk.{bid}.projzblk.{bid}.post_normzblk.{bid}.altup_correct_coefzblk.{bid}.altup_correct_scalezblk.{bid}.altup_predict_coefzblk.{bid}.altup_routerzblk.{bid}.altup_router_normzblk.{bid}.laurel_lzblk.{bid}.laurel_rzblk.{bid}.laurel_post_normzblk.{bid}.ssm_inzblk.{bid}.ssm_conv1dzblk.{bid}.ssm_xzblk.{bid}.ssm_dtzblk.{bid}.ssm_dt_normzblk.{bid}.ssm_azblk.{bid}.ssm_b_normzblk.{bid}.ssm_c_normzblk.{bid}.ssm_dzblk.{bid}.ssm_normzblk.{bid}.ssm_outzblk.{bid}.ssm_alphazblk.{bid}.ssm_bazblk.{bid}.ssm_conv1d_qzblk.{bid}.ssm_conv1d_kzblk.{bid}.ssm_conv1d_vzblk.{bid}.ssm_f_azblk.{bid}.ssm_f_bzblk.{bid}.ssm_betazblk.{bid}.ssm_g_azblk.{bid}.ssm_g_bzblk.{bid}.time_mix_w0zblk.{bid}.time_mix_w1zblk.{bid}.time_mix_w2zblk.{bid}.time_mix_a0zblk.{bid}.time_mix_a1zblk.{bid}.time_mix_a2zblk.{bid}.time_mix_v0zblk.{bid}.time_mix_v1zblk.{bid}.time_mix_v2zblk.{bid}.time_mix_g1zblk.{bid}.time_mix_g2zblk.{bid}.time_mix_k_kzblk.{bid}.time_mix_k_azblk.{bid}.time_mix_r_kzblk.{bid}.time_mix_lerp_xzblk.{bid}.time_mix_lerp_kzblk.{bid}.time_mix_lerp_vzblk.{bid}.time_mix_lerp_rzblk.{bid}.time_mix_lerp_gzblk.{bid}.time_mix_lerp_fusedzblk.{bid}.time_mix_lerp_wzblk.{bid}.time_mix_firstzblk.{bid}.time_mix_decayzblk.{bid}.time_mix_decay_w1zblk.{bid}.time_mix_decay_w2zblk.{bid}.time_mix_keyzblk.{bid}.time_mix_valuezblk.{bid}.time_mix_receptancezblk.{bid}.time_mix_gatezblk.{bid}.time_mix_lnzblk.{bid}.time_mix_outputzblk.{bid}.channel_mix_lerp_kzblk.{bid}.channel_mix_lerp_rzblk.{bid}.channel_mix_keyz blk.{bid}.channel_mix_receptancezblk.{bid}.channel_mix_valuezblk.{bid}.attn_q_azblk.{bid}.attn_q_bzblk.{bid}.attn_kv_a_mqazblk.{bid}.attn_kv_bzblk.{bid}.attn_k_bzblk.{bid}.attn_v_bzblk.{bid}.attn_q_a_normzblk.{bid}.attn_kv_a_normzblk.{bid}.attn_sub_normzblk.{bid}.ffn_sub_normzdec.blk.{bid}.attn_normzdec.blk.{bid}.attn_qzdec.blk.{bid}.attn_kzdec.blk.{bid}.attn_vzdec.blk.{bid}.attn_ozdec.blk.{bid}.attn_rel_bzdec.blk.{bid}.cross_attn_normzdec.blk.{bid}.cross_attn_qzdec.blk.{bid}.cross_attn_kzdec.blk.{bid}.cross_attn_vzdec.blk.{bid}.cross_attn_ozdec.blk.{bid}.cross_attn_rel_bzdec.blk.{bid}.ffn_normzdec.blk.{bid}.ffn_gatezdec.blk.{bid}.ffn_downzdec.blk.{bid}.ffn_upzdec.output_normzenc.blk.{bid}.attn_normzenc.blk.{bid}.attn_qzenc.blk.{bid}.attn_kzenc.blk.{bid}.attn_vzenc.blk.{bid}.attn_ozenc.blk.{bid}.attn_rel_bzenc.blk.{bid}.ffn_normzenc.blk.{bid}.ffn_gatezenc.blk.{bid}.ffn_downzenc.blk.{bid}.ffn_upzenc.output_normclsz
cls.outputzcls.normconv1dzconvnext.{bid}.dwzconvnext.{bid}.normzconvnext.{bid}.pw1zconvnext.{bid}.pw2zconvnext.{bid}.gammazposnet.{bid}.conv1zposnet.{bid}.conv2zposnet.{bid}.normzposnet.{bid}.norm1zposnet.{bid}.norm2zposnet.{bid}.attn_normzposnet.{bid}.attn_qzposnet.{bid}.attn_kzposnet.{bid}.attn_vzposnet.{bid}.attn_outputzblk.{bid}.shortconv.convzblk.{bid}.shortconv.in_projzblk.{bid}.shortconv.out_projzblk.{bid}.vis_attn_qkvzblk.{bid}.vis_attn_outputzblk.{bid}.vis_gatezblk.{bid}.vis_downzblk.{bid}.vis_upzblk.{bid}.indexer.k_normzblk.{bid}.indexer.projzblk.{bid}.indexer.attn_kzblk.{bid}.indexer.attn_q_bzmm.{bid}zmm.model.fczmm.model.mlp.{bid}zmm.model.peg.{bid}zv.class_embdzv.patch_embdzv.norm_embdzv.position_embdzv.blk.{bid}.attn_qkvzv.blk.{bid}.attn_qzv.blk.{bid}.attn_q_normzv.blk.{bid}.attn_kzv.blk.{bid}.attn_k_normzv.blk.{bid}.attn_vzv.blk.{bid}.ln1zv.blk.{bid}.attn_outzv.blk.{bid}.attn_out_normzv.blk.{bid}.ln2zv.blk.{bid}.ffn_upzv.blk.{bid}.ffn_gatezv.blk.{bid}.ffn_downzv.blk.{bid}.ls1zv.blk.{bid}.ls2zv.pre_lnz	v.post_lnzmm.post_normzmm.input_projectionzmm.input_normzmm.soft_emb_normzmm.embeddingzmm.hard_emb_normzv.conv_stem.convzv.conv_stem.bnzv.msfa.ffn.pw_exp.convzv.msfa.ffn.pw_exp.bnzv.msfa.ffn.pw_proj.convzv.msfa.ffn.pw_proj.bnzv.msfa.normzresampler.pos_embd_kzresampler.attn.qzresampler.attn.kzresampler.attn.vzresampler.attn.outzresampler.kvzresampler.ln_kvzresampler.ln_postzresampler.ln_qzresampler.projzresampler.queryzv.token_embd.img_breakzmm.patch_mergerzv.deepstack.{bid}.normzv.deepstack.{bid}.fc1zv.deepstack.{bid}.fc2zmm.post_fc_normzmm.upzmm.downzmm.gatezv.boizv.eoiza.position_embdza.position_embd_normza.embd_to_logitsza.conv1d.{bid}za.conv1d.{bid}.normza.pre_lnz	a.post_lnza.blk.{bid}.layer_pre_normza.blk.{bid}.attn_qza.blk.{bid}.attn_kza.blk.{bid}.attn_vza.blk.{bid}.per_dim_scaleza.blk.{bid}.ln1za.blk.{bid}.attn_outza.blk.{bid}.ln2za.blk.{bid}.ffn_normza.blk.{bid}.ffn_post_normza.blk.{bid}.ffn_scaleza.blk.{bid}.ffn_upza.blk.{bid}.ffn_gateza.blk.{bid}.ffn_downza.blk.{bid}.ffn_norm_1za.blk.{bid}.ffn_post_norm_1za.blk.{bid}.ffn_scale_1za.blk.{bid}.ffn_up_1za.blk.{bid}.ffn_gate_1za.blk.{bid}.ffn_down_1zmm.a.mlp.{bid}zmm.a.fczmm.a.norm_prezmm.a.norm_midzmm.a.input_projectionzmm.a.soft_emb_normzmm.a.embeddingzmm.a.hard_emb_normza.blk.{bid}.norm_convza.blk.{bid}.linear_posza.blk.{bid}.pos_bias_uza.blk.{bid}.pos_bias_vza.pre_encode.outza.blk.{bid}.conv_dwza.blk.{bid}.conv_normza.blk.{bid}.conv_pw1za.blk.{bid}.conv_pw2zblk.{bid}.nextn.eh_projzblk.{bid}.nextn.embed_tokenszblk.{bid}.nextn.enormzblk.{bid}.nextn.hnormz blk.{bid}.nextn.shared_head_headz blk.{bid}.nextn.shared_head_normzdict[MODEL_TENSOR, str]TENSOR_NAMESz$dict[MODEL_ARCH, list[MODEL_TENSOR]]MODEL_TENSORSMODEL_TENSOR_SKIPc                   @  r   )	TokenType   r	   r            N)	r   r   r   NORMALUNKNOWNCONTROLUSER_DEFINEDUNUSEDBYTErI   rI   rI   rJ   rS    r   rS  c                   @  r   )RopeScalingTypenonelinearyarnlongropeN)r   r   r   NONELINEARYARNLONGROPErI   rI   rI   rJ   r^    r   r^  c                   @  r   )PoolingTyper   rT  r	   r   rU  N)r   r   r   rc  MEANrE  LASTRANKrI   rI   rI   rJ   rg    r   rg  c                   @  s   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZ dZ!d Z"d!S )"GGMLQuantizationTyper   rT  r	   r   rW        	   
                                                               "   #   '   N)#r   r   r   F32F16Q4_0Q4_1Q5_0Q5_1Q8_0Q8_1Q2_KQ3_KQ4_KQ5_KQ6_KQ8_KIQ2_XXSIQ2_XSIQ3_XXSIQ1_SIQ4_NLIQ3_SIQ2_SIQ4_XSI8I16I32I64F64IQ1_MBF16TQ1_0TQ2_0MXFP4rI   rI   rI   rJ   rk    sB    rk  c                   @  r   )ExpertGatingFuncTyperT  r	   N)r   r   r   SOFTMAXSIGMOIDrI   rI   rI   rJ   r    r   r  c                   @  s   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZ dZ!d Z"d!Z#d"S )#LlamaFileTyper   rT  r	   r   rl  rm  rn  ro  rp  rq  rr  rs  rt  ru  rv  rw  rx  ry  rz  r{  r|  r}  r~  r  r  r  r  r     r   $   %   i   N)$r   r   r   ALL_F32
MOSTLY_F16MOSTLY_Q4_0MOSTLY_Q4_1MOSTLY_Q8_0MOSTLY_Q5_0MOSTLY_Q5_1MOSTLY_Q2_KMOSTLY_Q3_K_SMOSTLY_Q3_K_MMOSTLY_Q3_K_LMOSTLY_Q4_K_SMOSTLY_Q4_K_MMOSTLY_Q5_K_SMOSTLY_Q5_K_MMOSTLY_Q6_KMOSTLY_IQ2_XXSMOSTLY_IQ2_XSMOSTLY_Q2_K_SMOSTLY_IQ3_XSMOSTLY_IQ3_XXSMOSTLY_IQ1_SMOSTLY_IQ4_NLMOSTLY_IQ3_SMOSTLY_IQ3_MMOSTLY_IQ2_SMOSTLY_IQ2_MMOSTLY_IQ4_XSMOSTLY_IQ1_MMOSTLY_BF16MOSTLY_TQ1_0MOSTLY_TQ2_0GUESSEDrI   rI   rI   rJ   r    sD    r  c                   @  r   )
GGUFEndianr   rT  N)r   r   r   LITTLEBIGrI   rI   rI   rJ   r    r   r  c                   @  sN   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZedddZdS )GGUFValueTyper   rT  r	   r   rU  rV  rW  rl  rm  rn  ro  rp  rq  valr   returnc                 C  sh   t | tttfrtjS t | trtjS t | trtj	S t | t
r#tjS t | tr+tjS tdt|  )NzUnknown type: )
isinstancestrbytes	bytearrayr  STRINGlistARRAYfloatFLOAT32boolBOOLintINT32
ValueErrortype)r  rI   rI   rJ   get_type  s   



zGGUFValueType.get_typeN)r  r   r  r  )r   r   r   UINT8INT8UINT16INT16UINT32r  r  r  r  r  UINT64INT64FLOAT64staticmethodr  rI   rI   rI   rJ   r    s     r  c                   @  sx   e Zd ZdZdZdZdZdZdZdZ	dZ
d	Zd
ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdZdS )VisionProjectorTyper  gemma3nvgemma3naidefics3pixtralr  r<  zqwen2.5vl_mergerqwen3vl_mergerultravoxinternvlqwen2aglmazqwen2.5ovoxtralr(  kimivlr3  kimik25
lightonocrr0  	janus_prolfm2amusicflamingoglm4vyoutuvlnemotron_v2_vlN)r   r   r   rU  GEMMA3NVGEMMA3NAIDEFICS3PIXTRALr'  r@  QWEN25VLrD  ULTRAVOXINTERNVLQWEN2AGLMAQWEN25OVOXTRALr  KIMIVLr  KIMIK25
LIGHTONOCRr  	JANUS_PROLFM2AMUSIC_FLAMINGOGLM4VYOUTUVLNEMOTRON_V2_VLrI   rI   rI   rJ   r    s8    r     )rT  rU  )rT  r	   )r   rw  )r   ry  )r   r{  )r   r}  )r   r  )r   (   rU  ru  rm  rq  @   )rT  rT  )rT  rm  )r  6   )r  B   )r   rv  z+dict[GGMLQuantizationType, tuple[int, int]]GGML_QUANT_SIZESN(n  
__future__r   enumr   r   r   typingr   
GGUF_MAGICGGUF_VERSIONGGUF_DEFAULT_ALIGNMENTGGML_QUANT_VERSIONr
   r  r%  r  r  r$  r&  r'  r(  r)  r+  r,  r-  r.  r/  r0  r1  r2  r3  r4  r5  r6  r7  r8  r9  r:  r;  r<  r=  r>  r?  r@  rA  rB  rC  rD  rE  rF  rG  rH  rI  rJ  rK  rL  rM  rN  rO  rP  rQ  rR  rS  rT  rU  rV  rW  rX  rY  rZ  r[  r\  r]  r^  r_  r`  ra  rb  rc  rd  re  rf  rg  rh  ri  rj  rk  rl  rm  rn  ro  rp  rq  rr  rs  rt  ru  rv  rw  rx  ry  rz  r{  r|  r}  r~  r  r  r  r  r  r  r  r  r*  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r7  __annotations__r  r  r  r  r  r  r=  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r   r  r  r  r  r  r  r  r  r	  r
  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r   r!  r"  r#  r$  r%  r&  r(  r'  r)  r*  r+  r,  r-  r.  r/  r0  r1  r2  r3  r4  r5  r6  r7  r8  r9  r:  r;  r<  r=  r>  r?  r@  rA  rB  rC  rD  rE  rF  rG  rH  rI  rJ  rK  rL  rM  rN  rO  rP  rQ  rR  rS  rT  rU  rV  rW  rX  rY  rZ  r[  r\  r]  r^  r_  r`  ra  rb  rc  rd  re  rf  rg  rh  ri  rj  rk  rm  rn  ro  rp  rq  rr  rl  rs  rt  ru  rv  rw  rx  ry  rz  r{  r|  r}  r  r~  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  rP  rQ  rR  rS  r^  rg  rk  r  r  r  r  r  QK_Kr  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  rK   r   KEY_GENERAL_ARCHITECTUREr    KEY_GENERAL_QUANTIZATION_VERSIONr   KEY_GENERAL_ALIGNMENTr   KEY_GENERAL_NAMEr    KEY_GENERAL_AUTHORr+   KEY_GENERAL_URLr%   KEY_GENERAL_DESCRIPTIONr(   KEY_GENERAL_LICENSEr/   KEY_GENERAL_SOURCE_URLr   KEY_GENERAL_FILE_TYPEr~   rL   KEY_VOCAB_SIZErM   KEY_CONTEXT_LENGTHrN   KEY_EMBEDDING_LENGTHrQ   KEY_BLOCK_COUNTrS   KEY_FEED_FORWARD_LENGTHrW   KEY_USE_PARALLEL_RESIDUALrX   KEY_TENSOR_DATA_LAYOUTr   r   KEY_ATTENTION_HEAD_COUNTr   KEY_ATTENTION_HEAD_COUNT_KVr   KEY_ATTENTION_MAX_ALIBI_BIASr   KEY_ATTENTION_CLAMP_KQVr   KEY_ATTENTION_LAYERNORM_EPSr   KEY_ATTENTION_LAYERNORM_RMS_EPSr   r   KEY_ROPE_DIMENSION_COUNTr   KEY_ROPE_FREQ_BASEr   KEY_ROPE_SCALING_TYPEr   KEY_ROPE_SCALING_FACTORr   KEY_ROPE_SCALING_ORIG_CTX_LENr   KEY_ROPE_SCALING_FINETUNEDr   r   KEY_SSM_CONV_KERNELr   KEY_SSM_INNER_SIZEr   KEY_SSM_STATE_SIZEr   KEY_SSM_TIME_STEP_RANKr   KEY_SSM_GROUP_COUNTr   KEY_SSM_DT_B_C_RMSr   r   KEY_KDA_HEAD_DIMr   r   KEY_TOKENIZER_MODELr   KEY_TOKENIZER_PREr   KEY_TOKENIZER_LISTr   KEY_TOKENIZER_TOKEN_TYPEr   KEY_TOKENIZER_SCORESr   KEY_TOKENIZER_MERGESr   KEY_TOKENIZER_BOS_IDr   KEY_TOKENIZER_EOS_IDr   KEY_TOKENIZER_EOT_IDr   KEY_TOKENIZER_EOM_IDr   KEY_TOKENIZER_UNK_IDr   KEY_TOKENIZER_SEP_IDr   KEY_TOKENIZER_PAD_IDr   KEY_TOKENIZER_MASK_IDr   KEY_TOKENIZER_HF_JSONr   KEY_TOKENIZER_RWKVr   KEY_TOKENIZER_FIM_PRE_IDr   KEY_TOKENIZER_FIM_SUF_IDr   KEY_TOKENIZER_FIM_MID_IDr   KEY_TOKENIZER_FIM_PAD_IDr   KEY_TOKENIZER_FIM_REP_IDr   KEY_TOKENIZER_FIM_SEP_IDr   KEY_TOKENIZER_PREFIX_IDr   KEY_TOKENIZER_SUFFIX_IDr   KEY_TOKENIZER_MIDDLE_IDrI   rI   rI   rJ   <module>   s0     O}  4	
 !"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwx~
	
 !"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijkl
m
n
o
p
q
r
s
t
u
v
w
x
y
z
{
|
}
~
 
  
  
  
  
  
  
  
  
	  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
   
!  
"  
#  
$  
%  
&  
'  
(  
)  
*  
+  
,  
-  
.  
/  
0  
1  
2  
3  
4  
5  
6  
7  
8  
9  
:  
;  
<  
=  
>  
@  
A  
B  
C  
D  
E  
F  
G  
H  
I  
J  
K  
L  
M  
N  
O  
P  
Q  
R  
S  
T  
U  
V  
W  
X  
Y  
Z  
[  
\  
]  
^  
_  
`  
a  
b  
c  
d  
e  
f  
g  
h  
i  
j  
k  
l  
m  
n  
o  
p  
q  
r  
s  
t  
u  
v  
w  
x  
y  
z  
{  
~  
   
    
    
    
    
    
    
    
    
	    

    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
     
!    
#    
$    
%    
&    
'    
(








    5	
 !"#$%&'()*+,-./0123456789:;<>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghil     ,  C  N  Y  i  u           $    4    @    R    ^    k    z                 !      2      @      O      ^      m      {                        1        P        a        r                   +          :          X          g          s                                   $            1            A            P            f            y                                         (	
 !              K              _              n                               ,                K                j                w                                   !                  1                  ?                  K                  X                  c                  s                                                                                5                    L                    k                                                                                       7                      V	
 "#$%&'                                                                     /                        >                        J                        W                        f                        y                                                   %                          6                          V                          d                          v                                                       %                            ;                            N                            k                                                                                         .                              <                              J                              l                                                                                               "                                2                                F                                ]                                o                                                                                                     '                                  9                                  J                                  [                                  i                                  }                                                                       ,	
 !"#$%&'                                    ~>	#
+ *	.
".2$&((8((.'