o
    8wÖi  ã                   @   sÀ  d Z ddlmZmZmZmZmZmZmZm	Z	 ddl
mZmZ ddlmZmZmZmZmZ ddlmZ ddlmZ ddlmZmZmZmZmZmZmZmZm Z  ddl!m"Z"m#Z#m$Z$m%Z%m&Z&m'Z'm(Z(m)Z)m*Z*m+Z+m,Z,m-Z-m.Z.m/Z/m0Z0m1Z1m2Z2m3Z3m4Z4m5Z5m6Z6m7Z7m8Z8m9Z9m:Z:m;Z;m<Z<m=Z=m>Z>m?Z?m@Z@mAZAmBZBmCZCmDZDmEZEmFZFmGZGmHZHmIZImJZJmKZKmLZLmMZMmNZNmOZOmPZPmQZQmRZRmSZSmTZTmUZUmVZVmWZWmXZX dd	lYmZZZm[Z[m\Z\m]Z]m^Z^m_Z_m`Z`maZambZbmcZcmdZd g d
¢ZedS )z0.16.0é   )Ú MODEL_TYPE_TO_PEFT_MODEL_MAPPINGÚAutoPeftModelÚAutoPeftModelForCausalLMÚ!AutoPeftModelForFeatureExtractionÚ!AutoPeftModelForQuestionAnsweringÚAutoPeftModelForSeq2SeqLMÚ&AutoPeftModelForSequenceClassificationÚ#AutoPeftModelForTokenClassification)Ú
PeftConfigÚPromptLearningConfig)ÚPEFT_TYPE_TO_CONFIG_MAPPINGÚ PEFT_TYPE_TO_MIXED_MODEL_MAPPINGÚPEFT_TYPE_TO_TUNER_MAPPINGÚget_peft_configÚinject_adapter_in_model)Úget_peft_model)ÚPeftMixedModel)	Ú	PeftModelÚPeftModelForCausalLMÚPeftModelForFeatureExtractionÚPeftModelForQuestionAnsweringÚPeftModelForSeq2SeqLMÚ"PeftModelForSequenceClassificationÚPeftModelForTokenClassificationÚget_layer_statusÚget_model_status)7ÚAdaLoraConfigÚAdaLoraModelÚAdaptionPromptConfigÚAdaptionPromptModelÚ
BOFTConfigÚ	BOFTModelÚ
BoneConfigÚ	BoneModelÚ	C3AConfigÚC3AModelÚ	CPTConfigÚCPTEmbeddingÚ	EvaConfigÚFourierFTConfigÚFourierFTModelÚ	HRAConfigÚHRAModelÚ	IA3ConfigÚIA3ModelÚLNTuningConfigÚLNTuningModelÚLoftQConfigÚ
LoHaConfigÚ	LoHaModelÚ
LoKrConfigÚ	LoKrModelÚ
LoraConfigÚ	LoraModelÚLoraRuntimeConfigÚMultitaskPromptTuningConfigÚMultitaskPromptTuningInitÚ	OFTConfigÚOFTModelÚ
PolyConfigÚ	PolyModelÚPrefixEncoderÚPrefixTuningConfigÚPromptEmbeddingÚPromptEncoderÚPromptEncoderConfigÚ#PromptEncoderReparameterizationTypeÚPromptTuningConfigÚPromptTuningInitÚRandLoraConfigÚRandLoraModelÚTrainableTokensConfigÚTrainableTokensModelÚVBLoRAConfigÚVBLoRAModelÚ
VeraConfigÚ	VeraModelÚXLoraConfigÚ
XLoraModelÚget_eva_state_dictÚinitialize_lora_eva_weights)Ú8TRANSFORMERS_MODELS_TO_PREFIX_TUNING_POSTPROCESS_MAPPINGÚPeftTypeÚTaskTypeÚ&bloom_model_postprocess_past_key_valueÚcast_mixed_precision_paramsÚget_peft_model_state_dictÚload_peft_weightsÚprepare_model_for_kbit_trainingÚreplace_lora_weights_loftqÚset_peft_model_state_dictÚshift_tokens_right)]r   r   r   r   rS   r   r   r   r   r   r   r   r   r   r   r	   r    r!   r"   r#   r$   r%   r&   r'   r(   r)   r*   r+   r,   r-   r.   r/   r0   r2   r3   r4   r5   r1   r6   r7   r8   r9   r:   r;   r<   r
   r   r   r   r   r   r   r   r   rT   r=   r>   r?   r@   rA   rB   rC   rD   r   rE   rF   rG   rH   rU   rI   rJ   rK   rK   rL   rM   rN   rO   rP   rV   rW   rQ   r   r   r   r   rX   rR   r   rY   rZ   r[   r\   r]   N)fÚ__version__Úautor   r   r   r   r   r   r   r	   Úconfigr
   r   Úmappingr   r   r   r   r   Úmapping_funcr   Úmixed_modelr   Ú
peft_modelr   r   r   r   r   r   r   r   r   Útunersr   r   r   r   r    r!   r"   r#   r$   r%   r&   r'   r(   r)   r*   r+   r,   r-   r.   r/   r0   r1   r2   r3   r4   r5   r6   r7   r8   r9   r:   r;   r<   r=   r>   r?   r@   rA   rB   rC   rD   rE   rF   rG   rH   rI   rJ   rK   rL   rM   rN   rO   rP   rQ   rR   ÚutilsrS   rT   rU   rV   rW   rX   rY   rZ   r[   r\   r]   Ú__all__© rh   rh   úJ/home/ubuntu/sommelier/.venv/lib/python3.10/site-packages/peft/__init__.pyÚ<module>   s   (
,ä49