o
    ÔÙ¾ir
  ã                   @   s0   d dl mZmZ d dlmZ G dd„ deƒZdS )é    )ÚAnyÚOptional)ÚPretrainedConfigc                +       s¾   e Zd ZdZdgZ									
												d)dededededededededededededeee	e
f  ded ed!ed"ed#ee	 d$ee d%ee d&df*‡ fd'd(„Z‡  ZS )*ÚStep3p5ConfigÚstep3p5ÚStep3p5ForCausalLMé   é ,  é@   é   é-   é ô é/÷ çñhãˆµøä>é   é   é'  Né€   T©*é   é   é   é   é   r   é	   é
   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é   é    é!   é"   é#   é$   é%   é&   é'   é(   é)   é*   é+   é,   Úhidden_sizeÚintermediate_sizeÚnum_attention_headsÚnum_attention_groupsÚnum_hidden_layersÚmax_seq_lenÚ
vocab_sizeÚrms_norm_epsÚmoe_intermediate_sizeÚmoe_num_expertsÚ	moe_top_kÚ
rope_thetaÚrope_scalingÚmax_position_embeddingsÚshare_expert_dimsÚhead_dimÚnorm_expert_weightÚlayer_typesÚsliding_windowÚmoe_layers_enumÚreturnc                    sŽ   || _ || _|| _|| _|| _|| _|| _|| _|	| _|
| _	|| _
|| _|| _|| _|| _|| _|| _|| _|| _|| _tƒ jdi |¤Ž d S )N© )r>   r?   r@   rA   rB   rC   rD   rE   rF   rG   rH   rI   rJ   rK   Úshare_expert_dimrM   rN   rQ   rO   rP   ÚsuperÚ__init__)Úselfr>   r?   r@   rA   rB   rC   rD   rE   rF   rG   rH   rI   rJ   rK   rL   rM   rN   rO   rP   rQ   Úkwargs©Ú	__class__rS   úN/home/ubuntu/.local/lib/python3.10/site-packages/sglang/srt/configs/step3p5.pyrV   
   s*   CzStep3p5Config.__init__)r   r	   r
   r   r   r   r   r   r   r   r   r   Nr   r   r   TNNr   )Ú__name__Ú
__module__Ú__qualname__Ú
model_typeÚarchitecturesÚintÚfloatr   ÚdictÚstrr   ÚboolÚlistÚtuplerV   Ú__classcell__rS   rS   rY   r[   r      s„    ëþýüûúùø	÷
öõôóòñðïîíìëB¾r   N)Útypingr   r   Ú transformers.configuration_utilsr   r   rS   rS   rS   r[   Ú<module>   s    