o
    }o™iö  ã                   @   sT   d dl mZmZmZmZmZmZ dd„ Zdd„ Zdd„ Z	dd	„ Z
d
d„ Zdd„ ZdS )é    )ÚGPTConfig5BÚGPTConfig7BÚGPTConfig20BÚGPTConfig40BÚGPTConfig126MÚGPTConfig175Bc                  C   óP   t ƒ } | jdks
J ‚| jdksJ ‚| jdksJ ‚| jdksJ ‚| jdks&J ‚d S )Né   é   i   i   )r   Ú
seq_lengthÚ
num_layersÚhidden_sizeÚffn_hidden_sizeÚnum_attention_heads©Úconfig© r   ú]/home/ubuntu/.local/lib/python3.10/site-packages/tests/collections/llm/gpt/model/test_base.pyÚtest_gpt_config_126m   ó   r   c                  C   óP   t ƒ } | jdks
J ‚| jdksJ ‚| jdksJ ‚| jdksJ ‚| jdks&J ‚d S )Nr	   é   é   i @  é    )r   r   r   r   r   r   r   r   r   r   Útest_gpt_config_5b"   r   r   c                  C   r   )Nr	   r   r   i€*  )r   r   r   r   r   r   r   r   r   r   Útest_gpt_config_7b+   r   r   c                  C   r   )Nr	   é,   i   i `  é0   )r   r   r   r   r   r   r   r   r   r   Útest_gpt_config_20b4   r   r   c                  C   r   )Nr	   r   i    i €  é@   )r   r   r   r   r   r   r   r   r   r   Útest_gpt_config_40b=   r   r    c                  C   r   )Nr	   é`   i 0  i À  )r   r   r   r   r   r   r   r   r   r   Útest_gpt_config_175bF   r   r"   N)Ú#nemo.collections.llm.gpt.model.baser   r   r   r   r   r   r   r   r   r   r    r"   r   r   r   r   Ú<module>   s    
					