o ÁÙ¾iƒã @sDddlZ d dejdejdejdejdejdef d d „Zd d „ZdS)éNFÚk_cacheÚv_cacheÚlocÚkÚvÚfallbackcCsNz|rtdƒ‚tjj |||||¡WdSty&|||<|||<YdSw)Nz Fallback to torch implementation)Ú RuntimeErrorÚtorchÚopsÚ sgl_kernelÚstore_kv_cache)rrrrrr©r úE/home/ubuntu/.local/lib/python3.10/site-packages/sgl_kernel/memory.pyÚset_kv_buffer_kernels þrcCst|tjƒr tjj |¡S|S)N)Ú isinstancer ÚTensorr r Úweak_ref_tensor)Útensorr r rrs ÿÿýr)F)r rÚboolrrr r r rÚs  úÿþýüû ú