Megérkezett a PyTorch 2.10, a népszerű, nyílt forráskódú mélytanulási keretrendszer legújabb kiadása, amely tovább erősíti a nem NVIDIA-alapú gyorsítók támogatását. Az új verzió számos újdonságot hoz az AMD ROCm számítási stackhez és az Intel GPU-khoz, miközben a CUDA-t használó rendszerek is több fontos fejlesztésben részesülnek.

Fejlesztések az AMD ROCm támogatásában

A PyTorch 2.10 egyik hangsúlyos területe az AMD ROCm platform további csiszolása. A kiadásban megjelenik a grouped GEMM támogatása, amely normál GEMM visszaeséssel (fallback) és a CK (Composable Kernel) megoldással is működik. Emellett javult a ROCm-alapú PyTorch Windows alatti használhatósága is, ami eddig kevésbé volt kiforrott.

Újdonságként bekerült a torch.cuda._compile_kernel támogatása ROCm alatt, valamint elérhetővé vált a load_inline funkció is. A GFX1150 és GFX1151 azonosítójú, RDNA 3.5 architektúrára épülő GPU-k felkerültek a hipBLASLt által támogatott GEMM-listára. További fejlesztések közé tartozik a scaled_mm v2 támogatás, az AOTriton scaled_dot_product_attention, a pontszerű (pointwise) kernelekhez tartozó továbbfejlesztett heurisztikák, valamint a gyors fast_tanhf függvény kódgenerálásának támogatása ROCm környezetben.

Előrelépések az Intel GPU-k esetén

Az Intel grafikus gyorsítók támogatása szintén érezhetően fejlődött. A PyTorch 2.10 több új Torch XPU API-t vezet be, kifejezetten Intel GPU-khoz igazítva. Az ATen operátorok közül mostantól támogatott a scaled_mm és a scaled_mm_v2, valamint megjelent a _weight_int8pack_mm is.

Fontos újdonság, hogy a SYCL támogatás a PyTorch C++ Extension API-ban már Windows alatt is lehetővé teszi új, egyedi operátorok implementálását. Ezek mellett különféle teljesítményoptimalizálások és stabilitási javítások is érkeztek az Intel platformokra.

CUDA: további finomhangolás az NVIDIA GPU-khoz

Természetesen az NVIDIA CUDA sem maradt ki a fejlesztésekből. A PyTorch 2.10-ben a CUDA-támogatás kibővült templated kernel támogatással, előre fordított (pre-compiled) kernelekkel, valamint azzal a lehetőséggel, hogy a szükséges CUDA fejlécek automatikusan hozzáadódjanak a buildfolyamathoz.

Újdonság továbbá a cuda-python CUDA stream protokoll támogatása, a CUDA 13 kompatibilitás javítása, az egymásba ágyazott memóriapoolok (nested memory pools) kezelése, valamint a CUTLASS MATMUL műveletek támogatása a Thor platformon.

Egyéb újdonságok és általános fejlesztések

A PyTorch 2.10 már támogatja a Python 3.14-et a torch.compile() használatakor, valamint kísérleti jelleggel megjelent a Python 3.14 free-threaded build támogatása is. A Torch Inductor esetében csökkent a kernelindítási overhead a kombinált kernelek vízszintes fúziójának köszönhetően, emellett javultak a debugolási lehetőségek és több kvantizációs fejlesztés is bekerült a kódbázisba.

A PyTorch 2.10 letölthető, a teljes változáslista és további részletek a projekt GitHub-oldalán érhetők el. Ez a kiadás egyértelműen jelzi, hogy a PyTorch fejlesztése egyre nagyobb hangsúlyt fektet a sokszínű hardvertámogatásra, különösen az AMD és Intel GPU-k irányába.