每周碎片知识28

[Pytorch]

①torch.index_select虽然相比原tensor重新分配了空间,但以图的形式保存,因此仍然可以梯度回传。

②CUDA error: device-side assert trigger
Assertion srcIndex < srcSelectDimSize failed

当遇到以上报错时,可以尝试将device改成CPU以获得更具体的报错信息;如果没办法在CPU上跑的话,则可以

1
CUDA_LAUNCH_BLOCKING=1 python script.py args

来获得具体错误信息。

遇到以上问题的一种可能性就是取embedding的时候index超过最大范围了。

https://discuss.pytorch.org/t/solved-assertion-srcindex-srcselectdimsize-failed-on-gpu-for-torch-cat/1804/9
https://discuss.pytorch.org/t/what-the-error-means-runtimeerror-device-side-assert-triggered/3249