《 torch.tensor.detach() 》と《 with torch.no_grad() 》の違い❓

局部的にNeural network のパラメータ(重み、バイアス)の計算と更新を停止させたい場合、《 torch.tensor.detach() 》と《 with torch.no_grad() 》を利用できるかと思いますが、両者間の違いは何でしょうか(=通常どっちを使うべきでしょうか。)

ヒントでも頂ければ幸いです。

======追伸:
更新範囲は最終的にoptimizerに設定されてるパラメータのリストに決められると思いますが、無駄なgrad計算を避けるために、予め《 torch.tensor.detach() 》または《 with torch.no_grad() 》を利用したいのです。

コメントを投稿

0 コメント