クロスバリデーションにおける評価指標について

実現したいこと

クロスバリデーションでデータ分割を行った場合の
回帰モデルの学習を行った後の評価指標について知りたい。

発生している問題・分からないこと

調査したところ、クロスバリデーションでデータ分割をしたときには、評価指標の平均をとることが
多いようでした。
また、その際に回帰分析の評価として、mse,rmseは平均を取っているサイトはありましたが、決定係数の平均を算出しているサイトは確認できませんでした。（調査不足かもしれませんが）
このことから、単純に平均をとってはいけない評価指標があるのではないかと思いました。
決定係数は平均値をとって良いのでしょうか？
また、mseなどはなぜ平均をとってよいのかについてご教授いただければ幸いです。

該当のソースコード

# クロスバリデーション用の分割方法を設定する kf = KFold(n_splits=5, shuffle=True, random_state=1) # モデルのトレーニングと評価をクロスバリデーションで実行する for train_index, test_index in kf.split(X): X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] ・・　その他は割愛・・

試したこと・調べたこと

上記の詳細・結果

評価指標の平均をとってよいのかわからなくなった

補足

特になし