UnityでMIrrorを使用し、ServerChengeSceneで遷移したいがオブジェクトが消えてしまう

実現したいこと

UnityでMirrorを使ってオンラインゲームを制作しており
SeverChengeSceneを使ってClientらとServerのシーンを変更したいのですが、
Clientらのシーンにオブジェクトがありません。
（用語がわからないのですが、SetActive(false)の状態です。）

ServerのmaxConnectionsに達したらServerChengeSceneを呼び出しており
シーン遷移自体はServer、Clientどちらもうまくいっています。

試したこと

Serverを先に遷移させて、後にClientを遷移させたりと
やり方を変えてみたりしたのですが、上手く行きませんでした…
分かっていることは、[NetworkIdentity]をアタッチしているオブジェクトのみが
SetActive(false)の状態になっていることぐらいです。

自分はUnityもMirrorも初心者なので、わからないことが多くて
大変申し訳ございませんが、有識者の方がいらっしゃいましたら教えていただけると助かります。
よろしくお願いいたします。