[Swift] UILabelのSystemフォントを指定されている箇所のみ一括変更したい

前提

開発言語：Swift5

StoryboardにてSystemフォントを指定している箇所のみ
フォント名をプログラムにて一括で変えたいのですが変更方法がわからず困っています。

例えば
System以外のフォントファミリーを指定している場合はそのまま据え置きをしたく
Systemフォントを指定している箇所のみヒラギノに変更したい

UILabel.apperance()で設定すると全て変更される為、こちらだと意味がない。