【flutter】各デバイスの画面サイズの違いを考慮したサイズ設定について

前提

flutterで1年ほど個人開発をしています。
本業はエンジニア職ではなく、実務経験は一切ない状態です。

知りたいこと

同じiOSでもiPhoneの世代によって画面サイズが全然違い、
特にPro MaxとSE（片手で持てる最小サイズのもの）とでは全然サイズが違うと思います。

上記を踏まえてUI（レイアウト）を作る時に、

• Text
• Container

などの各Widgetのサイズ指定をする際にコチラの記事を参考に画面サイズの比率を元にサイズ指定しています。

Dart

1例） 2SizedBox(height: SizeConfig.safeBlockVertical! * 1),3 4例） 5fontSize: SizeConfig.safeScreenWidth! / 23

この様に全てのwidgetを画面サイズの比率を用いて指定した場合、
普通にサイズを数字で指定した時と比べてパフォーマンス（ビルドに時間がかかるなど）が落ちる事はありますでしょうか？
もし懸念しないといけない事やデメリットがあれば教えていただきたいです。

追加で皆さんはどういう風にレイアウトを各デバイスに合わせて作っているかも参考にしたいので教えていただけると助かります！