Mpmathを使ったプログラムをPyinstallerを使ってEXE化しPythonをインストールしていないWindowsPCで実行することは可能でしょうか？

実現したいこと

Mpmathを使ったプログラムをPyinstallerを使ってEXE化し、PythonをインストールしていないWindowsPCで実行することは可能でしょうか？

前提

Python3でMpmathを使うプログラムを書いていますが、このプログラムをPythonをインストールしていないWindowsPCで実行できるようにEXE化したいと思います。
Pyinstallerを使えば可能でしょうか？
PythonをインストールしていないWindowsPC環境を持っていないのでテストできませんので教えてください。