VS Codeでソース管理リポジトリを解除したい

ローカルでフォルダを作成し、そのフォルダをVS Codeで開いて
ソース管理ボタンを押下すると
ソース管理リポジトリとしてUSERフォルダを認識してしまっています。

本来ならば下記の画像の様にリポジトリの初期化ボタンが表示されて欲しいです。

ソース管理リポジトリとしてUSERを認識しているのを解除すれば良いのではと思い
色々ググってみましたが、該当する記述があるサイトが見つからなかったので
詳しい方おられましたらご教授いただけませんでしょうか。