【Unity】衝突し続けているのにOnTriggerExitが呼び出される

お世話になっております。
以下のサイト（動画）を参考に、対象物にアウトラインを表示させて、切替可能なスクリプトを作成しています。
切替自体は作成できました。
ですが、イメージ図の通り、衝突判定用オブジェクト（画面の赤いオブジェクト）と対象物（白いスイッチ）の衝突判定がおかしいのか、アウトラインがちらついてしまいます。

動画サイト

チラつかないようにするためにはどうすればよいでしょうか。
恐れ入りますがよろしくお願いします。

C#

1using System.Collections;2using System.Collections.Generic;3using UnityEngine;4 5public class OutlineController : MonoBehaviour 6{7 void OnTriggerEnter(Collider other)8 {9 //特定のオブジェクトに触れた場合。10 if (other.CompareTag("Interact"))11 {12 //アウトラインのレイヤー（Outline）に変更。13 other.gameObject.layer = 8;14 }15 }16 17 void OnTriggerStay(Collider other)18 {19 //特定のオブジェクトに触れた場合。20 if (other.CompareTag("Interact"))21 {22 23 }24 }25 26 //OnTriggerExit関数27 //離れたオブジェクトが引数otherとして渡される28 void OnTriggerExit(Collider other)29 {30 //特定のオブジェクトに触れた場合。31 if (other.CompareTag("Interact"))32 {33 //元のレイヤー（Interact）に変更。34 other.gameObject.layer = 6;35 }36 }37}