Flutter：スクロールできるSlidingUpPanelを持つ画面で、SlidingUpPanelが最小化している時だけ下スワイプで画面を閉じる方法

実現したいこと

FlutterのSlidingUpPanelを持つ画面で、SlidingUpPanelが最小化している時だけ、下スワイプで画面を閉じる処理を実装したいです。

下記サンプルコードの場合、SlidingUpPanelの中身がスクロール不要な高さの場合は、ボディで下スワイプしても、SlidingUpPanelで下スワイプしても適切に動き、画面が閉じられます。(例：青コンテナの高さが300)
しかし、SlidingUpPanelの中身が、スクロールが必要なほどの高さの場合(例：青コンテナの高さが2000)、SlidingUpPanelが最小化されている状態で、SlidingUpPanelに対して下スワイプしても画面を閉じることができません。（ボディに対しては適切に動きます。）

上記について、解決方法を教えていただけると助かります。
よろしくお願いいたします。

サンプルコード

import 'package:flutter/material.dart'; import 'package:flutter_riverpod/flutter_riverpod.dart'; import 'package:sliding_up_panel/sliding_up_panel.dart'; void main() => runApp(ProviderScope(child: MyApp())); class MyApp extends StatelessWidget { @override Widget build(BuildContext context) { return MaterialApp( home: HomePage(), ); } } class HomePage extends StatelessWidget { @override Widget build(BuildContext context) { return Scaffold( appBar: AppBar( title: Text('Home'), ), body: Center( child: ElevatedButton( onPressed: () { Navigator.of(context).push( MaterialPageRoute(builder: (context) => SlidingUpPanelPage())); }, child: Text('Go to SlidingUpPanel Example'), ), ), ); } } final panelControllerProvider = StateProvider<PanelController>((ref) { return PanelController(); }); class SlidingUpPanelPage extends ConsumerWidget { @override Widget build(BuildContext context, WidgetRef ref) { final panelController = ref.watch(panelControllerProvider); return Scaffold( body: GestureDetector( behavior: HitTestBehavior.opaque, onVerticalDragUpdate: (DragUpdateDetails details) { if (panelController.isPanelClosed && details.primaryDelta! > 1) { Navigator.of(context).pop(); } }, child: Stack(children: [ Center( child: Text('Body'), ), SlidingUpPanel( controller: panelController, minHeight: MediaQuery.of(context).size.height * 0.40, maxHeight: MediaQuery.of(context).size.height * 0.90, panelBuilder: (ScrollController scrollController) => Container( decoration: BoxDecoration( color: Colors.white, borderRadius: BorderRadius.only( topLeft: Radius.circular(24), topRight: Radius.circular(24), ), ), child: SingleChildScrollView( controller: scrollController, child: Container( color: Colors.blue, height: 2000,) ), ), ), ]), ), ); } }

試したこと

bodyのGestureDetectorをListenerに置き換えたり、GestureDetectorの場所を変更したりしました。（bodyとpanelそれぞれにGestureDetectorを配置したり、collapsedに対してGestureDetectorを配置したりしました。）
しかし、上手く動作しませんでした。