Python opencvでUSBカメラの映像がずれていく

実現したいこと

OpencvでUSBカメラの映像を1秒ごと（30fpsで30フレーム目）に画像解析する時に時刻がずれていく現象を対策したい。

前提

Python opencvでUSBカメラの映像を取り込み

グレースケールや画像の解析処理をしているが、
機械学習などではなく簡単な処理をしており
30フレーム分の処理は0.03秒で処理できている。

発生している問題・エラーメッセージ

プログラム起動時は問題ないが、ごくわずかずつ
処理がたまっていくような感じ？で実際の時刻と
表示されている時刻に差が出始めて、10分で
10秒、20分、30分経過すると加速的に誤差が
大きくなる（数分単位のずれ）。

試したこと

フレームレートを変えてみたり、処理する
枚数を減らしてみたりしましたが、どうしても
少しずつ時刻のずれが大きくなっていきます。