怎么判断视频所拍摄区域是静止的

如何判断视频所拍摄区域是静止的？
因为要持续3分钟静止则确定为静止，时间段有点长，而且由于内存限制，可以不用每帧都去判断，但是如果中间出现几个异常数据，但是其还是静止的，此时是应该要排除这些异常的，想问问有没有人给出一个解决方案？或者参考的知识也可以~十分感谢！！
------解决思路----------------------
降低时间上的采样频率，降低空间上的采样频率，异常数据可以用中值滤波剔除，等等。。