背景减除
下面这段代码是 OpenCV-Python-Tutorial-中文版.pdf （P238）中的实现，
当前系列所有demo下载地址：
https://github.com/GaoRenBao/OpenCv4-Demo
https://gitee.com/fuckgrb/OpenCv4-Demo
不同编程语言对应的OpenCv版本以及开发环境信息如下：
语言 | OpenCv版本 | IDE |
C# | OpenCvSharp4.4.8.0.20230708 | Visual Studio 2022 |
C++ | OpenCv-4.5.5-vc14_vc15 | Visual Studio 2022 |
Python | OpenCv-Python (4.6.0.66) | PyCharm Community Edition 2022.1.3 |
在很多基础应用中背景检出都是一个非常重要的步骤。例如顾客统计，使用一个静态摄像头来记录进入和离开房间的人数，或者是交通摄像头，需要提取交通工具的信息等。在所有的这些例子中，首先要将人或车单独提取出来。技术上来说，我们需要从静止的背景中提取移动的前景。
如果你有一张背景（仅有背景不含前景）图像，比如没有顾客的房间，没有交通工具的道路等，那就好办了。我们只需要在新的图像中减去背景就可以得到前景对象了。但是在大多数情况下，我们没有这样的（背景）图像，所以我们需要从我们有的图像中提取背景。如果图像中的交通工具还有影子的话，那这个工作就更难了，因为影子也在移动，仅仅使用减法会把影子也当成前景。真是一件很复杂的事情。
为了实现这个目的科学家们已经提出了几种算法。OpenCV 中已经包含了其中三种比较容易使用的方法。我们一个一个学习一下吧。
demo1 createBackgroundSubtractorMOG
这是-个以混合高斯模型为基础的前景/背景分割算法。它是P.KadewTraKuPong和R.Bowden在2001年提出的。它使用K(K=3或5 )个高斯分布混合对背景像素进行建模。使用这些颜色(在整个视频中)存在时间的长短作为混合的权重。背景的颜色一般持续的时间最长，而且更加静止。一个像素怎么会有分布呢？在x, y平面上一个像素就是一个像素没有分布，但是我们现在讲的背景建模是基于时间序列的，因此每-个像素点所在的位置在整个时间序列中就会有很多值,从而构成一个分布。
在编写代码时，我们需要使用函数: cv2.createBackgroundSubtractorMOG(创建-一个背景对象。这个函数有些可选参数，比如要进行建模场景的时间长度,高斯混合成分的数量，阈值等。将他们全部设置为默认值。然后在整个视频中我们是需要使用backgroundsubtractorapply)就可以得到前景的掩模了，效果如下：
demo2 createBackgroundSubtractorMOG2
这个也是以高斯混合模型为基础的背景/前景分割算法。它是以2004年和2006年Z.Zivkovic的两篇文章为基础的。这个算法的一个特点是它为每-个像素选择一个合适数目的高斯分布。(上一个方法中我们使用是K高斯分布)。这样就会对由于亮度等发生变化引起的场景变化产生更好的适应。和前面一样我们需要创建一个背景对象。但在这里我们我们可以选择是否检测阴影。如果detectShadows = True (默认值)，它就会检测并将影子标记出来，但是这样做会降低处理速度。影子会被标记为灰色。
demo3 createBackgroundSubtractorGMG
此算法结合了静态背景图像估计和每个像素的贝叶斯分割。这是2012年Andrew_B.Godbehere，Akihiro_Matsukawa和Ken_Goldberg 在文章中提出的。
它使用前面很少的图像(默认为前120帧)进行背景建模。使用了概率前景估计算法(使用贝叶斯估计鉴定前景)。这是一种自适应的估计，新观察到的对象比旧的对象具有更高的权重，从而对光照变化产生适应。一些形态学操作如开运算闭运算等被用来除去不需要的噪音。在前几帧图像中你会得到一个黑色窗口。
对结果进行形态学开运算对与去除噪声很有帮助。
C#版本代码如下：
using OpenCvSharp;
namespace demo
{
internal class Program
{
static void Main(string[] args)
{
//demo1();
//demo2();
demo3();
}
/// <summary>
/// BackgroundSubtractorMOG
/// </summary>
static void demo1()
{
VideoCapture cap = new VideoCapture("../../../images/vtest.avi");
// 笔记本摄像头
// VideoCapture cap = new VideoCapture(0);
BackgroundSubtractorMOG fgbg = BackgroundSubtractorMOG.Create();
// 可选参数 比如 进行建模场景的时间长度 高斯混合成分的数量-阈值等
Mat frame = new Mat();
Mat fgmask = new Mat();
while (true)
{
cap.Read(frame);
//Cv2.Flip(frame, frame, FlipMode.Y); // 左右翻转
fgbg.Apply(frame, fgmask);
Cv2.ImShow("frame", frame);
Cv2.ImShow("fgmask", fgmask);
if (Cv2.WaitKey(1) == 27)
{
break;
}
}
cap.Release();
Cv2.DestroyAllWindows();
}
/// <summary>
/// BackgroundSubtractorMOG2
/// </summary>
static void demo2()
{
VideoCapture cap = new VideoCapture("../../../images/vtest.avi");
// 笔记本摄像头
// VideoCapture cap = new VideoCapture(0);
BackgroundSubtractorMOG2 fgbg = BackgroundSubtractorMOG2.Create();
Mat frame = new Mat();
Mat fgmask = new Mat();
while (true)
{
cap.Read(frame);
//Cv2.Flip(frame, frame, FlipMode.Y); // 左右翻转
fgbg.Apply(frame, fgmask);
Cv2.ImShow("frame", frame);
Cv2.ImShow("fgmask", fgmask);
if (Cv2.WaitKey(1) == 27)
{
break;
}
}
cap.Release();
Cv2.DestroyAllWindows();
}
/// <summary>
/// createBackgroundSubtractorGMG
/// </summary>
static void demo3()
{
VideoCapture cap = new VideoCapture("../../../images/vtest.avi");
// 笔记本摄像头
// VideoCapture cap = new VideoCapture(0);
BackgroundSubtractorGMG fgbg = BackgroundSubtractorGMG.Create();
Mat frame = new Mat();
Mat fgmask = new Mat();
while (true)
{
cap.Read(frame);
//Cv2.Flip(frame, frame, FlipMode.Y); // 左右翻转
fgbg.Apply(frame, fgmask);
Cv2.ImShow("frame", frame);
Cv2.ImShow("fgmask", fgmask);
if (Cv2.WaitKey(1) == 27)
{
break;
}
}
cap.Release();
Cv2.DestroyAllWindows();
}
}
}
C++版本代码如下：
OpenCv-4.5.5-vc14_vc15
OpenCv-4.6.0-vc14_vc15
没找到BackgroundSubtractorMOG和createBackgroundSubtractorGMG方法
#include <opencv2/opencv.hpp>
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <iostream>
using namespace cv;
using namespace std;
/// <summary>
/// BackgroundSubtractorMOG
/// </summary>
void demo1()
{
/* opencv-4.5.5-vc14_vc15 没有BackgroundSubtractorMOG */
/* opencv-4.6.0-vc14_vc15 没有BackgroundSubtractorMOG */
}
/// <summary>
/// BackgroundSubtractorMOG2
/// </summary>
void demo2()
{
VideoCapture cap("../images/vtest.avi");
// 笔记本摄像头
// VideoCapture cap(0);
Ptr<cv::BackgroundSubtractorMOG2> fgbg = createBackgroundSubtractorMOG2();
// 可选参数 比如 进行建模场景的时间长度 高斯混合成分的数量-阈值等
Mat frame, fgmask;
while (true)
{
cap.read(frame);
flip(frame, frame, 1); // 左右翻转
fgbg->apply(frame, fgmask);
imshow("frame", frame);
imshow("fgmask", fgmask);
if (waitKey(1) == 27)
{
break;
}
}
cap.release();
destroyAllWindows();
}
/// <summary>
/// createBackgroundSubtractorGMG
/// </summary>
void demo3()
{
/* opencv-4.5.5-vc14_vc15 没有createBackgroundSubtractorGMG */
/* opencv-4.6.0-vc14_vc15 没有createBackgroundSubtractorGMG */
}
int main()
{
demo2();
return 0;
}
Python版本代码如下：
demo1：
import cv2
cap = cv2.VideoCapture('../images/vtest.avi')
# cap = cv2.VideoCapture(0)#笔记本摄像头
fgbg = cv2.bgsegm.createBackgroundSubtractorMOG()
# 可选参数 比如 进行建模场景的时间长度 高斯混合成分的数量-阈值等
while True:
ret, frame = cap.read()
# frame = cv2.flip(frame, flipCode=1) # 左右翻转
fgmask = fgbg.apply(frame)
cv2.imshow('frame', frame)
cv2.imshow('fgmask', fgmask)
if cv2.waitKey(30) == 27:
break
cap.release()
cv2.destroyAllWindows()
demo2:
import cv2
cap = cv2.VideoCapture('../images/vtest.avi')
# cap = cv2.VideoCapture(0)#笔记本摄像头
fgbg = cv2.createBackgroundSubtractorMOG2()
while True:
ret, frame = cap.read()
# frame = cv2.flip(frame, flipCode=1) # 左右翻转
fgmask = fgbg.apply(frame)
cv2.imshow('frame', frame)
cv2.imshow('fgmask', fgmask)
if cv2.waitKey(30) == 27:
break
cap.release()
cv2.destroyAllWindows()
demo3:
import cv2
cap = cv2.VideoCapture('../images/vtest.avi')
# cap = cv2.VideoCapture(0)#笔记本摄像头
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
fgbg = cv2.bgsegm.createBackgroundSubtractorGMG()
while True:
ret, frame = cap.read()
fgmask = fgbg.apply(frame)
fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)
cv2.imshow('frame', frame)
cv2.imshow('fgmask', fgmask)
if cv2.waitKey(1) == 27:
break
cap.release()
cv2.destroyAllWindows()
