無法將網絡攝像頭視頻路由到Linux上的虛擬視頻設備（通過OpenCV）

Question

我想通過OpenCV將視頻圖像疊加到傳入的網絡攝像頭流上。作爲第一步，我試圖將傳入的視頻從網絡攝像頭/dev/video0流式傳輸到/dev/video1（v4l2loopback）的虛擬視頻設備。不幸的是，我無法將網絡攝像頭流轉發到v4l2loopback設備。

我發現這個帖子：How to write/pipe to a virtual webcam created by V4L2loopback module?，但那裏的鏈接並沒有真正幫助我。

從網絡攝像頭獲取並觀看流可以很好地與OpenCV頁面中的一些小演示代碼一起使用。以及來自v4l2loopback頁面的示例代碼，例如，播放靜態視頻文件到/dev/video1效果很好。我可以看視頻當我連接VLC /dev/video1

我已經讀過，必須通過常規Linux驅動程序命令（打開，ioctl，寫等）來控制v4l2loopback設備。所以OpenCV中沒有包裝類來寫入回送設備。我的攝像頭以640x480流媒體和MJPG。有趣的是，我可以通過VLC連接到回送設備，當按下播放按鈕時，我可以看到正確的分辨率，編解碼器和FPS。進度條上的時間計數器也開始運行。但屏幕仍然是黑色的（帶有VLC標誌）。

什麼我大致做的是這個（BTW：代碼可能無法編譯...不想在這裏雜亂的一切...讓我知道，如果你需要更多的細節）：

int main (int argc, char **argv) { 
    cv::VideoCapture cap; 
    struct v4l2_format vid_format; 
    size_t framesize = 640 * 480 * 3; // 3 Bytes per pixel 
    __u8 *buffer = null; 
    int fd = null; 

    cap.open ("/dev/video0"); 
    fd = open ("/dev/video1", O_RDWR); 

    memset (&vid_format, 0, sizeof(vid_format)); 
    vid_format.type    = V4L2_BUF_TYPE_VIDEO_OUTPUT; 
    vid_format.fmt.pix.width  = cap.get(CV_CAP_PROP_FRAME_WIDTH); 
    vid_format.fmt.pix.height  = cap.get(CV_CAP_PROP_FRAME_HEIGHT); 
    vid_format.fmt.pix.pixelformat = { 'M', 'J', 'P', 'G' }; 
    vid_format.fmt.pix.sizeimage = framesize; 
    vid_format.fmt.pix.field  = V4L2_FIELD_NONE; 
    vid_format.fmt.pix.colorspace = V4L2_COLORSPACE_SRGB; 
    ioctl (fd, VIDIOC_S_FMT, &vid_format); 

    buffer = (__u8*) malloc (sizeof(__u8) *framesize); 
    memset (buffer, 0, framesize); 

    for(;;) { 
     cv::Mat frame; 
     cap >> frame; 
     write (fd, &frame.data, framesize); 
    } 
} 

如果有人能夠給我一個提示，我需要如何轉換wecam數據才能被VLC接受，那將會非常棒。

Answer 1

經過大量的研究，我終於能夠開發出一個工作解決方案。有很多的，需要加以執行，我將在下面詳細討論步驟：

一般

正如我上面的問題中所述，我們的目標是能夠利用的輸入流一個攝像頭並將其轉發給一個虛擬視頻設備，而該設備又可以使用VLC等工具打開。這被認爲是爲了能夠進一步進行圖像處理的第一步。

1）v4l2loopback

v4l2loopback是Linux虛擬視頻設備（內核模塊）。來源可以從這裏下載https://github.com/umlaeute/v4l2loopback。下載後，下面的步驟必須按順序運行它進行：

make 
sudo make install 
sudo modprobe v4l2loopback 

如果您想使用Chrome瀏覽器（的WebRTC）這個視頻設備，你需要一個額外的參數來執行的最後一行：

sudo modprobe v4l2loopback exclusive_caps=1 

信息：重要的是要注意，v4l2loopback設備必須設置爲與您在下面的示例中使用的分辨率相同的分辨率。如您所見，我已將樣本中的定​​義設置爲FullHD。如果你想要800x600，您需要在編譯之前更改v4l2loopback代碼中的默認值，或者在插入模塊時通過額外的cmd行參數max_width和max_height更改分辨率。內核模塊默認運行，分辨率爲640x480。您可以通過獲得更多的細節和所有支持的參數：

modinfo v4l2loopback 

2）OpenCV的

OpenCV的是，它支持捕獲和實時視頻處理庫。對於構建OpenCV，請參閱本頁面 http://docs.opencv.org/3.0-beta/doc/tutorials/introduction/linux_install/linux_install.html，其中詳細解釋了所有步驟。

3）示例代碼

你可以建立/下列方式運行下面的示例代碼：

g++ -ggdb `pkg-config --cflags --libs opencv` sample.cpp -o sample 
./sample 

下面是代碼：

#include <stdio.h> 
#include <fcntl.h> 
#include <errno.h> 
#include <unistd.h> 
#include <sys/ioctl.h> 
#include <linux/videodev2.h> 
#include "opencv2/opencv.hpp" 

#define VIDEO_OUT "/dev/video0" // V4L2 Loopack 
#define VIDEO_IN "/dev/video1" // Webcam 

#define WIDTH 1920 
#define HEIGHT 1080 


int main (int argc, char **argv) { 
    cv::VideoCapture cap; 
    struct v4l2_format vid_format; 
    size_t framesize = WIDTH * HEIGHT * 3; 
    int fd = 0; 

    if(cap.open (VIDEO_IN)) { 
     cap.set (cv::CAP_PROP_FRAME_WIDTH , WIDTH ); 
     cap.set (cv::CAP_PROP_FRAME_HEIGHT, HEIGHT); 
    } else { 
     std::cout << "Unable to open video input!" << std::endl; 
    } 

    if ((fd = open (VIDEO_OUT, O_RDWR)) == -1) 
     printf ("Unable to open video output!"); 

    memset (&vid_format, 0, sizeof(vid_format)); 
    vid_format.type = V4L2_BUF_TYPE_VIDEO_OUTPUT; 

    if (ioctl (fd, VIDIOC_G_FMT, &vid_format) == -1) 
     printf ("Unable to get video format data. Errro: %d\n", errno); 

    vid_format.fmt.pix.width  = cap.get (CV_CAP_PROP_FRAME_WIDTH ); 
    vid_format.fmt.pix.height  = cap.get (CV_CAP_PROP_FRAME_HEIGHT); 
    vid_format.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24; 
    vid_format.fmt.pix.sizeimage = framesize; 
    vid_format.fmt.pix.field  = V4L2_FIELD_NONE; 

    if (ioctl (fd, VIDIOC_S_FMT, &vid_format) == -1) 
     printf ("Unable to set video format! Errno: %d\n", errno); 

    cv::Mat frame (cap.get(CV_CAP_PROP_FRAME_HEIGHT), 
    cap.get(CV_CAP_PROP_FRAME_WIDTH), CV_8UC3); 

    printf ("Please open the virtual video device (/dev/video<x>) e.g. with VLC\n"); 

    while (1) { 
     cap >> frame; 
     cv::cvtColor (frame, frame, cv::COLOR_BGR2RGB); // Webcams sometimes deliver video in BGR not RGB. so we need to convert 
     write (fd, frame.data, framesize); 
    } 
}