Tensorflow對視頻的Android支持

Question

Android上的Tensorflow是否支持本地保存的視頻？所提供的演示與相機緊密結合，並且將它移植到視頻中至少可以起到非常重要且耗時的作用。它的目標任務是處理正在直播的流中的原始幀。

Answer 1

您必須使用MediaMetadataRetriever或其他合適的東西，在視頻中爲幀進行位圖，然後將它們傳遞到tensorflow庫進行圖像識別。

目前在tensorflow AFAIK中沒有對「視頻」流本身的支持，即使演示也需要相機預覽的屏幕截圖才能識別。

如果你真的想識別視頻流本身，那麼你必須建立自己的模型。假設你已經有了圖形和標籤文件，並且不需要播放視頻（如果你想在分析過程中顯示視頻，那麼你應該在你的活動中實現surfaceview或紋理視圖）：

1. 初始化tensorflow使用MediaMetadataRetriever &負載所需的視頻
2. 提取位圖用於使用getFrameAtTime &尺度位圖以適當的大小
3. 模式化所述位圖及運行推斷所需的張ENCE方法（可以直接傳遞位圖如果複製使用TensorflowImageClassifier.class從演示）
4. 存儲結果，並循環到另一幀（2〜4）

這稍微簡化的整體過程，但我希望你能從中得到一點啓示。