MediaSteam與WebAssembly的交互

Question

是否有一種已知的方式將瀏覽器中的視頻流重新導入到WebAssembly中？我知道你可以使用HTML畫布進行幀捕獲，但我不知道如何獲得整個流（音頻/視頻）並將其發送到我的WebAssembly應用程序。

Answer 1

看看在 「WebAssembly視頻編輯器」 樣本的內部：

• https://d2jta7o2zej4pf.cloudfront.net/
• https://github.com/shamadee/web-dsp

Answer 2

WebAssembly有一個非常簡單的接口，只有4種（二integeres ，兩個浮點），導入或導出函數的能力以及內存。它沒有任何API用於訪問DOM，獲取數據等等，因此您必須從託管JavaScript將這些數據提供給WebAssembly模塊。

您是否試圖解碼來自WebAssembly模塊的視頻流？在這種情況下，我希望WebAssembly代碼能夠導出一個函數，例如decode，您的JavaScript代碼在數據從流中到達時調用。您可能需要將數據寫入WebAssembly內存，使用已提供的內存地址和數據長度調用此函數decode。