如何部署二元神經網絡？

Question

我遇到過各種精彩論文，如https://arxiv.org/abs/1603.05279 https://arxiv.org/abs/1602.02830 顯示了二值化神經網絡如何減少模型大小並縮短執行時間。但是這裏公佈的研究代碼https://github.com/allenai/XNOR-Net和https://github.com/itayhubara/BinaryNet在內部將二進制權重表示爲浮點數據類型（僅限於二進制值）。我想知道是否有任何框架提供了有效推理（運行時內存和速度）的實現。我似乎沒有在流行的框架如tensorflow和torch7中找到任何模塊。

Answer 1

如果你想更深入地瞭解在GPU內核進行二值化網絡，那麼這Theano項目相關：https://github.com/MatthieuCourbariaux/BinaryNet/tree/master/Run-time

霓虹燈有一些位層的支持，在此承諾介紹：https://github.com/NervanaSystems/neon/commit/caf0aaaaa1438b09c905e0780ba1120c6fd25f1c

至於Tensorflow，你應該保持對該問題的興趣＃1592

另外，您可能有興趣閱讀論文「Bitwise Neural Networks」Minje Kim，Paris Smaragdis。