2019-03

LUT-Network

祝! LUT-NetworkのLUTモデルの逆伝播学習動作

前回メモで書いた内容がどうやら動作したようなので、速報レベルで記事を書いておきます。上記はMNISTデータをFP32にて、入力値がそれぞれバイナリの1になる確率として計算した後に、実際にバイナリモデルにテーブルコピーを行って動作確認したもの...
LUT-Network

LUT-Networkの為の学習方法アイデアメモ

先日、LUT-Networkでの回帰をやってみましたが、もともと観測すると1か0に確定するだけで、その確率を扱っているだけなので、多値が扱えないなんて事はまったく無いと思っています。 で、今日急にお風呂の中でLUT-Networkの学習を効...
LUT-Network

バイナリLUT-Networkで回帰問題をやってみる

バイナリネットワークをやっていると課題の一つに「普通にやると回帰問題が解けない」というのがあるかと思います。バイナリネットはバイナリを入れてバイナリを出力しますので、そのままでは多値的なものが扱えません。例えば二乗誤差が最小になるようにフィ...