LUT-Network バイナリLUT-Networkで回帰問題をやってみる
バイナリネットワークをやっていると課題の一つに「普通にやると回帰問題が解けない」というのがあるかと思います。バイナリネットはバイナリを入れてバイナリを出力しますので、そのままでは多値的なものが扱えません。例えば二乗誤差が最小になるようにフィ...
FPGA
LUT-Network LUT-Network fpgax発表資料(2019/02/02) LUT-Network
今回、下記の勉強会で発表する機会を頂きました。fpgax #11 ＋ TFUG ハード部：DNN専用ハードについて語る会 内容はともかくとして、折角資料を作りましたので、Webでも公開したいと思います。 なお、実際の Slide Shar...
LUT-Network LUT-Network CNN実機動作
概要 Zybo Z7-20 にて、LUT-Network で構成したCNNが1000fpsの高速度カメラ入力にてリアルタイムで動き始めたので、結果を纏めておきます。 システムの構成とか、カメラやOLEDの高速駆動とかは過去記事をご参照くださ...
LUT-Network LUT-Networkの実機への組み込み
ひとまず実際にFPGAに組み込んで動き始めたので一旦ブログにも記載しておきます。 なおLUT-Network学習用の環境(BinaryBrain)はgithubにて公開しながら日々開発中です。 以前やったRaspberry PI用カメラ(...
LUT-Network 先が見え始めた LUT-Network について再整理（中間報告）
（この記事はまだ推敲予定です） ここ数ヶ月こればっかりやっている気がしますが、ようやく畳込みの学習が動くようになり、先が見え始めてきました。 目標は、1) 「既存の積和型演算によるDNNのFPGAでの高効率でのマッピング」2) 「LUT型演...
LUT-Network 少し見えてきたLUT-Netの可能性
前書き このところバイナリネットワーク(ディープラーニングの一種)にかかりきりですが、ようやく少し希望が見えてくると同時に、私の中でも自分がやろうとしていることがどういう位置づけにあるのか整理できて来ました。結論を先に書くと、「XNOR-N...
LUT-Network LUT-Netの力技での学習部分について
ここまでまだ十分に実験が進んでいないにもかかわらず期待と憶測だけで記事を進めてきました。 狸の皮算用になるかもしれませんが、まあサンデープログラマが趣味でやってることなので大目に見てください。 プロの研究者の方々は、成果が出るまでしっかり実...
LUT-Network LUT型のネットワーク考察のその後（途中経過）
このところひたすらLUT型の演算ネットワークにはまっています。ちょっとした思いつきからスタートした事ですが、やる程に面白みと期待が増して行きつつ、やることはどんどん増えている印象です。まず今回のアイデアであるLUT型のネットワークノードを整...
LUT-Network 続・FPGAのLUTで作るバイナリニューラルネットのアーキテクチャ考察
備忘録程度にその後の解析を少し追記しておきます。 まず、現状の範囲だと認識率は95%程度で頭打ち感が出てきたので、少し解析モードに入っています。 なお、パラメータを変えて流すのを繰り返しつつ、都度、気まぐれにいろいろなログコードを埋めて観測...
LUT-Network FPGAのLUTで作るバイナリニューラルネットのアーキテクチャ考察
前回の続きの考察です。 まず、今やっているアプローチは既存FPGAでの実装都合観点からのアプローチであって、自由にLSIが設計できる状態でのトランジスタ効率を語っているわけではない点は最初に断っておきます。 まじめにFPGAでDNN(ディ...