技術記事 リアルタイムRNNの考察
はじめに少し前に早稲田の学生さんとやり取りしていて、お絵描きしたのですが、埋まる前にこちらにも貼り付けて保全しておきたいと思います。以前下記の記事で書いた話の延長です。リアルで連続的な情報を使うという事従来CNNでは、ResNet にせよ ...
LUT-Network
技術記事 
技術記事 BinaryBrainのやり残している研究
はじめに私が BinaryBrain を開発してからかなり経ってしまいましたが、当時適当に棚上げにしたままにしている技術課題は多数ありまして、原理的なところでまだまだ研究余地は沢山残っています。下記などでも少し書きましたが、純粋にネットワー...
技術記事 リアルタイムなAI認識(動画の連続性の活用)
はじめに最近、早稲田の学生さん向けに研究の種になりそうなアイデアを説明する機会も多くなってきました。折角なのでこちらにも少し同じことを備忘録として残していければと思います。以前、下記のようなことを書いてプチバズったことがあるのですが、同じよ...
技術記事 fan-in/fan-out から見たDNN
DNN(Deep Neural Network)というといわゆる下記のような構成のものが基本として思い浮かぶかと思います。CNN から Transformer までいろんなネットワーク構成がありますが部分を見たときにはネットワーク中にありと...
技術記事 FPGAにおけるAIを考察する
FPGAの能力ここでは私がよく使っている AMD の Kria KV260 ボードを例に取り上げて具体的な話をしてみようと思います。リソース名個数容量演算DSP1,248Multiply and AddLUT117,12064 bit(LU...
LUT-Network LUT-Networkの蒸留とMobileNet風構成とセマンティックセグメンテーション
はじめに従来のパーセプトロンモデルを使った学習ではなく、回路そのものを微分してFPGAを直接学習してしまおうという当サイトオリジナルのディープラーニングLUT-Networkですが、ここのところ深いネットを学習させるために蒸留(Knowle...
LUT-Network LUT-Networkの蒸留(Distillation)について
今日は、Networkの蒸留(Distillation)について考察してみたいと思います。LUT-Networkに限らないのですが、その課題に学習時のGPUのメモリの不足と、学習時間の問題があります。例えばMobileNetという軽量なネッ...
LUT-Network FPGAでのDNN(Deep Neural Network)の整理(LUT-Netまとめ)
はじめに現在DNN(Deep Neural Network)の実装において、FPGAの活用はしばし議論の対象になっています。もちろんDNN分野全体からするとニッチな部類に入るとは考えますが、FPGAベンダーはここに非常に力を入れており、作成...
LUT-Network LUT-NetのFPGAリソースについて
久しく作業が止まっていましたが、今日はLUT-Netと従来のネットワークとのFPGA化したときのリソース規模の違いを俯瞰しておきたいと思います。あらかじめ断っておきますが、ここで行う比較は認識率が異なるので公平な比較ではありません。通常のN...
LUT-Network ICCE BERLIN 2019にてLUT-Network発表
引き続きのアナウンスとなりますが、ICCE BERLIN 2019 にて LUT-Network を発表頂きます。例によって私は参加できないのですが、こちらは私も名前を入れていただいております。Sunday, September 8 17:...