技術記事 リアルタイムビジョンとは何なのか
ここ数年、若い学生さんとかやり取りする機会を頂いておりますが、特にAI方面の興味からFPGAに挑戦しようとする方々で、カメラとか計算機アーキテクチャとかハードウェア方面から少し遠い方々に、いろいろと私がやっていることが正しく伝わってなかった...
技術記事
技術記事 
技術記事 オプティカルフローの実験をしてみた
はじめにオプティカルフローのアルゴリズムとして有名な Lucas-kanade法(以下LK法)の実験をしてみたので記録に残しておきます。もともとローリングシャッターとグローバルシャッターの違いを実験していたのですが、途中から高速度カメラでの...
技術記事 カメラインターフェースとFPGA
はじめにFPGAは画像処理が得意であり、重たい計算を低消費電力で、リアルタイム保証をしながら計算できます。 FPGAを使って高速で応答性の良い画像処理をしたいという人も多いでしょう。この時、正しくカメラを選定しないと、せかっくのFPGAの性...
技術記事 AMD製FPGAのMIPI仕様調査
はじめに当サイトではこちらのような、物理層にMIPIコネクタを利用したカメラを開発しております。フルセットのMIPI規格そのものはオープンな仕様ではありませんので、オープンハードウェアを目指す当方の趣旨とは少し異なるのですが、それでもMIP...
技術記事 オンセミ社PYTHON300センサーを調べてみる
はじめに当サイトでは現在、オンセミ社様のPYTHON300というイメージセンサーと Spartan-7 FPGA を組み合わせて、KV260 向けにグローバルシャッターの高速度カメラモジュールを開発中です。ようやく少し動き始め、撮影を行った...
技術記事 リアルタイムRNNの考察
はじめに少し前に早稲田の学生さんとやり取りしていて、お絵描きしたのですが、埋まる前にこちらにも貼り付けて保全しておきたいと思います。以前下記の記事で書いた話の延長です。リアルで連続的な情報を使うという事従来CNNでは、ResNet にせよ ...
技術記事 BinaryBrainのやり残している研究
はじめに私が BinaryBrain を開発してからかなり経ってしまいましたが、当時適当に棚上げにしたままにしている技術課題は多数ありまして、原理的なところでまだまだ研究余地は沢山残っています。下記などでも少し書きましたが、純粋にネットワー...
技術記事 リアルタイムなAI認識(動画の連続性の活用)
はじめに最近、早稲田の学生さん向けに研究の種になりそうなアイデアを説明する機会も多くなってきました。折角なのでこちらにも少し同じことを備忘録として残していければと思います。以前、下記のようなことを書いてプチバズったことがあるのですが、同じよ...
技術記事 fan-in/fan-out から見たDNN
DNN(Deep Neural Network)というといわゆる下記のような構成のものが基本として思い浮かぶかと思います。CNN から Transformer までいろんなネットワーク構成がありますが部分を見たときにはネットワーク中にありと...
技術記事 FPGAにおけるAIを考察する
FPGAの能力ここでは私がよく使っている AMD の Kria KV260 ボードを例に取り上げて具体的な話をしてみようと思います。リソース名個数容量演算DSP1,248Multiply and AddLUT117,12064 bit(LU...