技術記事 MMCM/PLL の DRP ポートからの動的周波数変更
例によってこちらのカメラの開発途中に、Spartan-7 のDPHY-TXの速度を動的に変更したいという要望が出てきました。KV260 は DPHY の速度は 1レーンあたり 1250Mbps まで出るのですが、ZYBO Z7 では、950...
FPGA
技術記事 
技術記事 あらためてFPGA AI の壁を考えてみる
はじめに有難いことに私はFPGA界隈に居ながら若い方々とお話しさせて頂く機会を結構頂いている気がします。フリーランスのお仕事であったり、大学との共同研究であったり、Xで炎上した時の人だったり、様々ではあるのですが、FPGA で AI をやり...
技術記事 非リアルタイム処理について
当サイトはリアルタイムコンピューティングを謡っておりますが、反対に非リアルタイムとか、ノンリアルタイムと呼ばれるものの厄介さを少し取り上げてみたいと思います。リアルタイム処理には、ハード・リアルタイム、ソフト・リアルタイム、ファーム・リアル...
技術記事 カメラの種類(カラー／モノクロ、ローリング／グローバル)
はじめにタイトル長くなったのでカメラとしましたが、正確に言うと半導体イメージセンサーの話です。本当にいろんな種類があるのですが、メジャーなものとして非常にざっくりと、BAYER配列のカラーイメージセンサとモノクロイメージセンサの話と、ローリ...
技術記事 オプティカルフローの実験をしてみた
はじめにオプティカルフローのアルゴリズムとして有名な Lucas-kanade法(以下LK法)の実験をしてみたので記録に残しておきます。もともとローリングシャッターとグローバルシャッターの違いを実験していたのですが、途中から高速度カメラでの...
技術記事 カメラインターフェースとFPGA
はじめにFPGAは画像処理が得意であり、重たい計算を低消費電力で、リアルタイム保証をしながら計算できます。 FPGAを使って高速で応答性の良い画像処理をしたいという人も多いでしょう。この時、正しくカメラを選定しないと、せかっくのFPGAの性...
技術記事 AMD製FPGAのMIPI仕様調査
はじめに当サイトではこちらのような、物理層にMIPIコネクタを利用したカメラを開発しております。フルセットのMIPI規格そのものはオープンな仕様ではありませんので、オープンハードウェアを目指す当方の趣旨とは少し異なるのですが、それでもMIP...
技術記事 FPGAにおけるAIを考察する
FPGAの能力ここでは私がよく使っている AMD の Kria KV260 ボードを例に取り上げて具体的な話をしてみようと思います。リソース名個数容量演算DSP1,248Multiply and AddLUT117,12064 bit(LU...
LUT-Network LUT-Networkの蒸留とMobileNet風構成とセマンティックセグメンテーション
はじめに従来のパーセプトロンモデルを使った学習ではなく、回路そのものを微分してFPGAを直接学習してしまおうという当サイトオリジナルのディープラーニングLUT-Networkですが、ここのところ深いネットを学習させるために蒸留(Knowle...
LUT-Network LUT-Networkの蒸留(Distillation)について
今日は、Networkの蒸留(Distillation)について考察してみたいと思います。LUT-Networkに限らないのですが、その課題に学習時のGPUのメモリの不足と、学習時間の問題があります。例えばMobileNetという軽量なネッ...