当サイトでは主にFPGA(Field Programmable Gate Array)という、電気回路そのものをプログラムできるデバイスを用いて、新しいコンピューティングの形を提案することを目的に開発を行っております。
特殊なデバイスと想像されるかもしれませんが、マイコンやCPUとほぼ同じ価格帯で、安いものでは数百円、高価なものは数万円から数百万円まで各社の製品ラインナップがあります。プログラミングは難しいものの、演算能力や低消費電力性はCPUを凌駕することも可能です。
CPUやGPUでは実現できない超リアルタイムな新しい計算機応用をご覧ください。
超低遅延認識 LUT-Network(微分可能回路記述の深層学習)
本来難しいプログラムであるはずのFPGAの回路構造を直接的に誤差逆伝搬法で学習させてしまい、誰もが簡単にFPGAの能力を引き出せ、ナノ秒オーダーの処理にも使える新しい形の深層学習ネットワークを開発しています。
カメラからの画像をメモリに溜めることな直接的再構成可能回路で認識演算を行い、ダイレクトにOLEDに出力させる実験です。１ミリ秒（1000分の１秒）以下の遅延で、まるでただのガラスを見ているような体感の中、しっかり画像認識がなされています。
安価なFPGAで１ミリ秒で行える演算量には上限がありますが、CPU/GPUでは行えない高速応答にはLLMなどとはまた違った新しい可能性があります。
超低遅延 非接触動き量計測(低遅延オプティカルフロー計算)
安価な Raspberry PI 用カメラを市販のFPGAボードに接続し、特殊な設定を行い小さい画像サイズながら 1000fps という高速度撮影を行いながら１ミリ秒(1000分の1秒)単位で非接触で動き量を計測しています。
理屈上は500Hz 以下の振動成分の計測が非接触で行えますので、既存システムに手を加えることなく異常検知や故障予知などの機能を追加できる可能性を持ちます。
動きはDACなどで電圧として出力することも可能ですので、ドローンなど揺れる環境での利用や、動く物体の追従把持、対象物の制振制御などに応用できる可能性もあります。
ゼロ遅延描画 Real-Time GPU
カメラだけではシステム全体の性能は速くなりません。当サイトでは高速な出力画像生成に取り組んでおります。
従来のようなメモリに画像を作ってからディスプレイに転送するのではなく、ディスプレイに転送しながら映像生成しているので、超低遅延かつ省メモリです。
Raspberry Pi Camera V2 で1000fps の高速度撮影
Raspberry用カメラモジュールの Sony IMX219 を設定して、高速度撮影を行いました。
ローリングシャッターカメラですが数千円程度で手に入る非常に安価なセンサーですので、FPGAでの信号処理の幅が広がります。
高速OLED駆動 １ミリ秒で表示完了
小さいながらもOLEDの設定をデータシートの仕様いっぱいまで設定して高速駆動しています。高速カメラと組み合わせるとARなどに向いた遅延のない映像処理が可能です。
電脳メガネ開発計画
低遅延なリアルタイム信号処理ができてくると、遅延なしで人の視覚に画像処理を施せる可能性が見えてきます。