概要紹介
オンセミコンダクター社 PYTHON300 と Spartan7 を用いた研究開発向けの小型のカメラモジュールです。ビジョンシステムの研究開発やFPGAプログアミングの入門に活用できます。
主に AMD社の Kria KV260 ビジョン AI スターター キット をターゲットにしておりますが、少し速度を落とせば Digilent 社の Zybo Z7 などでの接続も確認しております。また理屈上はソフトウェアさえ開発すれば Raspberry PI に繋げることも可能なはずの構成になっています。
PYTHON300センサーはデータシートが公開されておりレジスタ仕様など基本的な情報が公開されております、また Spartan-7(FPGA) からはPMOD互換のGPIOピンを備えておりますので、FPGA プログラミングを自分で行えば、イメージセンサーの細かい設定変更や、外部のロボットや照明などの装置と同期させたシャッタータイミング制御、ビジョンセンシング結果の高速フィードバックなどにも活用できます。
またこのセンサーは 640×480で 815fps の性能があり、画像サイズを少し小さくすれば1000fpsを超える撮影も行うことができます。
Spartan7 から KV260 へは 1250Mbps の 2レーンの DPHY で通信できますので最大で 2.5Gbps のデータ転送が行えますので、NROTモードであれば PYTHON300 のすべてのデータを送ることが可能です(ZYBO-Z7 の場合は 950Mbps 2レーンで 1.9Gbps が上限となります)。
グローバルシャッターの特性と、高速低遅延なFPGAの組み合わせで、低遅延なビジュアルフィードバックや、照明と連動したマルチスペクトルや照度差ステレオなどの各種アクティブ計測、外部機器の動作と同期した特殊撮影など様々な応用が考えられます。
仕様
カメラモジュールをKV260に繋いだ場合のシステム構成図が下記となります。
回路図なども開示いたします。
仕様は下記の通りです、
| 項目 | 仕様 |
| イメージセンサー | オンセミコンダクター PYTHON300 モノクロ：NOIP1SN0300A-QTI カラー ： NOIP1SN0300A-QTI |
| FPGA | AMD Spartan-7 (XC7S6-2FTGB196C) |
| MIPIコネクタ | Raspberry PI 互換 15pin コネクタ 差動信号2レーン (各最大1250Mbps) I2C信号線 GPIO線 x 2bit 3.3V給電 |
| クロック | 50MHz x 1 72MHz x 1 |
| 汎用I/O | PMOD仕様コネクタ x 1 |
| JTAGコネクタ | Xilinx標準仕様(2×7 2mmピッチ) x 1 |
現在まだ設定を模索中ですが、KV260 に伝送可能な状態で下記のようなフレームレートでの撮影が出来そうです。
撮影動画
フリッカーの強いLED照明下で撮影してしまい 明滅はありますが 1000fps で撮影実験を行いました。画質調整は今後まだまだ改善の余地がありそうですが、研究開発への利用可能性が見えてまいりました。
応用例
KV260などの SoC-FPGA と接続することで、大容量FPGAを使ったリアルタイムビジョンの研究開発に各種応用が可能です。また SoC-FPGA は Linux が動作し、大容量の SDRAM も備えていますので、IoTとして複数機器連携やクラウドの活用なども可能で、幅広い応用実験に利用可能です。
マルチスペクトル照明計測の例
グローバルシャッターカメラでは照明とシャッターを同期させた高速度撮影も容易です。
沢山の色のLEDを用意しておいて発光パターンを変えながら撮影するだけでマルチスペクトル計測が可能です。
加えてこれが高速フレームレートになってくると、従来の30fpsなどのカメラの１フレーム時間で何種類もの条件で撮影が完了し、かつ周波数が高いため周囲の人間にフリッカーなども感じさせません。
このような撮影では、人間の目では見えないものが検出できるため、異物検知など様々な用途で利用されます。加えてFPGAから露光も発光も直接制御できますのでこれらの強度や順序を動的に適応制御するようなアルゴリズム検討も可能です。
なにより今はAIによる学習が可能ですので、RGBの3チャネルデータの学習ではできない高度な画像認識が生み出せる可能性が広がります。
ビジュアルフィードバックへの応用
当研究所ではFPGAを用いたオプティカルフローによる動き計測や AI認識 など 1ms 級の低遅延での非接触画像認識などさまざまなリアルタイムビジョンアルゴリズムを研究しております。
同様に、これらとグローバルシャッターカメラを組み合わせることで様々な応用が期待できます。
- 非接触での振動計測による故障検知／予知
- 振動環境下での画像認識
- 振動フィードバックによる制振制御
- ランダムに動くものの把持
- 遅延なく人間の動きに追従するアシストロボ
などなど、様々な応用研究に活用可能です。