はじめに
先日、私のところに訪ねてこられた下記の記事で紹介した秋穂正斗(手羽先)氏ですが、再び福岡に来る用事があるのでいろいろ聞きたいとのことで訪ねて来られたのでまた博多で会議室借りてディスカッションいたしました。
なにやら、経緯はよくわかりませんが、前回のお打ち合わせとの間に、一部の界隈で「国産LLMの人」として急に有名になられたそうで。
LUT構造の学習
お話伺っていると、FPGAのLUT構造をバックプロパゲーション(以下BP)を使わずに学習する方法を模索されているとの事。私が最初にナイーブな方法で学習可能なことを確認した後は、ひたすら如何に効率的なBPの方法を見つけるかに注力し、LUT-Networkの歴史 として Micro-MLP 方式を経て微分可能LUTにたどり着く流れをたどったのと真逆の方向を検討されていることになります。
詳しいことは秘密にされているようなのと、実際私もあまりよくはわかりませんでしたので、ここには書けませんが、本業がお忙しい中、寝る時間を削って実際に手を動かして試行錯誤されているのは、私の若いころと重なる部分もあり、若いっていいなぁ、と素直に思った次第です。
良くも悪くも、人がやらないことをやる人が居ないと人類進歩しませんので、若い方には大いにいろんな挑戦をして頂ければと思います。
差し当たって、方向性が違うのであまり私のやったことは役に立たないのではないかと危惧したのですが、LUT-Network で扱ってるネットの構造だけでもかなり役立ってるという事だったので、少しネットの説明をしたうえで、少しまとまった資料としてプロフィールにも書いている下記の２冊の私の記事を紹介させて頂きました。
「Interface 2024年12月号 別冊付録 Tang Primer 25KでFPGA開発 Vol.4」 の方で、LUT-Netowork のフラットなネットでのMNIST認識、「Interface 2024年10月号 別冊付録 FPGAマガジン特別版 No.3」の方で、CNN構造でのMNIST認識を紹介しております。
計算機の仕組み
話をしていて、意外だったのが「パイプライン処理って何ですか？」などと言った部分で、いわゆる計算機科学と呼ぶような領域はあまり習得されていないとのことでしたので、少しそのあたりのデジタル同期回路の基本的なところと、CPUやGPUのアーキテクチャや、その上での現在の計算機上でのAI学習や推論の課題やトレンドなど少しお話させて頂きました。
とりあえず、ありきたりですが、ヘネパタ読むと良いよと言うのはおススメさせて頂いた次第です。
コンピュータの構成と設計 MIPS Edition 第6版 上・下電子合本版
OD>定本ASICの論理回路設計: 高速・高信頼ディジタル・システムのための設計ノウハウ入門用FPGAボード
これも何が良いか聞かれて非常に困りました。私が使っているのはKV260ですが、初めてのひとにこれ紹介すると使えるようになるまでが長すぎて本質と関係ないところで嵌りそうな気がするからです。
とはいえ、PCと簡単に繋がらないFPGAボードだと入力に困りますしね。以前書いた下記のブログで書いた話そのものですね。
とりあえず、私が Interface の記事で使った Tang Nano 4k あたりの安いもので少し感触を掴んでから次を考えたらどうかと言うあたりでお茶を濁した回答となりました。
PYNQなど使いこなせれば KV260 で PYNQ でもいいのかもしれませんが。
この手の人が、この手の目的でお手軽に使えるボードは、私もいつか作りたいなと妄想はあるのですが、当分先にはなりそうです。
おわりに
たまに若い方とお話しすると、特にFPGAとか計算機とかをどう捉えておられるのかというあたりで、いろいろと気づきを頂きました。
他分野と連携していくうえで、まだまだFPGA周りのエコシステムの整備や、FPGAの良さを発信していく必要があるなと感じた次第です。
コメント