投稿者: 宮地 敏明

LLM を使った自己認識プログラム

LLM 自体の学習自体は別物として、 LLM を便利な部品として使い自己認識をするプログラムの実験ができないだろうか。
以下のようなサイクルの中で、自プログラムを認識できる(ps や　ls も使える)ようにしておけば評価プログラムに
自プログラムの状況関数(法則の記憶数とか)を加えることにより自己認識をするようになるのではないだろうか。

ランダムシード + 内的要請
   ↓ LLM で計画選定
実行計画
   ↓ 監視プログラムの元で実行
実行環境
   ↓ 監視プログラムにより記録
1次記憶(現象記憶)
   ↓ LLM で整理
2次記憶(エピソード・因果記憶)
   ↓ LLM で抽象化        ↓ 評価プログラムにより
3次記憶(法則記憶)      内的要請

やっぱり言語処理はリスト処理でも可能なのでは

すごく大雑把に考えて、Attention機構がトークンが持つベクトルのうちの一つの次元を強調するものなら、assocリストの一つの要素を選択するのとあまり変わらないのではないか。
一つのassocリストの処理だけを考えると非常に離散的だけど、同じようなassocリストが集団となって処理される場合、大域的に見ると連続的な操作・学習のためのバックプロパゲーションも可能なのではないか。
もしそれがうまく行くなら、学習・推論のための電力消費を減らせるかもしれない。
例えば、SSD上に多数のリストを保管し、処理過程ではそのうちの一部のリストがメモリに載るだけとなる。その「一部」の選択はある程度ランダムなものである。（大脳の神経系も記憶集団のうち一部の神経しか発火していないのではないかとも思っている。）