投稿者: 宮地 敏明

やっぱり言語処理はリスト処理でも可能なのでは

すごく大雑把に考えて、Attention機構がトークンが持つベクトルのうちの一つの次元を強調するものなら、assocリストの一つの要素を選択するのとあまり変わらないのではないか。
一つのassocリストの処理だけを考えると非常に離散的だけど、同じようなassocリストが集団となって処理される場合、大域的に見ると連続的な操作・学習のためのバックプロパゲーションも可能なのではないか。
もしそれがうまく行くなら、学習・推論のための電力消費を減らせるかもしれない。
例えば、SSD上に多数のリストを保管し、処理過程ではそのうちの一部のリストがメモリに載るだけとなる。その「一部」の選択はある程度ランダムなものである。（大脳の神経系も記憶集団のうち一部の神経しか発火していないのではないかとも思っている。）