カテゴリー: 未分類

ollama で動かす gemma:2b を使って SAKURA の VPS の 4G タイプでどこまでできるか試してる。
https://www.taifu.jp/cgi/sall.cgi
ソースは以下。
https://github.com/taifushokai/sall

nVIDIA が提供している Chat with RTX は Windows11 で動く。
メモリは2.5GB程度消費してて、ディスクは30GBを越えた程度諸費。
試したのはRTX3060をつけた自作機だけど結構速い応答をする。

すでに日本語が使えるモデルが公開されていました。
https://ollama.com/library/gemma

LLM(大規模言語モデル)が皮肉にも量子化技術によりどんどん小型化しているようです。
とりあえず Gemma の 7b(70億パラメータ)版を動かしてみました。