ローカル環境で動く小さな小さなLLM |画像生成と会話するAIの魅力と可能性
https://note.com/chat_gpt777/n/n4e634e94db64
自分のパソコン内(ブラウザ)で使えます。ネットにデータを送らない。遊びに使ってみてください。へんてこな答えを返してくることが多いです。普通小型でも10GB程度は必要なのにこれは610MBです。
下記の動作デモで試してみてください。最初エンジン610MBをダウンロードしてから起動します。その後はダウンロード不要です。サインイン等も不要、無料です。
Qwen3-0.6B_WBD:ブラウザ・スマホ内で動く日本語を強化した小規模言語モデル
https://webbigdata.jp/post-21367/
Qwen3-0.6B_WBD ブラウザ動作デモ | webbigdata
https://webbigdata.jp/slm/
ブラウザデモはこちらから試せます。インストール不要・サーバー不要です。メモリが8GB以上搭載されていれば10年以上前のパソコンでも動きます。WASM + llama.cppによる完全クライアントサイド動作で、8bit量子化の610MBモデルがブラウザ上で推論します。
