はじめに 元のモデルはこちらです。 huggingface.co Transformersで使えるのはこちらです。 huggingface.co 今回はTransformersを使って実行します。 環境 Ubuntu 26.04 ffmpegが必要です。 sudo apt install ffmpeg Python環境構築 PyTorchを使うための準備…

Driverをインストール こちらを見るとUbuntu 25.10までしか対応していないような書き方ですがUbuntu 26.04でも問題なく実行できました。 sudo apt-get update sudo apt-get install -y software-properties-common sudo add-apt-repository -y ppa:kobuk-tea…

.NETのインストール こちらの通りに行いました。 sudo apt-get update sudo apt-get install -y dotnet-sdk-10.0 方法 テンプレートのインストール dotnet new install Avalonia.Templates プロジェクトの作成 dotnet new avalonia.mvvm -o MyGuiApp cd MyGu…

使用したPC 別途GPUを搭載していないノートPCです。 Windows 11 Home Core Ultra 5 228V (Lunar Lake) Intel Arc 130V GPU 32GBメモリ 結果 nanbeige4.1-3b .\llama-bench.exe -m .\models\nanbeige4.1-3b-q4_k_m.gguf model size params backend ngl test t…

はじめに Nanbeige4.1-3Bはわずか3Bと小型ながら、Qwen3-32Bなどをベンチマークで上回っていると謳われています。 公式のHuggingFaceから図をお借りして載せておきます。 PC環境 Ubuntu 25.10 Python環境構築 uvを使っています。pyproject.tomlを載せておく…

はじめに Shisa.AIは日本の会社です。 Shisa-v2.1が日英バイリンガルモデルという事で翻訳アプリを作ってみました。 画面 Pythonスクリプト from threading import Thread import gradio as gr from transformers import ( AutoModelForCausalLM, AutoProces…

はじめに NVIDIAが公開している日本語に対応した9BパラメータのLLM「NVIDIA-Nemotron-Nano-9B-v2-Japanese」を試してみました。 vLLMで量子化を行って使おうとしましたがうまく行きませんでした。 こちらからGGUFファイルをダウンロードしてllama.cppから使…