はじめに Z Image Truboに関してはこちら。 github.com NVlabs/Sanaに関してはこちら。 github.com 結果 Z Image Turboの結果 NVlabs/Sanaの結果 「HuggingFace」の文字が破綻しています。 しかも文字が浮いています。 Pythonスクリプト Z Image Turbo impor…

はじめにOllamaがVulkanをサポートしたのでIntel GPUを使用するのが非常に簡単になりました。 touch-sp.hatenablog.com今回はgtp-oss-20Bを使って翻訳アプリを作りました。 バックグラウンドでOllamaが起動していれば以下のpythonコードを実行するだけで使え…

oneAPI 2025.1のインストール こちら wget https://registrationcenter-download.intel.com/akdlm/IRC_NAS/cca951e1-31e7-485e-b300-fe7627cb8c08/intel-oneapi-base-toolkit-2025.1.0.651_offline.sh sudo sh ./intel-oneapi-base-toolkit-2025.1.0.651_off…

環境 Ubuntu 24.04 Intel Arc A770 以前Windows + CUDAの組み合わせで実行しました。 touch-sp.hatenablog.com 今回は Ubuntu + Intel GPU です。 はじめに Sarashina2.2-Vision-3Bは日本の知識が豊富なVision Language Modelです。 学習時に日本のデータを…

こちらのブログに書きました。 touch-sp.hatenablog.com

はじめにIntel Core Ultra 200番台（第二世代）には 内蔵GPU（iGPU）としてArcグラフィックスが載っています。そのArcグラフィックスを使ってgpt-oss-20Bを動かしてみました。使用したPCCopilot+PCに分類されるノートPCです。 「THIRDWAVE F-14LN5LA メモリ3…

はじめにIntel Core Ultra 200番台（第二世代）には 内蔵GPU（iGPU）としてArcグラフィックスが載っています。そのArcグラフィックスを使って中規模の言語モデルを動かしてみました。使用したPCCopilot+PCに分類されるノートPCです。 「THIRDWAVE F-14LN5LA …

はじめにIntel Arc A770を使っています。4bit量子化された「Gemma-3-12b-it」を使って速度を比較してみました。Vulkanバックエンドでのllama.cppの使い方はこちら。 SYCLバックエンドでのllama.cppはこちらからダウンロードした「 llama-cpp-ipex-llm-2.3.0b…

注意Gemma-3は最小モデルを除いて画像に対応しています。しかし、今回は画像を扱っていません。PC環境 プロセッサ Intel(R) Core(TM) i7-11700 実装 RAM 64.0 GB GPU Intel Arc A770 (VRAM 16GB)Ubuntu 24.04事前準備 sudo apt install build-essential cmak…

OSはUbuntu 24.04です。 GPUに関してはなんの設定も必要ありませんでした。 自動的にVulkanバックエンドで動いてくれました。実行方法こちらから「LM-Studio-0.3.13-2-x64.AppImage」をダウンロードしました。 その後は以下のとおりです。 chmod a+x LM-Stud…

はじめにOSはUbuntu 24.04です。vLLMの導入に関してはこちらを見て下さい。 touch-sp.hateblo.jp 量子化とServingCUDAでvLLMを使う場合と同様に量子化をするとうまく行きませんでした。IPEX-LLMが公開してくれている「api_server.py」を使うとうまく行きまし…

はじめにDockerを使う場合の記事をこちらに書いてます。 touch-sp.hateblo.jp また、IPEX-LLMを使わずにOpenVINOを使う記事も書いてます。 touch-sp.hateblo.jp touch-sp.hateblo.jp Python3.11のインストールPython3.12以上ではうまくいきません。 おそらく…

はじめに数日前にVulkanバックエンドでOllamaを動かしました。 touch-sp.hateblo.jp 今回はSYCLバックエンドで動かしてみます。Vulkanとの速度比較もしました。 以前にも同じことをしましたが、最近はIPEX-LLMチームが「Ollama Portable」というのを公開して…

Vulkanインストールこちらの通りにしました。 wget -qO - https://packages.lunarg.com/lunarg-signing-key-pub.asc | sudo apt-key add - sudo wget -qO /etc/apt/sources.list.d/lunarg-vulkan-1.4.304-noble.list https://packages.lunarg.com/vulkan/1.4…

初回 export DOCKER_IMAGE=intelanalytics/ipex-llm-serving-xpu:latest export CONTAINER_NAME=ipex-llm-serving-xpu-container sudo docker run -itd \ --privileged \ --net=host \ --device=/dev/dri \ -v /home/hoge/.cache/huggingface:/root/.cache/h…

はじめに以前Dockerを使ってvLLMを動かす記事を書きました。 touch-sp.hateblo.jp 今回はDockerを使わないでvLLMを動かします。PC環境 Ubuntu 24.04 Intel Arc A770手順事前準備１必要かどうかわかりませんがDockerファイルに記述されていたのでおそらく必要…

Dockerのインストールこちらを参照して下さい。Docker imageの作成 git clone https://github.com/vllm-project/vllm cd vllm docker build -f Dockerfile.openvino -t vllm-openvino-env .サーバー側Runデータの保存先「/home/hoge/data」は適宜変更して下…

インストールこちらからインストールします。sudoなしで実行できるように設定1. dockerグループを作成します（すでに存在する可能性あり） sudo groupadd docker2. 現在のユーザーをdockerグループに追加 sudo usermod -aG docker $USER3. グループの変更を…

インストールこちらからインストールします。削除 cd /opt/intel/oneapi/installer sudo ./installer

使用したPC Ubuntu 24.04 Python 3.12 Intel Arc A770Python環境通常のPyTorchとIPEX (Intel Extension for PyTorch)の２つの環境で動作確認しました。PyTorch accelerate==1.3.0 gradio==5.12.0 torch==2.6.0+xpu torchao==0.8.0 transformers==4.48.1IPEX …

バージョンアップしたり、方法が変わったら適宜追加します。 2025年11月27日記載 (PyTorch 2.9.x) 使用したPC 環境構築 グラフィックドライバーのインストール oneAPIなどのインストール PyTorchのインストール 2025年9月8日記載 (PyTorch 2.8.x) 使用したPC…

使用したPC Ubuntu 24.04 Intel Arc A770Python環境構築IPEXを使いました。 IPEXの導入方法はこちら。 python -m pip install torch==2.5.1+cxx11.abi intel-extension-for-pytorch==2.5.10+xpu oneccl_bind_pt==2.5.0+xpu --extra-index-url https://pytorc…

バージョンアップしたり、方法が変わったら適宜追加します。 使用したPC 2025年4月22日記載（torch==2.6.0） 環境構築 グラフィックドライバーのインストール PyTorchのインストール PyTorchのバージョン 2025年1月18日記載（torch==2.5.1） 環境構築 グラフ…