2026 年内存价格水涨船高,2025 年 618 升级的 DDR5 32 GB * 2 的内存当时才 1500,现在价格已经轻松过万,而且还不好买到。显卡和固态硬盘也随之开始涨价,大部分产能都逐步向 AI 算力领域倾斜。AI Max+ 395 是 AMD 在 2025 年初发布的一款 AI 芯片,其核心优势之一就是搭载了 128 GB 的统一内存,当时搭载该芯片的迷你主机也就一万五左右。当时选择入手了一台 48 GB 统一内存的 M4 Pro Mac mini,除了可以跑一跑本地 AI,也可以作为自己的主力开发主机。不过随着 AI 的变化和发展,48 GB 的统一内存就开始有些捉襟见肘,Mac mini 除了部署本地 AI 外还开着各种其他应用,内存整体上就比较吃紧。好在这一年半来 AI Max+ 395 的机器并没有涨价太多,最后以两万左右的价格购入了一台包含 2 TB 存储的小主机。不要问为什么不买有着同样 128 GB 统一内存和更好的 CUDA 生态的 DGX Spark,问就是买不起……
我对这台有着 128 GB 统一内存的 AI Max+ 395 小主机的定位比较明确,部署本地 AI 和其他应用服务。这里说的部署 AI 服务指的是文本生成模型,也就是我们在 Agent 中常用的模型,并不包括图片和视频生成模型,图片生成还好,视频生成对于这台小主机就真是难为它了。再部署一些嵌入(Embedding)、决策(System One)、语音识别(ASR),语音生成(TTS)等模型倒还是绰绰有余的,除此之外还可以留出一部分 CPU 资源,用于部署数据库和应用服务,总之核心目的就是榨干这台小主机的所有性能。
AI Max+ 395
首先我们来了解下 AI Max+ 395 芯片的架构,其集成了 CPU、GPU 和 NPU,并支持统一内存架构。
根据官方资料,AI Max+ 395 芯片可提供 126 TOPS 的 AI 算力,各核心部分的参数和性能如下:
| 硬件 | 参数 | 性能 |
|---|---|---|
| CPU | Zen 5 架构,16 核心,32 线程,3.0~5.1 GHz | |
| GPU | 8060S,RDNA 3.5 架构,40 个计算单元,2900 MHz | 最高 60 TFLOPS |
| NPU | XDNA 2 架构 | 最高 50 TOPS |
| 内存 | 256-bit LPDDR5X,128 GB 统一内存 |
在这里比较容易忽视的就是 NPU,大部分 AI 推理框架主要使用 GPU,如果把这 50 TOPS 的 NPU 用上才算是真正榨干这个芯片的全部算力。至于 CPU 感觉很难用满,只有在编译一些程序启用全部核心时,才能听到风扇呜呜地转。所以如果长时间高负载运转,将小主机放在一个离睡觉远一些的地方会是一个不错的选择。
系统
作为一个私有服务器使用,我选择安装 Ubuntu 26.04 作为操作系统而非 Windows。AMD 的整体生态对 Ubuntu 系统支持的也相对较好,Ubuntu 系统对内存的占用相对 Windows 也更少,这样就可以腾出更多的内存给到其他应用。
显存分配
官方宣称至多可以将 128 GB 统一内存中的 96 GB 划分给显卡使用。在开机时反复按 F2 或 Delete 键,或者在开机时通过命令行输入如下命令进入 BIOS 设置页面:
sudo systemctl reboot --firmware-setup
通常可以在 Advanced - GFX Configuration 中找到 iGPU Configuration,根据实际情况将其设置为自定义,并将 UMA Frame buffer size 设置为 96 GB 即可划分 96 GB 作为固定显存。为了方便后续安装驱动等操作,建议将 Security 中的 Secure Boot 设置为 Disabled。
由于 AI Max+ 395 采用统一内存架构,实际上并没有固定显存的概念,在 Linux 上可以通过 TTM(Translation Table Manager)配置可供 GPU 使用的 GTT 系统内存。首先在 BIOS 中将 UMA Frame buffer size 设置为最小值,例如 1 GB。进入系统后运行如下命令修改内核启动参数 1 2 3:
sudo vi /etc/default/grub
找到 GRUB_CMDLINE_LINUX_DEFAULT 行修改为:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash ttm.pages_limit=27648000 ttm.page_pool_size=27648000"
其中,ttm.pages_limit 和 ttm.page_pool_size 的计算公式为:
$$ \dfrac{\text{大小 GiB} \times 1024 \times 1024}{4.096} $$
运行如下命令更新并重启电脑:
sudo update-grub
sudo reboot
重启后输入如下命令查看内存分配:
sudo dmesg | grep "amdgpu.*memory"
[ 3.605754] amdgpu 0000:c6:00.0: 1024M of VRAM memory ready
[ 3.605755] amdgpu 0000:c6:00.0: 108000M of GTT memory ready.
ROCm
ROCm(Radeon Open Compute)是 AMD 推出的开源 GPU 计算软件栈与平台,用于面向 AI 与高性能计算(HPC)的异构计算开发。它在定位上与 NVIDIA CUDA 类似,支持从单张 GPU 到多节点集群的训练、推理与计算加速。
进入 ROCm 官网,在 Device family 中选择 AMD Ryzen,在 Use case 中选择 Compute + graphics,再选择对应的系统和版本,通过 amdgpu-install 的方式安装驱动和 ROCm。
运行如下命令将当前用户添加至 render 和 video 系统组:
sudo usermod -a -G render,video $LOGNAME
运行如下命令配置 GPU 访问权限:
sudo tee /etc/udev/rules.d/70-amdgpu.rules << EOF
KERNEL=="kfd", GROUP="render", MODE="0666"
SUBSYSTEM=="drm", KERNEL=="renderD*", GROUP="render", MODE="0666"
EOF
sudo udevadm control --reload-rules
sudo udevadm trigger
重启电脑后,运行如下命令安装 amdgpu-install:
sudo apt update
wget https://repo.radeon.com/amdgpu-install/31.70/ubuntu/resolute/amdgpu-install_31.70.317000-1_all.deb
sudo apt install ./amdgpu-install_31.70.317000-1_all.deb
运行如下命令可以获取可安装的组件:
sudo amdgpu-install --list-usecase
amdgpu-install 可安装组件
If --usecase option is not present, the default selection is
"dkms,graphics,opencl,hip"
Available use cases:
dkms (to only install the kernel mode driver)
- Kernel mode driver (included in all usecases)
graphics (for users of graphics applications)
- Open source Mesa 3D graphics and multimedia libraries
multimedia (for users of open source multimedia)
- Open source Mesa 3D multimedia libraries
workstation (DEPRECATED)
- Open source Mesa will be installed instead (see "graphics")
rocm (for users and developers requiring full ROCm stack)
- OpenCL (ROCr/KFD based) runtime
- HIP runtimes
- Machine learning framework
- All ROCm libraries and applications
rocmdev (for developers requiring ROCm runtime and
profiling/debugging tools)
- HIP runtimes
- OpenCL runtime
- Profiler, Tracer and Debugger tools
rocmdevtools (for developers requiring ROCm profiling/debugging tools)
- Profiler, Tracer and Debugger tools
lrt (for users of applications requiring ROCm runtime)
- ROCm Compiler and device libraries
- ROCr runtime and thunk
opencl (for users of applications requiring OpenCL on Vega or later
products)
- ROCr based OpenCL
- ROCm Language runtime
openclsdk (for application developers requiring ROCr based OpenCL)
- ROCr based OpenCL
- ROCm Language runtime
- development and SDK files for ROCr based OpenCL
hip (for users of HIP runtime on AMD products)
- HIP runtimes
hiplibsdk (for application developers requiring HIP on AMD products)
- HIP runtimes
- ROCm math libraries
- HIP development libraries
openmpsdk (for users of openmp/flang on AMD products)
- OpenMP runtime and devel packages
mllib (for users executing machine learning workloads)
- MIOpen hip/tensile libraries
- Clang OpenCL
- MIOpen kernels
mlsdk (for developers executing machine learning workloads)
- MIOpen development libraries
- Clang OpenCL development libraries
- MIOpen kernels
asan (for users of ASAN enabled ROCm packages)
- ASAN enabled OpenCL (ROCr/KFD based) runtime
- ASAN enabled HIP runtimes
- ASAN enabled Machine learning framework
- ASAN enabled ROCm libraries
sudo apt install libatomic1 libquadmath0。运行如下命令安装相关组件:
sudo amdgpu-install --usecase=dkms,graphics,rocm,opencl,hip,hiplibsdk --gfxversion=gfx1151
sudo apt install amdrocm-blas-dev amdrocm-ccl-dev。安装完毕后通过 amd-smi 命令可以验证安装结果:
+------------------------------------------------------------------------------+
| AMD-SMI 27.2.0+2a0e6e67 |
| amdgpu Version: 7.2.3.31700000 |
| ROCm Version: 10.2.0 |
| VBIOS Version: 00107962 |
| Platform: Linux Baremetal |
|-------------------------------------+----------------------------------------|
| BDF GPU-Name | Mem-Uti Temp UEC Power-Usage |
| GPU HIP-ID OAM-ID Partition-Mode | GFX-Uti Fan Mem-Usage |
|=====================================+========================================|
| 0000:c6:00.0 ...deon 8060S Graphics | N/A 45 °C 0 6/N/A W |
| 0 0 N/A N/A | 0 % N/A 385/65536 MB |
+-------------------------------------+----------------------------------------+
+------------------------------------------------------------------------------+
| Processes: |
| GPU PID Process Name GTT_MEM VRAM_MEM MEM_USAGE CU % SDMA |
|==============================================================================|
| No running processes found |
+------------------------------------------------------------------------------+
Vulkan
Vulkan 是由科纳斯组织(Khronos Group)开发的跨平台、低开销 2D/3D 图形与并行计算应用程序接口(API)。在 Linux 中很多软件通过 Vulkan 提供通用 GPU 支持,为方便后续编译其他软件源码,可选安装相关依赖:sudo apt install libvulkan-dev glslc spirv-headers。
XDNA
AMD XDNA 是 AMD 基于赛灵思(Xilinx)技术开发的神经网络处理器(NPU)微架构,主要用于加速本地 AI 推理与信号处理。
通过 Ryzen AI 官网 可以下载最新的 XDNA 驱动。目前官方提供的预编译安装包为 Ubuntu 24.04 系统版本,如下通过源码方式编译安装。克隆 XDNA 驱动源代码仓库:
git clone https://github.com/amd/xdna-driver.git --recursive
运行如下命令安装依赖:
cd xdna-driver
sudo ./tools/amdxdna_deps.sh
运行如下命令编译并构建驱动安装包:
cd xdna-driver
cd xrt/build
./build.sh -npu -opt
cd ../../build
./build.sh -release
运行如下命令安装驱动:
cd xdna-driver
sudo apt install ./xrt/build/Release/xrt*.deb
sudo apt install ./build/Release/xrt*.deb
运行如下命令修改内存限制:
sudo mkdir -p /etc/security/limits.d
sudo tee /etc/security/limits.d/99-amdxdna.conf > /dev/null << 'EOF'
* soft memlock unlimited
* hard memlock unlimited
EOF
重启系统后运行如下命令验证是否生效:
ulimit -l
结果为 unlimited 表示成功。运行如下命令查看并验证 NPU 运转情况:
source /opt/xilinx/xrt/setup.sh
xrt-smi examine
xrt-smi validate
xrt-smi examine 结果
System Configuration
OS Name : Linux
Release : 7.0.0-44-generic
Machine : x86_64
CPU Cores : 32
Memory : 62651 MB
Distribution : Ubuntu 26.04.1 LTS
GLIBC : 2.43
Model : ???
BIOS Vendor : ???
BIOS Version : 1.09
Processor : AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
XRT
Version : 2.27.0
Branch : HEAD
Hash : 06c43a7f93fee129d32def1d372e17a8e69c05d2
Hash Date : Tue, 10 Nov 2026 10:38:00 -0800
amdxdna Version : 2.27.0_20261122, 8a5d53da974897260839f1592b1c8d436b361313
virtio-pci Version : 7.0.0-44-generic
NPU Firmware Version : 1.1.2.65
Device(s) Present
|BDF |Name |Architecture |Topology |
|----------------|----------------|--------------|----------|
|[0000:c7:00.1] |NPU Strix Halo |aie2p |6x8 |
xrt-smi validate 结果
WARNING: User doesn't have admin permissions to set performance mode. Running validate in default mode
Validate Device : [0000:c7:00.1]
Platform : NPU Strix Halo
Power Mode : default
-------------------------------------------------------------------------------
Test 1 [0000:c7:00.1] : gemm
Details : TOPS: 51.0
Test Status : [PASSED]
-------------------------------------------------------------------------------
Test 2 [0000:c7:00.1] : latency
Details : Average latency: 44.0 us
Test Status : [PASSED]
-------------------------------------------------------------------------------
Test 3 [0000:c7:00.1] : throughput
Details : Average throughput: 94117.0 ops/s
Test Status : [PASSED]
-------------------------------------------------------------------------------
Validation completed
推理框架
llama.cpp
llama.cpp 是一个基于 C/C++ 实现的高性能、大模型本地推理框架。它的核心目标是:让大语言模型能够在不同硬件平台上,以较低的资源开销运行,而不必依赖 Python、PyTorch 等完整的深度学习运行环境。
在 Releases 页面可以下载对应系统预编译好的程序,如下介绍如何通过源码编译进行安装。
运行如下命令克隆源代码仓库:
git clone https://github.com/ggml-org/llama.cpp
运行如下命令生成 ROCm 和 Vulkan 构建配置:
cmake -S . -B build_hip \
-DGGML_HIP=ON \
-DGPU_TARGETS=gfx1151 \
-DCMAKE_C_COMPILER="/opt/rocm/llvm/bin/clang" \
-DCMAKE_CXX_COMPILER="/opt/rocm/llvm/bin/clang++" \
-DBUILD_SHARED_LIBS=OFF \
-DGGML_CUDA_ENABLE_UNIFIED_MEMORY=ON \
-DCMAKE_BUILD_TYPE=Release
cmake -S . -B build_vulkan \
-DGGML_VULKAN=ON \
-DBUILD_SHARED_LIBS=OFF \
-DCMAKE_BUILD_TYPE=Release
运行如下命令编译 ROCm 和 Vulkan 版本:
cmake --build build_hip --config Release -- -j $(nproc)
cmake --build build_vulkan --config Release -- -j $(nproc)
运行如下命令将其安装至 ~/.local/bin 目录:
mkdir -p ~/.local/bin/llama-hip/
cp build_hip/bin/llama ~/.local/bin/llama-hip/
ln -s ~/.local/bin/llama-hip/llama ~/.local/bin/llama_hip
mkdir -p ~/.local/bin/llama-vulkan/
cp build_vulkan/bin/llama ~/.local/bin/llama-vulkan/
ln -s ~/.local/bin/llama-vulkan/llama ~/.local/bin/llama_vulkan
创建模型配置文件 llama-cpp-config.ini 并下载模型至对应目录,示例内容如下:
version = 1
[*]
ctx-size = 8192
[Qwen3.8-27B]
batch-size = 512
cache-type-k = bf16
cache-type-v = bf16
ctx-size = 262144
flash-attn = on
jinja = true
kv-offload = true
kv-unified = true
model = /path/to/ggml-org/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf
mmproj = /path/to/ggml-org/Qwen3.8-27B-GGUF/mmproj-Qwen3.8-27B-f16.gguf
n-gpu-layers = 99
parallel = 1
spec-draft-n-max = 4
spec-draft-p-min = 0.2
spec-type = draft-mtp
threads = 16
threads-batch = 16
ubatch-size = 512
[embeddinggemma-2]
embedding = true
model = /path/to/ggml-org/embeddinggemma-2-GGUF/embeddinggemma-2-BF16.gguf
mmproj = /path/to/ggml-org/embeddinggemma-2-GGUF/mmproj-embeddinggemma-2-BF16.gguf
[vllm-d3-flash]
model = /path/to/ggml-org/vllm-d3-flash-GGUF/vllm-d3-flash-Q4_K_M.gguf
mmproj = /path/to/ggml-org/vllm-d3-flash-GGUF/mmproj-vllm-d3-flash-BF16.gguf
运行如下命令启动服务:
llama_hip server \
--host 0.0.0.0 \
--port 8001 \
--models-preset /path/to/llama-cpp-config.ini
llama_vulkan server \
--host 0.0.0.0 \
--port 8001 \
--models-preset /path/to/llama-cpp-config.ini
audio.cpp
audio.cpp 是一个面向音频 AI 模型的轻量级 C/C++ 推理框架,目标是让开发者能够在本地设备上运行语音相关模型,而不必依赖 Python、PyTorch 等完整的深度学习运行环境。
在 Releases 页面可以下载对应系统预编译好的程序,如下介绍如何通过源码编译进行安装。
运行如下命令克隆源代码仓库:
git clone https://github.com/0xShug0/audio.cpp
运行如下命令生成 ROCm 和 Vulkan 构建配置:
cmake -S . -B build_hip \
-DENGINE_ENABLE_HIP=ON \
-DGPU_TARGETS=gfx1151 \
-DCMAKE_C_COMPILER="/opt/rocm/llvm/bin/clang" \
-DCMAKE_CXX_COMPILER="/opt/rocm/llvm/bin/clang++" \
-DAUDIOCPP_DEPLOYMENT_BUILD=ON \
-DCMAKE_BUILD_TYPE=Release
cmake -S . -B build_vulkan \
-DENGINE_ENABLE_VULKAN=ON \
-DAUDIOCPP_DEPLOYMENT_BUILD=ON \
-DCMAKE_BUILD_TYPE=Release
运行如下命令编译 ROCm 和 Vulkan 版本:
cmake --build build_hip --config Release -- -j $(nproc)
cmake --build build_vulkan --config Release -- -j $(nproc)
运行如下命令将其安装至 ~/.local/bin 目录:
mkdir -p ~/.local/bin/audio-cpp-hip/
cp build_hip/bin/audiocpp_* ~/.local/bin/audio-cpp-hip/
ln -s ~/.local/bin/audio-cpp-hip/audiocpp_server ~/.local/bin/audiocpp_server_hip
mkdir -p ~/.local/bin/audio-cpp-vulkan/
cp build_vulkan/bin/audiocpp_* ~/.local/bin/audio-cpp-vulkan/
ln -s ~/.local/bin/audio-cpp-vulkan/audiocpp_server ~/.local/bin/audiocpp_server_vulkan
创建模型配置文件 audio-cpp-config.json 并下载模型至对应目录,示例内容如下:
{
"host": "0.0.0.0",
"port": 8002,
"lazy_load": true,
"models": [
{
"id": "Ming-3.0-Audio-Tiny-ASR",
"family": "ming3_audio",
"path": "/path/to/audio-cpp/Ming-3.0-Audio-Tiny-GGUF/ming-3.0-audio-tiny-q4_k.gguf",
"task": "asr",
"mode": "offline",
"default_request_options": {
"enable_thinking": false,
"prompt": "Please transcribe this speech.",
"max_tokens": 256,
"max_audio_tokens": 1000,
"guidance_scale": 2,
"sigma": 0.25,
"temperature": 0,
"trim_silence": true,
"text_chunk_size": 100,
"text_chunk_mode": "tag_aware"
}
},
{
"id": "Ming-3.0-Audio-Tiny-TTS",
"family": "ming3_audio",
"path": "/path/to/audio-cpp/Ming-3.0-Audio-Tiny-GGUF/ming-3.0-audio-tiny-q4_k.gguf",
"task": "tts",
"mode": "offline",
"default_request_options": {
"guidance_scale": 2,
"sigma": 0.25,
"temperature": 0,
"trim_silence": true
},
"voice_presets": {
"xiaohei": {
"voice_ref": "/path/to/voice.wav",
"reference_text": "参考声音文本"
}
}
}
]
}
运行如下命令启动服务:
audiocpp_server_hip \
--backend hip \
--backend-impl gfx1151_v1 \
--config /path/to/audio-cpp-config.json
audiocpp_server_vulkan \
--backend vulkan \
--config /path/to/audio-cpp-config.json
FastFlowLM
FastFlowLM 是 AMD Ryzen AI 平台上的一款专门针对 NPU 优化的本地 AI 推理引擎。它的核心目标是:充分利用 AMD Ryzen AI 处理器内置的 NPU,在不依赖独立 GPU 的情况下运行 LLM、VLM、语音识别等 AI 模型,实现低功耗、本地化、高效率的 AI 推理。
在 Releases 页面可以下载对应系统预编译好的程序,如下介绍如何通过源码编译进行安装。
运行如下命令克隆源代码仓库:
git clone https://github.com/ROCm/FastFlowLM
运行如下命令安装依赖库:
sudo apt install ninja-build libedit-dev libxrt-dev uuid-dev libdrm-dev patchelf
运行如下命令获取 HRX 依赖:
./hrx-integration/fetch-hrx-release.sh
运行如下命令生成构建配置:
cd src
cmake -S . -B build \
-DFLM_USE_HRX=ON \
-DCMAKE_PREFIX_PATH=../hrx-integration/.hrx-release/fastflow-sdk-linux-x86_64 \
--preset linux-portable
运行如下命令编译:
cmake --build build --preset linux-portable -- -j $(nproc)
运行如下命令将其安装至 ~/.local/bin 目录:
cmake --install build --prefix ~/.local/bin/fastflowlm
ln -s ~/.local/bin/fastflowlm/flm ~/.local/bin/flm
运行如下命令验证:
flm validate
你应该得到类似输出:
[Linux] Kernel: 7.0.0-44-generic
[Linux] NPU: /dev/accel/accel0 with 8 columns
[Linux] NPU FW Version: 1.1.2.65
[Linux] amdxdna version: 0.19
[Linux] Memlock Limit: infinity
[Linux] NPU platform: aie2p
运行如下命令启动服务:
flm serve \
--host 0.0.0.0 \
--port 8003 \
--cors-origins "*" \
--pmode turbo \
--embed embed-gemma:300m \
--asr r2t2:1.7b \
--decision d3:flash \
minicpm-ocr:1.0
此时可以同时启动一个 Embedding 模型、一个 ASR 模型、一个 Decision 模型和一个多模态模型(OCR 模型),模型文件存储在 ~/.config/flm/models 中,设置 FLM_MODEL_PATH 环境变量可以修改模型存储路径。
0.0.0.0 部署服务,且均未设置 API Key,请避免将相关端口暴露在公网环境。-
https://www.jeffgeerling.com/blog/2025/increasing-vram-allocation-on-amd-ai-apus-under-linux/ ↩︎
-
https://rocm.docs.amd.com/en/latest/reference/system-optimization/rdna3-5.html ↩︎
-
https://www.amd.com/en/developer/resources/technical-articles/2026/how-to-run-a-one-trillion-parameter-llm-locally-an-amd.html ↩︎