AI学习（2）——补:linux自启动llama
开机自启动
创建自启动脚本
样本
（之前已说明，不过多赘述）#!/bin/bash # 1. 初始化 Conda (请将路径替换为你实际的 miniconda/anaconda 安装路径) source /home/wuakaka/anaconda3/etc/profile.d/conda.sh # 2. 激活指定的虚拟环境 conda activate llama # 3. 执行你的启动指令 # 需要配置以下参数 APP_PATH=/llama应用所在目录 MOD_PATH=/模型所在目录 model_file="主LLM模型名称" MMPROJ="图片识别子模型名称" ctx_size=上下文窗口大小 PORT=端口号 # 开始运行----------------- # 检查当前目录是否存在 if [ ! -f "$APP_PATH/llama-server" ]; then echo "错误: 找不到 llama-server，请检查路径" exit 1 fi echo "启动-->" $APP_PATH/llama-server \ -m "${MOD_PATH}/$model_file" \ --mmproj "${MOD_PATH}/$MMPROJ" \ -ngl 99 \ -c ${ctx_size} \ -n 8192 \ --n-cpu-moe 999 \ --flash-attn on \ --jinja \ -t 8 \ --cache-type-k q4_0 \ --cache-type-v q4_0 \ --mlock \ --host 127.0.0.1 \ --port ${PORT}
添加服务文件
/etc/systemd/system/服务名称.service内容如下：
[Unit] Description=llamacpp Server in Conda Env After=network.target [Service] Type=simple # 运行该脚本的实际系统用户名 User=用户名 # 创建的启动脚本的绝对路径 ExecStart=/bin/bash /home/脚步路径+名称 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target更新服务
# 重载服务配置 sudo systemctl daemon-reload # 启动服务并设置开机自启 sudo systemctl enable --now 服务名称.service检查
# 查看服务状态 systemctl status 服务名称.service # 实时查看日志 sudo journalctl -u 服务名称.service -f局域网访问
- 只需要修改脚本中的
--host 0.0.0.0即可允许局域网内其他设备访问