Heurist miner快速部署图文指南

April 28th, 2024

1.配置需求

Heurist测试网提供两种积分：waifu point和Llama point。waifu point是通过运行词生图的sd模型获得的。Llama point是通过运行llm大语言模型获得的。在运行模型时，显卡型号没有限制，但显存是硬性门槛，需求显存越大的模型获得分数的系数也会更高。

下图为目前支持的llm模型，sd模型只有启用或排除sdxl两种模式，启用sdxl需要12G显存，排除sdxl模型目前我测试下来8G显存就可以跑

2.在gpu租赁平台运行miner

教程分为在租赁平台上运行和windows本地运行两个部分

2.1 在租赁平台上运行llm与sd

显卡租赁平台提供了运行的基础环境，因此门槛也是最低的，我这边以VAST平台作为演示，可以使用虚拟货币充值。演示使用3090 24g显存作为示例，因为性价比较高，还能同时运行llm与sd（同时运行也可能导致任务超时而拿不到积分）。

使用以上链接的模板，硬盘选择100G（3090双跑大概需要60g硬盘）

左边模板应该和图片一样，然后选择显卡租赁（地区选US的最佳，CN的不要选，下载网速最好选快点的，因为模型有几十g要下载）

接下来启动实例

如果启动后显示不安全，就点击高级然后选择继续访问。进入jupyter之后，启动新的终端

首先我们安装llm,终端执行命令

sudo apt update && sudo apt upgrade -y && sudo apt install python3-venv screen jq bc -y && sudo git clone https://github.com/heurist-network/miner-release.git && cd miner-release && sudo chmod +x llm-miner-starter.sh && screen -S llm-miner

该命令会安装一些前置依赖并启动一个新的终端

然后使用以下命令来编辑我们的地址

echo "MINER_ID_0=你的地址-备注" > .env

例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env

接下来我们运行llm启动脚本

./llm-miner-starter.sh 模型名字

具体模型名字根据前面配置需求去修改，我这是3090，所以我执行的是

./llm-miner-starter.sh dolphin-2.9-llama3-8b

脚本会根据你的奖励地址创建一个验证地址,记得保存一下，文件在

/root/.heurist-keys 下

如果是多机器单奖励钱包的话，需要将/root/.heurist-keys下的文件也一并复制

脚本一开始会下载模型，最后显示如上输出miner就正常运行了

我们键入 ctrl+a+d 使程序后台运行

使用 screen -r llm-miner 可以重新回到程序

2.2 同时运行sd

这一段的前提是已经运行了llm-miner

我们先将llm程序置于后台运行，ctrl+a+d

执行以下命令，创建一个新的终端

screen -S sd-miner

在新终端内执行

conda create -n sd-venv python=3.11 -y --quiet  && conda activate sd-venv && pip install -r requirements.txt && python sd-miner.py --log-level DEBUG --auto-confirm yes --exclude-sdxl

奖励钱包和验证钱包前面已经设置过所以无需再设置

同样程序会先下载模型，最后看到如下图所示则代表sd-miner已成功运行

同样我们键入 ctrl+a+d 使程序后台运行

screen -r sd-miner 可以重新回到程序

2.3 单独运行sd-miner

例如你租了3060 12G显存的显卡，只想单独运行sd-miner

模板用的和前面的是一样的

进入终端执行

mkdir -p ~/miniconda3 && wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh && bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 && rm -rf ~/miniconda3/miniconda.sh && ~/miniconda3/bin/conda init bash && source /root/.bashrc && git clone https://github.com/heurist-network/miner-release && conda create -n sd-venv python=3.11 -y --quiet && conda activate sd-venv && cd miner-release && pip install -r requirements.txt

设置账号

echo "MINER_ID_0=你的地址-备注" > .env
例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env

生成验证地址

python /root/miner-release/auth/generator.py

脚本会根据你的奖励地址创建一个验证地址,记得保存一下，文件在

/root/.heurist-keys 下

如果是多机器单奖励钱包的话，需要将/root/.heurist-keys下的文件也一并复制

最后启动sd程序

python sd-miner.py --log-level DEBUG --auto-confirm yes

3. windows本地运行sd-miner

根据自己显卡型号安装最新版的N卡驱动

根据自己系统版本下载并安装12.1的cuda驱动

下载并安装miniconda

下载最新的miner-release

解压完miner-release我们先将.env.example重命名为.env，并且修改里面的id

MINER_ID_0=你的地址-备注

例如MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090

接着用管理员打开conda的控制台

使用cd+你miner-release的目录路径进入文件夹

生成验证地址

python 你的文件夹地址\auth\generator.py
例如python C:\User\4070\Desktop\miner-release-main\auth\generator.py

接着依次执行以下命令

conda create -n sd python=3.11 -y --quiet

conda activate sd

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install -U huggingface_hub chardet -i https://pypi.tuna.tsinghua.edu.cn/simple

setx HF_ENDPOINT "https://hf-mirror.com"

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

如果你的显存大于等于12G则运行
python sd-miner.py --log-level DEBUG --auto-confirm yes
否则运行
python sd-miner-v1.3.0.py --log-level DEBUG --auto-confirm yes --exclude-sdxl

看到下图则代表运行成功