Heurist miner快速部署图文指南

1.配置需求

Heurist测试网提供两种积分:waifu point和Llama point。waifu point是通过运行词生图的sd模型获得的。Llama point是通过运行llm大语言模型获得的。在运行模型时,显卡型号没有限制,但显存是硬性门槛,需求显存越大的模型获得分数的系数也会更高。

下图为目前支持的llm模型,sd模型只有启用或排除sdxl两种模式,启用sdxl需要12G显存,排除sdxl模型目前我测试下来8G显存就可以跑

模型硬件需求
模型硬件需求

2.在gpu租赁平台运行miner

教程分为在租赁平台上运行和windows本地运行两个部分

2.1 在租赁平台上运行llm与sd

显卡租赁平台提供了运行的基础环境,因此门槛也是最低的,我这边以VAST平台作为演示,可以使用虚拟货币充值。演示使用3090 24g显存作为示例,因为性价比较高,还能同时运行llm与sd(同时运行也可能导致任务超时而拿不到积分)。

使用以上链接的模板,硬盘选择100G(3090双跑大概需要60g硬盘)

左边模板应该和图片一样,然后选择显卡租赁(地区选US的最佳,CN的不要选,下载网速最好选快点的,因为模型有几十g要下载)

接下来启动实例

如果启动后显示不安全,就点击高级然后选择继续访问。进入jupyter之后,启动新的终端

首先我们安装llm,终端执行命令

sudo apt update && sudo apt upgrade -y && sudo apt install python3-venv screen jq bc -y && sudo git clone https://github.com/heurist-network/miner-release.git && cd miner-release && sudo chmod +x llm-miner-starter.sh && screen -S llm-miner

该命令会安装一些前置依赖并启动一个新的终端

然后使用以下命令来编辑我们的地址

echo "MINER_ID_0=你的地址-备注" > .env

例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env

接下来我们运行llm启动脚本

./llm-miner-starter.sh 模型名字

具体模型名字根据前面配置需求去修改,我这是3090,所以我执行的是

./llm-miner-starter.sh dolphin-2.9-llama3-8b

脚本会根据你的奖励地址创建一个验证地址,记得保存一下,文件在

/root/.heurist-keys 下

如果是多机器单奖励钱包的话,需要将/root/.heurist-keys下的文件也一并复制

脚本一开始会下载模型,最后显示如上输出miner就正常运行了

我们键入 ctrl+a+d 使程序后台运行

使用 screen -r llm-miner 可以重新回到程序

2.2 同时运行sd

这一段的前提是已经运行了llm-miner

我们先将llm程序置于后台运行,ctrl+a+d

执行以下命令,创建一个新的终端

screen -S sd-miner

在新终端内执行

conda create -n sd-venv python=3.11 -y --quiet  && conda activate sd-venv && pip install -r requirements.txt && python sd-miner.py --log-level DEBUG --auto-confirm yes --exclude-sdxl 

奖励钱包和验证钱包前面已经设置过所以无需再设置

同样程序会先下载模型,最后看到如下图所示则代表sd-miner已成功运行

同样我们键入 ctrl+a+d 使程序后台运行

screen -r sd-miner 可以重新回到程序

2.3 单独运行sd-miner

例如你租了3060 12G显存的显卡,只想单独运行sd-miner

模板用的和前面的是一样的

进入终端执行

mkdir -p ~/miniconda3 && wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh && bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 && rm -rf ~/miniconda3/miniconda.sh && ~/miniconda3/bin/conda init bash && source /root/.bashrc && git clone https://github.com/heurist-network/miner-release && conda create -n sd-venv python=3.11 -y --quiet && conda activate sd-venv && cd miner-release && pip install -r requirements.txt

设置账号

echo "MINER_ID_0=你的地址-备注" > .env
例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env

生成验证地址

python /root/miner-release/auth/generator.py

脚本会根据你的奖励地址创建一个验证地址,记得保存一下,文件在

/root/.heurist-keys 下

如果是多机器单奖励钱包的话,需要将/root/.heurist-keys下的文件也一并复制

最后启动sd程序

python sd-miner.py --log-level DEBUG --auto-confirm yes

3. windows本地运行sd-miner

根据自己显卡型号安装最新版的N卡驱动

根据自己系统版本下载并安装12.1的cuda驱动

下载并安装miniconda

下载最新的miner-release

解压完miner-release我们先将.env.example重命名为.env,并且修改里面的id

MINER_ID_0=你的地址-备注

例如MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090

接着用管理员打开conda的控制台

使用cd+你miner-release的目录路径进入文件夹

生成验证地址

python 你的文件夹地址\auth\generator.py
例如python C:\User\4070\Desktop\miner-release-main\auth\generator.py

接着依次执行以下命令

conda create -n sd python=3.11 -y --quiet

conda activate sd

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install -U huggingface_hub chardet -i https://pypi.tuna.tsinghua.edu.cn/simple

setx HF_ENDPOINT "https://hf-mirror.com"

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y

如果你的显存大于等于12G则运行
python sd-miner.py --log-level DEBUG --auto-confirm yes
否则运行
python sd-miner-v1.3.0.py --log-level DEBUG --auto-confirm yes --exclude-sdxl 

看到下图则代表运行成功

3.1 本地运行llm-miner

运行llm需要liunx系统,所以windows必须使用wsl才能运行llm程序

因为不同系统版本与设置会导致wsl各种各样的报错

所以这边只给个思路参考

我用的是wsl2 Ubuntu-22.04 ,先根据上面sd里的 把显卡驱动和cuda驱动安装上

然后根据官方的llm安装流程就能跑起来

如果不认cuda,可以尝试安装wsl版的cuda,不要去安装liunx的驱动和cuda 会导致不认显卡

具体问题可以在dc内询问

Subscribe to xiangcai.eth
Receive the latest updates directly to your inbox.
Mint this entry as an NFT to add it to your collection.
Verification
This entry has been permanently stored onchain and signed by its creator.