Hugging Face仓库中大模型包含文件不止一个，本文将会介绍如何使用git进行批量下载。

Hugging Face官网：https://huggingface.co

Hugging Face的基本操作：https://huggingface.co/welcome

环境配置

由于Hugging Face的部分模型和数据集在国外服务器，不使用代理比较慢，所以要先配置git代理。

代理配置

全局代理配置方式：

1
git config --global https.proxy http://xxxxxx:xxxx

只对clone使用代理的配置方式：

1
git clone XXX.git -c http.proxy="http://xxxxxx:xxxx"

lfs安装

如果想命令行快速下载模型，需要提前安装好git-lfs环境。Ubuntu环境安装命令如下：

1
sudo apt-get install git-lfs

主要用法:

1
2
git lfs install
git lfs clone https://huggingface.co/${username}/${model_name}

基本使用命令:

  • 执行 git lfs install开启lfs功能
  • 使用 git lfs track命令进行大文件追踪 例如git lfs track "*.png"追踪所有后缀为png的文件
  • 使用 git lfs track查看现有的文件追踪模式
  • 提交代码需要将gitattributes文件提交至仓库. 它保存了文件的追踪记录
  • 提交后运行git lfs ls-files可以显示当前跟踪的文件列表
  • 将代码 push 到远程仓库后，LFS 跟踪的文件会以『Git LFS』的形式显示:
  • clone 时 使用’git clone’ 或 git lfs clone均可

模型下载

比如我们想下载LLAMA-13B的大模型。仓库文件如下：

可以看到模型文件接近40个，一个个下载效率慢，因此使用下面命令进行批量下载

1
2
git lfs install  
git lfs clone https://huggingface.co/decapoda-research/llama-13b-hf.git

进度如下: