模型应用示例

墨芯的 SOLA Demo 包提供了使用 SOLA Runtime API 进行模型部署与推理的完整示，帮助用户快速搭建环境、理解 API 使用方式并高效完成开发与测试。SOLA Demo 包的目录结构如下：

├── common                  # 公用文件
├── data                    # 运行一些基础示例所需要的模型文件
├── inference               # 一个简单的通用推理框架示例
├── introduction            # SOLA Runtime API 基本用法
├── models                  # SOLA Runtime API 模型部署 Demo
├── multimedia              # SOLA Runtime API 多媒体应用示例
├── utils                   # SOLA Runtime API 实用工具
├── build.sh                # 编译脚本
├── install_dependencies.sh # 安装系统依赖的脚本
├── prepare.sh              # 下载 Python 环境依赖和系统依赖的脚本
├── CHANGELOG.md            # 更变日志
├── README.md               # 操作说明文档
├── LICENSE                 # 版权信息
└── VERSION                 # 版本信息

运行前准备

安装 SOLA Toolkit 且版本 ≥ 3.12.0。

获取 SOLA Demo 包并解压缩。

wget https://moffett-oss-bucket.tos-cn-shanghai.volces.com/sola-demo/sola-demo-3.12.0.tar.gz
tar -zxvf sola-demo-3.12.0.tar.gz

参见 README.md 安装依赖软件。
参见 README.md 设置操作系统的语言为英文。
准备 Python 环境（Anaconda 或 Miniconda），供 bert 和 chatglm2-6b 模型使用。

运行示例程序

参见 introduction、utils、inference、models 及其子目录下的 README.md 文件编译并运行下表所示的示例程序：

示例类型	说明
模型示例	包括 `bert`、`bloom-7b`、`bloom-176b`、`chatglm2-6b`、`resnet50`
SOLA Runtime API 示例	包括基本用法、推理和工具的示例
多媒体应用示例	参见多媒体应用示例

选择文档版本