# SOLA Demo

## 概述

SOLA Demo 包提供了基于 SOLA Runtime API 的模型部署示例，并包含多媒体硬件加速器示例程序。目录结构：

```bash
├── build.sh                # 编译脚本
├── CHANGELOG.md            # 变更记录
├── CMakeLists.txt          # 项目构建配置文件
├── common                  # 公用文件
├── data                    # 运行一些基础示例所需要的模型文件
├── inference               # 一个简单的通用推理框架示例
├── install_dependencies.sh # 安装系统依赖的脚本
├── introduction            # SOLA Runtime API 示例
├── LICENSE                 # 版权信息
├── models                  # 模型部署示例
├── multimedia              # 多媒体解码示例（具体请参见下方目录详解）
├── README.md               # 操作说明文档
├── scripts                 # 下载和解压缩模型数据包的脚本
├── utils                   # SOLA 工具
└── VERSION                 # 版本信息
```

### 支持的模型

SOLA Demo 和推理服务支持的模型如下表所示。关于模型推理测试示例，请参见[推理服务示例](./tuili-userguide.md)。

| 应用      | 支持的模型                    |
| --------- | ----------------------------- |
| SOLA Demo | BERT                          |
|           | BLOOM-176B                    |
|           | BLOOM-7B                      |
|           | ChatGLM2-6B                   |
|           | ResNet50                      |
| 推理服务  | Qwen1.5-7B-Chat-w8a8 (int8)   |
|           | Qwen1.5-7B-Chat (bf16)        |
|           | DeepSeek-R1-Distill-Qwen-1.5B |
|           | DeepSeek-R1-Distill-Qwen-32B  |
|           | Llama-3-70B                   |

### 多媒体硬件加速器

墨芯首代 Antoum 芯片集成了多媒体硬件加速器套件，包括：

- 4 个视频解码器引擎，支持 H.264、H.265 等格式，支持以高达 60 FPS 的速度解码 32 路 1080p 视频。
- 1 个视频编码器引擎。
- 4 个 JPEG 编解码器引擎，支持以高达 435 FPS 的速度解码 4 路 1080p 图像。
- 4 个图像处理引擎，支持多路图像的裁剪与缩放。

支持的多媒体解码类型：

| 类型          | 示例程序     | 说明                                  |
| ------------- | ------------ | ------------------------------------- |
| JPEG 图片解码 | `AppJpegDec` | 将 JPEG 格式图片解码为 NV12 格式      |
| 视频解码      | `AppDec`     | 使用 MOFFETT Video Codec SDK 解码视频 |
| 视频解码      | `ffmpegDec`  | 使用 FFmpeg 解码视频                  |
| 视频解码      | `decode.py`  | 使用 OpenCV Python 接口解码视频       |
| 图像处理      | `AppPpb`     | 图片缩放和裁切                        |

## 准备运行环境

- 安装 SOLA Toolkit，具体请参见 [SOLA Toolkit 安装指南](../installation/sola-toolkit-installation-guide.md)。
- 获取 SOLA Demo 包并解压缩。

  ```Bash
  wget https://moffett-release.tos-cn-guangzhou.volces.com/macs/macs-v1.10/sola-demo/sola-demo-3.14.0.tar.gz
  tar -zxvf sola-demo-3.14.0.tar.gz
  ```

- 参见 README.md 设置操作系统语言为英文，并安装相关依赖软件。
- 安装 Miniconda < 25（BERT 和 ChatGLM2-6B 模型依赖环境），具体操作请参见 <a href="https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html" target="_blank">Installing conda</a>。

## 运行示例程序

参见以下目录（含其子目录）中的 README.md 文件编译并运行示例程序：

| 类型             | 示例所在目录   |
| ---------------- | -------------- |
| SOLA Runtime API | `introduction` |
|                  | `utils`        |
|                  | `inference`    |
| SOLA Demo 模型   | `models`       |
| 多媒体解码       | `multimedia`   |