SOLA Demo

概述

SOLA Demo 包提供了基于 SOLA Runtime API 的模型部署示例，并包含多媒体硬件加速器示例程序。目录结构：

├── build.sh                # 编译脚本
├── CHANGELOG.md            # 变更记录
├── CMakeLists.txt          # 项目构建配置文件
├── common                  # 公用文件
├── data                    # 运行一些基础示例所需要的模型文件
├── inference               # 一个简单的通用推理框架示例
├── install_dependencies.sh # 安装系统依赖的脚本
├── introduction            # SOLA Runtime API 示例
├── LICENSE                 # 版权信息
├── models                  # 模型部署示例
├── multimedia              # 多媒体解码示例（具体请参见下方目录详解）
├── README.md               # 操作说明文档
├── scripts                 # 下载和解压缩模型数据包的脚本
├── utils                   # SOLA 工具
└── VERSION                 # 版本信息

支持的模型

SOLA Demo 和推理服务支持的模型如下表所示。关于模型推理测试示例，请参见推理服务示例。

应用	支持的模型
SOLA Demo	BERT
	BLOOM-176B
	BLOOM-7B
	ChatGLM2-6B
	ResNet50
推理服务	Qwen1.5-7B-Chat-w8a8 (int8)
	Qwen1.5-7B-Chat (bf16)
	DeepSeek-R1-Distill-Qwen-1.5B
	DeepSeek-R1-Distill-Qwen-32B
	Llama-3-70B

多媒体硬件加速器

墨芯首代 Antoum 芯片集成了多媒体硬件加速器套件，包括：

4 个视频解码器引擎，支持 H.264、H.265 等格式，支持以高达 60 FPS 的速度解码 32 路 1080p 视频。
1 个视频编码器引擎。
4 个 JPEG 编解码器引擎，支持以高达 435 FPS 的速度解码 4 路 1080p 图像。
4 个图像处理引擎，支持多路图像的裁剪与缩放。

支持的多媒体解码类型：

类型	示例程序	说明
JPEG 图片解码	`AppJpegDec`	将 JPEG 格式图片解码为 NV12 格式
视频解码	`AppDec`	使用 MOFFETT Video Codec SDK 解码视频
视频解码	`ffmpegDec`	使用 FFmpeg 解码视频
视频解码	`decode.py`	使用 OpenCV Python 接口解码视频
图像处理	`AppPpb`	图片缩放和裁切

准备运行环境

安装 SOLA Toolkit，具体请参见 SOLA Toolkit 安装指南。

获取 SOLA Demo 包并解压缩。

wget https://moffett-release.tos-cn-guangzhou.volces.com/macs/macs-v1.10/sola-demo/sola-demo-3.14.0.tar.gz
tar -zxvf sola-demo-3.14.0.tar.gz

参见 README.md 设置操作系统语言为英文，并安装相关依赖软件。
安装 Miniconda < 25（BERT 和 ChatGLM2-6B 模型依赖环境），具体操作请参见 Installing conda。

运行示例程序

参见以下目录（含其子目录）中的 README.md 文件编译并运行示例程序：

类型	示例所在目录
SOLA Runtime API	`introduction`
	`utils`
	`inference`
SOLA Demo 模型	`models`
多媒体解码	`multimedia`

SOLA Demo

概述

支持的模型

多媒体硬件加速器

准备运行环境

运行示例程序

选择文档版本