Sora平替!免费文生视频模型支持4K分辨率—Viva

智能科技扫地僧 2024-07-01 16:32:37
项目简介Streamer-Sales 销冠 —— 智能卖货主播大模型

Streamer-Sales 销冠是一款能根据商品特点从激发用户购买意愿角度进行商品解说的卖货主播大模型,以其卓越的智能魅力,彻底改变您的购物体验。它准确抓住商品特色,使用生动、精准的语言为每件商品量身打造解说词,让商品焕发诱人的光彩。无论是细节描绘,还是整体描述,这款模型都能通过细腻、独特的解说方式,激发用户的购买欲望。

技术背景与优势

模型通过xtuner在InternLM2基础上进行指令微调,集成了LMDeploy加速推理,支持ASR语音转文字️和RAG检索增强生成。它能够实时更新说明书,指导主播生成文案,还能通过网络查询快递信息 并加入带有感情的TTS文字转语音功能,最终生成主播数字人视频。这使得主播不仅止于文字,还能进行生动的视频介绍。

功能亮点一览

一键生成主播文案

KV cache + Turbomind 推理加速

RAG 检索增强生成

️ ASR 语音转文字输入

TTS 文字转语音输出

数字人解说视频生成

实时查询快递信息的Agent

无论是直播销售还是线下门店推广,这款卖货主播大模型都是您提升销售效率和优化用户体验的得力助手,为品牌形象增色添彩。

快速体验指南

或者,本地体验:

git clone https://github.com/PeterH0323/Streamer-Sales.gitcd Streamer-Salesconda env create -f environment.ymlconda activate streamer-salespip install -r requirements.txt# Agent Key (如果没有请忽略)export DELIVERY_TIME_API_KEY="${快递 EBusinessID},${快递 api_key}"export WEATHER_API_KEY="${天气 API key}"streamlit run app.py --server.address=0.0.0.0 --server.port 7860

默认使用 lelemiao-7b 部署,如果您的显卡是 24G,请使用以下命令:

export USING_4BIT=true # 设置使用 4bit 模型export KV_CACHE=0.05 # 设置 kv cache 在全部模型启动之后,占用的剩余显存比例数字人生成Workflow

我们已开源数字人生成的ComfyUI workflow,更多教程详见ComfyUI数字人生成文档。

附加功能

目前,Agent支持查询主播关于快递单号的信息。例如,您可以试着问主播【到杭州需要多久】来触发网络查询,系统会根据实时网络信息反馈给用户。

目前调用的API有两个:

快递鸟-预计到达时间和风天气

通过环境变量设置Key:

export DELIVERY_TIME_API_KEY="${快递鸟 EBusinessID},${快递鸟 api_key}"export WEATHER_API_KEY="${和风天气 API key}"

开发计划

生成多个产品数据集根据产品生成5个往来的话术对话支持多种角色(如可爱萝莉角色乐乐喵),更多角色正在规划中模型推理加速接入RAG解读产品文档支持上传新商品并生成新RAG数据库TTS生成语音数字人接入Agent,支持订单查询、收货时间等实时信息ASR 支持多模态

让Streamer-Sales 销冠成为您销售路上的智能助手,共同开创商业新未来。

https://github.com/PeterH0323/Streamer-Sales

模型:

streamer-sales-lelemiao-7b:https://modelscope.cn/models/HinGwenWoong/streamer-sales-lelemiao-7b

streamer-sales-lelemiao-7b-4bit:https://modelscope.cn/models/HinGwenWoong/streamer-sales-lelemiao-7b-4bit

0 阅读:10

智能科技扫地僧

简介:感谢大家的关注