直播亮点回顾:如何用大模型和实时音视频构建社交应用?

人人都是产品经理 2024-09-03 16:36:13

人人都是产品经理 x 即构科技联合举办的“AI驱动社交创新:如何利用大模型和实时音视频构建社交应用”主题直播已圆满结束,干货满满,一起来看。

随着大模型技术的不断演进,AI应用正迅速融入各行各业,深入到实际应用场景的探索与创新中。特别是在AI社交领域,产品经理面临着全新的机遇和挑战:他们迫切希望了解AI大模型技术如何重塑社交行业格局,AI如何改变人们的社交方式与体验,以及AI实时互动技术将带来哪些创新的社交应用场景。

为了帮助产品经理深入了解AI技术加持下的社交应用,人人都是产品经理与即构科技共同举办了一场直播活动。

8月28日,我们邀请了脸脸科技CTO@黎平,即构科技资深产品经理/AI业务负责人@孙靖昆作为嘉宾。他们围绕社交AI陪伴、实时互动数字人等话题,探讨了如何利用大模型和实时音视频技术构建创新性的社交应用。

一、圆桌互动问答

直播开始,两位老师就活动主题带来了精彩的对谈,着重讨论了AI趋势及其对社交行业创新发展的推动作用,突出了AI实时互动技术在客服、情感娱乐、文旅等领域的广泛应用前景。

以下是概要的问答对话:

Q1:AI趋势、大模型技术对社交行业赛道的影响有哪些?

孙靖昆老师:

第一种是,社交本身的AI化转变,之前是人与人之间的社交,现在慢慢变成一些人与AI之间的社交;

第二种是,AI对于内容创作和审核方面的新的东西,如定制化头像、人设皮肤、在社交平台上发的文本,视频等;

第三种是,AI在语言翻译中的应用,AI翻译技术促进了跨文化社交,使得不同文化之间的用户可以通过AI来做到很好的跨语种之间的社交沟通。

Q2:用户在线上线下的不同行为特点和习惯?

黎平老师:

我们在运营的过程中发现线上跟线下的用户其实可以分为几类。

确定性消费:比方说去买一个飞利浦剃须刀,这种用户基本上不去京东,不闲逛,可能几分钟就已经下单完成,下午可能就送到货了。

半确定性消费:就是比方说想买剃须刀,但还没确定是买什么牌子,还需要看性价比、看价格、看功能介绍。这些人就可能就去了天猫,去淘宝,去逛。

不确定性消费:就比方说在购物中心,每天3到4万,周末6到8万的流量,这些人其实并不知道要买什么。因此怎么去创造买点是非常重要的。需要通过互动加娱乐,去创造消费。

Q3:在众多实时互动云服务品牌中,脸脸科技为什么选择了即构?决策背后的考量?

黎平老师:

第一个是,整个公司的体量规模,即构算是一个老牌的资深的公司。

第二个是,看我们要发展的AI跟数字,和即构公司的技术沉淀跟主要的方向是不是一致。

第三个就是,看服务质量的响应速度。在落地一些AI数字人,包括一些模型训练上,即构的响应速度还是很快,解决问题的速度也很快。

Q4:双方合作过程中,有没有遇到哪些问题,又是如何解决的?

黎平老师:

脸脸科技一直在做商业场景,最近跨界到了文旅场景,做了一些景点的数字人的活化,通过我们的3D屏呈现出来。

我们在西湖边上有苏轼的数字人,选择的是一个年纪大的演员形象,所以他有胡子。在数字人在处理的时候,胡子的飘逸还是蛮难的。

在跟即构合作的过程中,也跟工程师一直在探讨,怎么去把这个胡子这种飘逸感,很自然的感觉能呈现出来。

孙靖昆老师:

其实站在即构的技术角度来看,像AI实时互动这种场景的挑战性还是蛮大的。

第一个是,效果的自然程度。黎总的这个文旅场景,演员模特有个长须,从AI视觉上来说,其实是一个很难处理的问题。因为他不是一个很连贯,在图像拼接上有很大技术挑战的事情。

第二个是,声音的自然程度。说话的时候,受到的情绪感染,是不是自然?这个最直观的影响因素就是声音,他的音色好不好听,停顿语气怎么样。

第三个是,延迟方面,对话的延迟。基本上普通用户的感受是超过2秒就不能够正常对话了。我们在整个工程化的链路上,把语音转文本大模型,延迟都压缩到了极致,现在是做到了1.5秒内。

Q5:双方合作中,AI和数字人的应用场景有哪些?为线下流量场景带来了哪些价值?

黎平老师:

比方说给品牌做AI橱窗。像传统意义上的服装品牌在全国各地有几千家。每次上新款,所有的模特都去换一遍,成本蛮高的。通过数字人的方式,一键就能够把所有门店的数字化橱窗都换掉。

第二个就是文旅场景,包括一些文化展厅,都用到了一些数字的活化。一个数字人,去介绍他们的特产、文化。还有准备跟文化展厅合作的一些AI文创商店,去把一个人风格化,最后面呈现纪念品上。

Q6:AI实时互动技术还有哪些行业和场景中的创新应用?能否分享一些例子?

孙靖昆老师:

从场景上来说,目前是有两大类的场景是比较能够跑通商业化的。

第一大类是客服场景。重点在于帮企业顾客去解决问题,增强了顾客的体验的流程,包括语音的实时问答,甚至视频去服务客户。

第二类是一些面向to c的场景。比如说AI陪伴,大部分做的是智能体,或者叫一个仔仔的概念。用户自己去写人设,上传视频或者图片,捏出自己的仔仔。跟这个仔仔去聊天、视频通话等等,来获得情感需求。从商业的收入上来看,赚的是会员费,跟仔仔互动过程中,随着聊天越来越多,展开背后的更多的情节和故事。从数据上看,转化的漏斗是蛮高的。每个用户的粘性非常大,是付费的中坚力量。

即构在这两种场景下提供了非常完善的解决方案。包括数字人形象的云端API的解决方案,语音转文本和文本转语音的多模态大模型,RTC实时音视频的推拉流的能力,几行代码快速调用IM对话聊天消息,提供了一个完整的AI实时互动的解决方案。

更详细的互动问答内容,可以在直播当中一睹为快:https://vip.qidianla.com/course/detail/n2kv8.html#description

二、RTC+AI,泛娱乐社交AI新场景探索与实践

两位嘉宾互动结束后,孙靖昆老师还带来了主题分享,内容聚焦RTC+AI在泛娱乐社交领域的最新进展和应用。首先,介绍了实时音视频技术与AI的结合如何推动娱乐和陪伴场景的发展,并强调了AI陪伴作为行业的一个重要发展方向,及其在内容生成、编辑和实时互动等方面的应用。

孙老师指出,数字分身技术通过提供个性化的AI陪伴,已经改变了社交媒体用户的交互模式,并创造了新的商业模式。AI陪伴产品主要通过订阅会员、内购及广告营收三种方式盈利。此外,GPT技术通过减少语音交互的延迟,实现了多模态交互与情绪识别,大大提高了人机对话的真实性和流畅性。

此次,还介绍了即构科技提供的面向应用层开发者的AI陪伴一站式解决方案,旨在提供全方位的丝滑互动体验。讨论还包括了直播过程中的具体执行细节和面临的挑战,如音视频设置、内容编辑、画面切换策略以及抽奖流程的准备等。深入探讨了RTC+AI技术在社交娱乐领域的应用现状和未来发展趋势。

还有更多的内容因为篇幅有限不全部展开啦,感兴趣的同学戳链接进行观看:https://vip.qidianla.com/course/detail/n2kv8.html#description

0 阅读:2

人人都是产品经理

简介:产品、运营、文案、营销 学习平台。