(换肤)
语言：
文章编号：359时间：2024-06-17人气：
不卷Demo，卷产品。
作者｜赵健
在AI图生视频场景，有一个经常出现的痛点：仅靠揭示词难以到达预期成果，可控性不佳，而且静止方式经常不合乎物理法令。
近期，一个名为MagicBrush静止笔刷的工具由于很好地处置了该痛点而在AI视频社区走红。
它堪比神笔马良，只要寥寥数笔，就能让马斯克对你连连拍板：
来自X用户Proper
让哈利·波特挥舞魔杖，画圈施法：
来自X用户Proper
让大鱼凌空而起，捕食小鱼：
来自X用户ChaseLean
这款工具来自爱诗科技的PixVerse，在图生视频环节中，用户可经过MagicBrush涂抹区域和绘制轨迹，准确管理视频元素的静止方式，像修图一样修视频。
视频大模型领头羊Runway在2023年11月初次发布了MotionBrush静止笔刷配置，爱诗科技是Runway后首家发布相似配置的AI视频生成公司， 且从少量用户实测案例中咱们看到， PixVerse的静止笔刷配置要比Runway的灵敏性与可控性成果更好 ，既可以一键智能选区，还能自在绘制静止轨迹
出名AI艺术家达斯汀·好莱坞（DustinHollywood）在X上发文示意：Runway已被PixVerse逾越，失去了其上游位置。如今你经过PixVerse的静止笔刷，就能让物体弹跳起来。在以后的AI视频制造中，静止笔刷工具至关关键。
产品&模型设计师、独立开发者歸藏也示意：PixVerse发布了自己的静止笔刷配置，产品的可用性回升了一大截。 他们甚至可以经过手绘箭头自定义每个元素的静止方向和距离，比Runway的滑块更繁难和直观。
在 视频生成行业广泛卷Demo、卷生成时长的当下，爱诗科技的PixVerse曾经率先朝着AI视频生成的产品适用性方向发力。
1.像修图一样修视频
假设没有亲身上手体验过AI视频生成，或者关于静止笔刷的配置没有直观的感触。但关于用过视频大模型的用户而言，就知道这个配置关于管理视频生成品质有多香了。
所以，先看一下MagicBrush静止笔刷的直观成果。（部分取自外网用户发布的实测案例）
咱们能显著看到PixVerse静止笔刷的几大优势：
此配置大大提高了视频生成的用户体验和实践成果，能够满足专业创作者在视频制造中的高规范需求。
2.官网解读技术门路
在6月14日智源大会上，爱诗科技CEO王长虎受邀为大模型产业技术论坛做宗旨演讲，引见了PixVerse面前的外围技术。
在2023年爱诗科技成立之初，公司驳回过Diffusion+Unet架构的技术路途，这是在Sora出现之前一种干流的文生图、文生视频模型生成路途。这个环节可以构想成将一滴墨水滴入水中，墨水逐渐分散，而Diffusion模型须要学会如何将墨水从水中从新提取进去。
Unet架构在降低复杂度与保管细节度之间做到了很好的平衡，优化了模型的计算效率，模型的算力需求不会太高。但另一方面，假设要想模型越来越痴呆，参与的参数越来越多，图像或指令变得越来越复杂，Unet架构很容易堕入性能瓶颈，面临裁减性疑问。
因此，爱诗科技也尝试了Diffusion+Transformer（DiT）架构，经过ScalingLaw的方式来优化模型的性能。Sora的出现验证了爱诗的早期判别正确。
不过，爱诗科技并没有止步于此。除了DiT路途之外，也在探求自回归路途在文生视频模型的后劲。自回归路途的代表模型，是谷歌去年12月发布的VideoPoet模型，但没有开源，也没有产品化，只要一篇论文。
王长虎示意：爱诗科技不会局限在一种技术路途，未来会多种技术路途独特探求，一方面用Transformer路途进一步优化基座模型才干，并参与可控生成技术；另一方面会继续探求自回归路途，增强时空建模，并建设各个模态间一致范式。
爱诗科技CEO王长虎在智源大会上的演讲，图片由甲子光年现场拍摄
除了最底层的视频生成路途，王长虎还着重分享了视频可控性的外围技术。
首先是角色分歧性 （C2V，CharactertoVideo） 的配置， 此前业内普通有两种技术手腕——LoRa与Adapter，但两者都不够完美。LoRA的优势在于保真度高，但每个ID都须要重复训练；Adapter的优势是只要要训练一次性，老本较低，但生成品质下限没有LoRA高，图片的美学品质偏低。
为了克制这些限度，爱诗科技综合两者的优势，设计了一种基于新的结构，不只保管了LoRA的优势，还经过参与特定的模块来优化图片的保真度和美学性。
王长虎示意：无论从客观对比还是客观数据，咱们的新结构在多个方面都优于传统的LoRA和Adapter方法。
爱诗科技CEO王长虎在智源大会上的演讲，图片由甲子光年现场拍摄
第二个技术翻新点是静止笔刷。 如何管理视频中静止的物体不时是文生视频畛域的重点钻研方向，但目前业内的方法都较难成功很高的精准度。
比如此前快手、浙江大学、新加坡国立大学联开源的工具DragAnything，经过controlnet+SVD（StableVideoDiffusion）+多条件注入，然而难以成功部分静止管理，同时背景难以稳固。
东京大学与腾讯AILab发布的MOFA-Video经常使用各种额外的可控信号（例如人体地标landmarks参考、手动轨迹，甚至提供的另一个视频）或它们的组合从给定图像生成视频。但这一模型流程复杂（SVD+controlNet+S2D)，也不可对物体启动精准的管理。
针对业内尚未处置得好的疑问，爱诗科技提出了一种新的算法：MagicBrush网络结构。
王长虎示意：一方面在交互层面做了翻新，让用户可以更繁难地管理画面的静止；第二是模型的架构大大简化，不须要做controlnet注入SVD，只要要做一个预处置+Encoder，再经过一个预先训练好的模型就可以。总结来说就是繁复+高效。
爱诗科技CEO王长虎在智源大会上的演讲，图片由甲子光年现场拍摄
王长虎以为，未来视频生成畛域须要打破的技术重点是更合乎物理法令的静止、长时长且准确的视频生成、多镜头场景生成、实时生成、端云协等同。
3.聚焦用户痛点，处置实践需求
最近的文生视频大模型赛道，有点儿卷。
在年终OpenAI发布Sora的第二周，「甲子光年」曾梳理了。近期，海外外又有一波文生视频大模型密集发布，包含快手的可灵视频大模型、极佳科技视界一粟YiSu美图奇想大模型、LumaAIdream-machine大模型等，文生视频的百模大战仍在继续。
相比于各种逾越Sora式的宣传，爱诗科技的MagicBrush静止笔刷配置十分务虚，真正处置用户实践创作场景遇到的疑问。这正是爱诗科技自己的节拍。
在产品配置的迭代上，爱诗科技优先选用用户需求最大的痛点，而非市场噱头 ，指标是提供每团体都能经常使用、且满足实在需求的产品。
4月，PixVerse推出C2V配置，用户能够创作并锁定角色，成功延续、可控的视频生成，防止出现上一秒是梁朝伟、下一秒是刘德华的状况。
5月，PixVerse正式上线MagicBrush静止笔刷配置，已在外网掀起试玩热潮。
如此聚焦需求，用户自然就会用脚投票。
目前，依据威望第三方数据网站similarweb统计，爱诗科技的PixVerse与国际头部视频生成产品Runway和Pika的用户规模处于等同量级。除了访问量，PixVerse的访问时长、频次和留存都比Pika好，平均逗留时长是Pika的两倍多。同时，国际一切同类型视频生成产品加起来的访问量大概是PixVerse的三分之一。
图片来自similarweb，数据取自文章发布当日
当天，咱们应该如何权衡一款视频大模型的好坏？
在半年前，可以是Demo；在三个月前，可以是视频时长；而如今，当很多用户关于AI视频生成尝鲜的新颖感褪去之后， 踏虚浮实处置好用户的痛点，回归做产品的根源，才会真正构建短暂的竞争力。
（封面图来自Midjourney）
马上收录导航内容声明：
1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违法信息，如您发现违法内容，请联系我们进行举报处理！
4、本文地址：https://www.msl8.com/article/359.html，复制请保留版权链接！
在不断演变的数字世界中，我们正在寻找充满热情和才华的人才，加入我们的团队，共同谱写未来，关于我们我们是一家致力于推动技术进步并为客户创造卓越解决方案的创新型公司，我们拥有一个才华横溢和多元化的团队，他们不断突破界限，为行业带来变革，我们的行业我们所处的行业正以惊人的速度发展，新技术不断涌现，为人才合作的机会为世界做出有意义的贡献探索无...。
招聘 2024-06-18 14:37:05
我们是一家致力于通过创新和卓越服务为客户创造价值的高科技公司，我们正在寻找才华横溢的专业人士加入我们的团队，与我们一起推动公司的发展，我们提供的职位，软件工程师数据科学家项目经理销售经理营销经理我们理想的候选人，具有相关领域学士或硕士学位或同等工作经验具有出色的沟通、人际交往和解决问题的能力具有团队合作精神和主动性具备强烈的求知欲和持...。
招聘 2024-06-18 14:34:48
一、契税是否取消2022年契税并未取消，但出台了一系列优惠政策，二、优惠政策1、一般规定国家机关、事业单位、社会团体、军事单位承受土地、房屋用于办公、教学、医疗、科研和军事设施的，免征契税，城镇职工按规定第一次购买公有住房，免征契税，自2000年11月29日起，对公有制单位为解决职工住房而采取集资建房方式建成的普通住房，或由单位购买的...。
房地产 2024-06-18 14:00:54
引言学校环境对于培养学生的健康习惯和促进他们的整体健康至关重要，健康促进在学校环境中是一项全面的方法，旨在通过促进健康行为、创造支持性环境和提供教育支持，改善学生的健康状况和福祉，培养健康习惯学校可以采取多种措施来培养学生的健康习惯，包括，提供均衡的营养餐，提供健康、营养均衡的餐点，可以为学生提供维持健康所必需的能量和营养，鼓励身体活...。
医药 2024-06-18 11:32:22
导言医疗保健是一个错综复杂的领域，涉及到许多道德价值观，这些价值观影响着决策和资源分配，这些价值观塑造了我们如何看待患者，我们如何对待他们，以及我们如何制定医疗保健政策，因此，了解和批判性地分析医疗保健中的价值观至关重要，核心价值观医疗保健领域的核心价值观包括，自主，尊重患者自我决定的权利，善意仁慈，促进患者的健康和幸福，不伤害，避免...。
医药 2024-06-18 11:29:57
什么是录取通知书，录取通知书是学校发放给被录取考生的文件，证明考生已被该校录取，录取通知书上一般会包含以下信息，考生姓名考生身份证号考生考号录取专业录取学校报到时间报到地点如何领取录取通知书，领取录取通知书的方法有两种，亲自领取和邮寄领取，本文主要介绍亲自领取录取通知书的方法，考生可以按照以下步骤亲自领取录取通知书，携带本人身份证、准...。
医药 2024-06-18 09:41:13
简介绿洲是指沙漠或干旱地区中，因有水源而形成的适合植物生长和人类居住的地方，绿洲的分类河流绿洲，由河流提供水源，常见于河流两岸，泉水绿洲，由地下泉水涌出形成，通常分布在地势较低的洼地，灌溉绿洲，依赖人工灌溉系统，将远处的水源引入干旱地区形成绿洲，降雨绿洲，依靠季节性降雨积累的水源维持，水源来源，河流，一些大河流经干旱地区，为沿岸带来丰...。
游戏资讯 2024-06-18 07:34:14
距离辽篮夺冠已经将近一个月了，但是夺冠奖金何时发放的消息仍未公布，不过好消息传来，辽篮俱乐部管理层一直在筹划发放奖金事宜，据接近辽篮管理层人士透露，为了表彰帮助球队夺得队史首个三连冠的全体将士，俱乐部董事长刘景远和总经理刘子庆大手一挥，开出的夺冠奖金创下队史之最，8000万夺冠奖金，那么问题来了，辽篮的三连冠夺冠奖金究竟是多少呢，根据...。
游戏资讯 2024-06-17 21:45:17
前言新冠病毒，COVID，19，是一种影响呼吸道的传染性疾病，感染新冠病毒后，患者会出现一系列症状，包括发烧、咳嗽、疲劳和呼吸急促等，在感染新冠病毒后的康复过程中，患者可能对辛辣食物的耐受性发生变化，新冠7天后进食辛辣食物的健康风险在新冠感染后的7天内，建议避免进食辛辣食物，这是因为辛辣食物可能会加重一些新冠病毒的症状，包括，发烧，辛...。
医药 2024-06-17 16:23:47
新型肺炎的症状发热咳嗽痰多喉咙痛呼吸困难肌肉酸痛头痛乏力新型肺炎的诊断新型肺炎的诊断主要依据以下几点，流行病学史，患者在发病前14天内有武汉或其他疫区旅行史或居住史，或与确诊或疑似新型肺炎患者有密切接触史，临床表现，患者出现发热、咳嗽等呼吸道症状，并伴有呼吸困难、胸部影像学表现为双肺多发浸润性病变，实验室检查，患者血常规检查白细胞计数...。
医药 2024-06-17 16:21:05
