
妙多大模型:懂 UI 设计的多模态大模型


过去一年,AI 在产品研发领域进展快的难以想象。让我记忆犹新的一件事,是我们在去年测试当时的 AI 生成 UI 的效果:
我有种“被击中一拳”的感觉 —— 难以想象 AI 在生成 UI 界面的复杂度和表达力的进展可如此之快。我甚至有一瞬间怀疑:UI 设计这个领域,是不是将不复存在?如果你已经体验了妙多最新的 AI 生成 UI 功能,相信你会在最初几次生成时跟我有一样的 Aha Moment。
但妙多作为一款专业的设计工具,要在生成 UI 能力上取悦最专业的设计师可没那么容易 —— 第一次在半小时内完成 5km 跑的业余选手会非常有成就感,但在马拉松选手的视角里这可能只是一次热身。
非专业人员会认为生成 UI 结果 ”非常好“,但越专业的设计师看到的问题是越多的。
我们在过去几个月里见证了非常多 “ideas to app” 产品的诞生,这些产品的用户大多不是设计师,他们甚至是先生成了代码,然后才关注设计,不少人对 AI 设计的界面已经“比较满意”。我认为这已然产生了另一个可以长期发展的赛道。那么对于专业的设计师们,AI 究竟能够扮演怎样的角色?
这个答案似乎已跃然纸上,就如 Cursor,虽然它并不能代替开发者完全独立地编写代码,但 AI 已具备足够能力,和开发者同时共享代码的上下文,并在几乎所有创建和编辑场景下,提供“片段的、助理式的”帮助。
AI 向更大众的非专业人员生成直接使用的交付物是新机会,而 AI 向专业人员在专业工具中提供助理形式的服务同样是新的机会。妙多天然更顺应后者。
在去年妙多 AI 首次亮相时,我们发布了 7 个 AI 功能。一年过去,我们有两个遗憾:
但也有例外的功能:AI 魔法框(很抱歉,我们还是为它的名字加上了 AI 二字)。它并不需要用户建立对这个功能使用场景或作用范围的认知,用户只是在需要的时候“画一个框”,AI 将返回你可能想要的结果。
受限于当时的技术,这个功能只能在 “妙多实验室” 下作为一个体验功能,在固定的设计文件下调用原有设计中已存在的设计模式。
幸运的是,这个功能并未被长期压抑,而是在技术飞速的发展中顺利从实验室“毕业”。在妙多 AI 2.0 中,AI 魔法框,成为你和 AI 设计伙伴建立连接的基础交互方式。(这一次,我们去掉了 “AI”,它的名字就叫魔法框。)
我们将魔法框加入到工具栏的首个项目里,希望你使用这项交互,就如你使用移动工具、缩放工具一样直觉。你可以想象,你的 AI 设计伙伴就像是“坐”在你旁边的助手。当你需要帮助时,只需有一个简单的示意,就像日常你招呼助手一样:“Hey,我们一起来看看这个设计!” 而你下一步会如何指示你的助手呢?我相信你肯定会指着屏幕上特定的区域,让你的伙伴和你沟通来观察、讨论这里的设计。
这也是你唤起魔法框后下一步可“直觉” 进行的交互,你可以点选、框选屏幕中的图层,也可以在你想“指示”的地方画一个框,AI 将会和你共享这篇区域的上下文,协助你共同设计。
而接下来,你可以做什么?理论上你可以让 AI 伙伴协助你做任何事情 —— 还是回到刚才的想象,你可以将其作为一个“坐”在你旁边的助理:改版、编辑、或是创建一些新的模块和元素。
在去年首次发布妙多 AI 时,我们向大家介绍了打造 AI 产品功能的一种理念 —— PTF (Product Technology Fit),道明了打造 AI 功能的难处:困难并不是创新想法受限,而是如何结合已成熟的技术打造可用性强的功能。
例如,“AI 布局” (让 AI 帮助设计师构建自动布局的功能)是一个非常匹配这个理念的功能。但另一面,我们逐渐感受这种理念对我们形成了一种枷锁,它的局限性在于:似乎完全匹配 PTF 的场景,是一些更为稀疏、低频的场景。而对应高频的场景,我们总感觉“可用性”不那么强。
同时,我们对“可用性”的定义有时候过分地严苛。“可用性”不一定需要绝对的 1 或 0 的判别,而是一种程度。而在 AI 时代,“可用性” 有两个典型特征:
基于新的理解,我们对 AI 产品的打造提出一个新的理念:Pre-Technology Fit 。
这意味着,我们对技术的快速发展具备敏锐的前瞻性预判,或是对技术前景抱持信仰,做出一些既在当下具备“可用性”,又能和技术一同与时俱进的功能。这种理念,不需要你一开始打造一个可用性极高的产品方案,而是“够用即可用”,有可能最初的方案只是满足了用户已知需求的一部分。而关键是,你需要确认这个方案最终会“足够好”,以及,这个方案会随着 AI 模型的能力进步不断为用户刷新体验,甚至达到“用户都不知道他们想要,直到你展示给他们”的价值。
在妙多 AI 2.0 中,我们推出了更多 Pre-Technology Fit 的能力:这些能力在当下已经具备可用性,并会与时俱进。例如:
同时,在这些功能的背后,我认为 Context(上下文)将持续发挥更大的作用:你的 AI 伙伴能理解你的业务、设计,让你不必在每次跟它布置任务时候都交代“成篇的前情提要”——就像和一个人在协作一样。这是另一个维度的 Pre-Technology Fit——AI Agent 自身也在飞速进化。
最后,介绍一下妙多实验室新的研究方向:快捷指令。
iPhone 用户对这个词汇并不陌生,在苹果同名的原生应用里,快捷指令可以帮助你设置一系列手机任务和应用执行的自动化,以满足不同人的长尾需求,或是偏好。如果你尝试徒手在手机里设置一些相对复杂的快捷指令,例如“用照片里的素材制作 GIF”,你会发现没那么容易 —— 这需要你非常了解手机可调用的不同能力,甚至需要具备逻辑完备的“产品设计”能力。
这类需求类似设计工具中的“插件”。不同设计师有不同的长尾需求,例如有一些设计师需要把一个文字图形按特定的规则旋转一周,插件的开发者编写插件来满足这类需求,并通过插件社区的生态壮大影响力。那插件的本质又是什么?事实上,它是开发者对设计工具提供 API 的调用逻辑,同时可能融入一些其它工具或服务。设计工具的插件很好,但我们也反思了一些问题:
那么,有没有更简单的方式,能更轻盈、智能地满足设计用户的长尾需求? AI Agent 的工作原理已经给出确定性的答案:如果长尾设计需求的本质是在画布中执行一系列有些繁琐的任务,那么你完全可以用自然语言把你的任务表述给设计伙伴,让他来替你代劳。
例如,你现在可以在妙多 AI 的快捷指令能力中,向你的设计伙伴提出这样的一些指令:
“给选中的所有矩形生成头像。”
“将这段文本按行分割为多个文本图层。”
“选中所有相似的按钮创建成组件,并替换成实例。”
“帮我生成一个可快速复制、粘贴某个对象所有描边属性和阴影属性的插件。”
你的设计伙伴将尝试理解你的意图,并自动编写程序调用妙多的 API 来帮你完成这些任务。我认为快捷指令不会“消灭插件”,但可以让用户更便利的解决“用完即走”的需求。
目前的快捷指令在稳定性和执行成功率上仍有优化的空间,因此我们暂时将其定义为实验室功能。
而另一方面,我对“任务类的指令” 在未来的发展抱有更高的期待,快捷指令只是 AI Agent 方向上最初级的一种形式。在未来,设计师可以叙述更复杂的任务指令,让 AI 完成更长线的任务。 AI 具备拆分任务和规划协作的能力,AI 还具备更多调用不同工具集(特别是设计师常用工具集)的能力。
试着设想,在明年今日,我们可以对 AI 伙伴布置这样的任务:
“我要一份详尽研究市面上主流订单结算页交互的调研,并推荐最适合我们当前业务的交互。”
“请综合这周所有人对这个设计稿的评论意见,给出改版方案。”
“这是产品经理的 PRD,先给我两版设计方案的初稿吧。”
我们会对 AI 发展太乐观吗?并非如此。事实上,未来已来,给妙多一点时间让它“均匀分布”。期待明年见。