AI绘画王者MidJourney面临强大对手,谷歌藏匿多年的研究成果终曝光
文章标签:AI绘画, MidJourney, 谷歌, 研究成果
AI绘画王座上的MidJourney,终于迎来强劲对手。
最新挑战者Ideogram横空出世,开局就靠免费注册吸引众多目光。
最瞩目的特性:在图中精准生成文字,英伟达科学家范麟熙直接毫不客气地用它画了一个“It’s over, MidJourney”。
背后公司Ideogram AI,谷歌AI绘画7大牛集体离职的创业项目,坐标多伦多,带着1650万美元 (约1.2亿人民币)种子轮融资席卷而来。
创始团队中前4人都是谷歌文生图研究Imagen论文作者,组成一个扩散模型顶级研究团队。
谷歌藏着掖着这么久都不给大家玩的先进研究成果,终于被他们给开放出来。
Ideogram AI种子轮融资由a16z和Index Ventures领投。
个人投资者中也不乏知名人物,如OpenAI创始成员Andrej Karpathy,强化学习大牛Pieter Abbeel,Node.js创始人Ryan Dahl、GitHub联合创始人Tom Preston-Werner等。
甚至团队的老上司,前谷歌大脑掌门人Jeff Dean也有参与。
Ideogram AI的创始人团队虽然以技术见长,但在宣传推广方面同样具备高度的专业素养。为了扩大品牌知名度,他们创新性地利用?’这一社交平台,倡导用户参与#二创tag的话题讨论,从而引发了一场病毒式营销活动。
AI学会精准画出文字
让AI精准绘制文字一直是挑战。尽管SDXL和MidJourney推出的局部重绘功能有所改进,但是用户反馈的成功率仍然不够理想,需要不断尝试。
Ideogram一搞定这个痛点,直接被网友们玩出花了。
让文字出现在指示牌上、同时适应环境光影,没问题。
做一个咖啡拉花也没问题。
抽象风格的海报,也可以搞出风格合适的字体。
一句话直出品牌logo更是生产力属性拉满。
从网友们分享的提示词中也可以看出,增加画文字成功概率的“咒语”也很简单,就一个单词:
typography(印刷排版)
不过很可惜的是,它还不太能掌握中文。
Ideogram作为一种图像生成技术,其强大的图像生成能力使其在出图质量上能够与MidJourney和Stable Diffusion等先进技术相媲美,无论是在抛开文字的情况下,还是在展示图像时,都能展现出出色的品质,这使得Ideogram在图像生成的领域具有极高的实用价值和广泛的应用前景。
当采用与Imagen完全相同的技术时,选择谷歌T5而非OpenAI CLIP作为语言编码模型,将导致Ideogram在理解提示词中空间关系描述方面具有更强的能力。
有人成功用它生成一组风格一致的图像。
再结合视频生成工具Pika Labs直接搞出电影预告片风格的短片。
扩散模型顶级研究团队
Ideogram AI创始团队共7人,其中4人都是谷歌Imagen的合著者。
其中共同一作Mohammad Norouzi任CEO,他在多伦多大学计算机科学博士就读期间拿到了谷歌ML博士奖学金。
他毕业后在谷歌大脑工作了长达7年,期间不仅专注于模型的生成,更是谷歌神经机器翻译团队的元老之一。同时,他还是Hinton团队 SimCLR 自监督对比学习框架的共同作者。
共同一作William Chan (陳俊樂)任新公司CTO,他先后就读于加拿大滑铁卢大学、卡内基梅隆大学。
他2012年加入谷歌时先做的机器学习广告工程,后转到谷歌大脑作NLP研究。
第三位共同一作Chitwan Saharia本科毕业于孟买理工学院,2019年加入谷歌,现在是Ideogram的联合创始人。
第四位联创Jonathan Ho博士毕业于UC伯克利,曾在OpenAI工作一年,后加入谷歌。
他除了是Imagen论文的核心贡献者,还是去噪扩散模型奠基之作《Denoising Diffusion Probabilistic Models》的一作,这篇论文合著者中的Pieter Abbeel也是Ideogram AI的投资人。
创始团队中的另外三人,Shayaan Abdullah曾是Twitter的机器学习工程师,于今年4月离职,后加入Ideogram AI。
Jacob Lu为软件工程师,加入Ideogram之前曾在亚马逊等公司任职;Jenny Lei是软件工程实习生,加入Ideogram AI之前曾在谷歌实习。
还要做视频生成
Ideogram AI的四位联创在谷歌期间,还完成了视频生成的后续工作Imagen Video。
在一年前就已经实现了生成1280*768分辨率、每秒24帧的高清视频片段。
在今年三月份,量子位从投资领域得知其天使轮估值已经达到了1亿美元的水平。这使得许多风险投资公司(VC)希望能够投资但他们却无法做到,或者无法参与他们的创业方向。关于这些信息以及他们的创业方向的其他细节,我们都有所了解。
不仅做图像生成,将来还要做视频生成。
谷歌对于其图像识别技术(Imagen)以及视频识别技术(Imagen Video) never 提供试玩、API或开源代码,这是基于对安全和伦理等方面的深思熟虑。
研究成果无法转化为应用,是近年来不少从谷歌离职创业者遇到的共同问题。
如大模型那边的Transformer八位作者中,Cohere创始人Aidan Gomez就曾表示离开的原因是“我在谷歌没有看到大模型发挥它真正的力量”。
Ashish Vaswani与Niki Parmar离开谷歌创办Adept AI与Essential AI的原因也是“谷歌希望用Transformer优化现有产品,而我们希望创造新产品”。
后来这些研究者所担心的事也确确实实发生了:
尽管2021年5月(比ChatGPT训练数据截止日期还早)谷歌就已经开发出了LaMDA对话大模型与聊天机器人,但在推出产品方面有太多顾虑,最终18个月后被隔壁ChatGPT一手直接面对公众开放抢尽了风头。
……
吸取了这些教训,新成立的Ideogram AI也拿出一副尽量开放、先把用户吸引进来玩的架势。
最初宣布了1000人测试名额,但没一会就满了。
今天似乎又开放了一些名额,量子位上午注册时并没有遇到排队。
总之名额应该还是有限的,感兴趣的朋友抓紧了。
— 完 —
AI绘画, MidJourney, 谷歌, 研究成果