ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
“在线版FLUX”已支持ControlNet,无需部署开箱即用,还能在线训练LoRA模块
9280点击    2024-08-16 21:19

“FLUX在线版”,新增一系列重磅功能!


ControlNet、LoRA等重要模块都悉数到齐,而且开箱即用,无需自行配置工作流。


甚至还可以在线训练自己的LoRA模型,并通过链接进行分享。



Stale Diffusion原班人马打造的最强绘图模型——FLUX上线之后,在线推理服务平台fal.ai就立即进行了跟进。


后续第三方开发的ControlNet、LoRA等新功能,也被fal迅速地加入到了自己的平台当中。


得益于fal开箱即用、支持一键分享的优势,LoRA和ControlNet加持的FLUX很快被网友们玩出了花。


比如给下面这个名场面当中的任务修改一下面部表情。



实际上,fal也是FLUX开发团队黑森林实验室官方合作的两个在线推理平台之一(另一个是Replicate)



fal.ai团队成员Jonathan Fischoff也在推特上大量转发网友利用其平台创作的作品和LoRA模型。



有网友在Fischoff的评论区许愿,希望fal能将ControlNet和LoRA与图生图结合。


对此Fischoff表示,已经在做了。



FLUX+LoRA被网友玩出花


先来看下史上最强的FLUX模型叠加上LoRA和ControlNet后的效果~


Fischoff展示了在fal上使用ControlNet轮廓控制的FLUX生成的图像。


控制轮廓大概是这个样子,直观看上去是卧室的场景,包含了床、椅子、绿植等物体。



作者用FLUX把这个轮廓绘制成了赛博朋克风,看上去确实挺有赛博朋克的感觉,也能较好地遵循控制条件。


Futuristic cyberpunk bedroom, neon lights, glowing porcelain sculpture above bedframe

未来风格的赛博朋克卧室,霓虹灯,床架上方发光的瓷器雕塑



我们通过PS把两张图叠加到一起观察下细节,贴合程度可以说是比较高的。



另外利用fal的分享页面,我们可以使用相同的ControlNet等配置,直接改一下提示词生成新的图像。


比如把这个赛博朋克风格的卧室改成中国风。



我们顺便体验了一下其他模式的ControlNet,比如姿势(pose)控制。


利用左边的图像作为参照,绘制一个跳舞的马斯克,虽然和马斯克不太像,但是该有的姿势倒是完美迁移过去了。



除了ControlNet,被分享更多的是各种各样的LoRA模块。


利用这些LoRA模块,可以把人物修改成剪纸、绘画、赛博朋克等各种不同风格。



还有网友把LoRA模型玩出了新花样,把可乐、TED演讲,甚至机器学习都搬到了1920年代的塔罗牌当中。



而且现在,无需研究如何部署模型、搭建工作流,通过fal这个在线平台就能开箱即用式地应用这些功能。


开箱即用的FLUX


在fal(L的小写)平台中目前一共有5个模型和FLUX相关,其中三个是FLUX的官方原版。


最新支持ControlNet和LoRA的,是[dev] with LoRAs这个版本(下图最后一个)



基础功能上,除了支持FLUX官方的文生图和图生图,这个模型还可以进行图像修复(inpainting)



其中ControlNet的部分,使用的是来自小红书的InstantX团队为FLUX开发的ControlNet合集。


InstantX团队一开始发布了线条(Canny)控制模块,后来又上线了支持了线条、景深、姿势等七种控制模式的合集。



顺带提一句,InstantX团队还新建了一个IPadapter模型的页面,估计很快就会上线。


与此同时,另一家叫Xlabs的工作室也做了适用于FLUX的ControlNet,不过目前支持的模式比InstantX的少一些,在线体验地点是隔壁的Replicate。


回到fal,另一项重磅功能就是LoRA了,今早刚刚更新的版本还新增了多个LoRA模块叠加的功能。



在fal当中,还可以在线训练自己的FLUX LoRA模块,做完之后可以通过链接进行分享


不过,fal平台并不免费,使用[dev] with LoRAs版本的价格是每百万像素0.075美元(约合人民币五毛四),新注册时会赠送1美元余额,大概可以画13张图。


当然,FLUX本身是免费开源的,可以自行下载搭建,fal收费是因为提供了推理服务,以及背后的计算资源


文章来源于“量子位”,作者“克雷西”



关键词: FLUX , AI , AI绘图 , fal.ai , LoRA
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0