智源社区
谷歌&斯坦福|DoReMi方法优化预训练数据领域的混合比例,加速大模型语言训练
这篇论文旨在解决语言模型预训练中数据混合比例对性能的影响问题,利用分组分布式鲁棒优化(Group DRO)训练小型代理模型来生成领域权重(混合比例)。该方法...
Stability AI发布DreamStudio的开源版本
Stability AI正在发布DreamStudio的开源版本,这是该公司AI图像生成器模型Stable Diffusion的商业接口。制作DreamStudio的开源版本对稳定性人工智能有好处”它...
70 款 ChatGPT 插件评测(含样例分析)
开发者仅使用自然语言就可以开发ChatGPT插件。
CodeT5+:非常灵活的、面向代码理解和生成的开放大型代码语言模型
面向代码理解和生成的开放大型代码语言模型,现有的代码大型语言模型在架构和预训练任务方面存在限制:无法灵活适应不同的下游代码任务“并在某些任务上达到最...
StructGPT:基于迭代的阅读-推理框架(IRR)让LLMs在结构化数据上推理
本文旨在研究如何在大型语言模型中统一提高其在结构化数据上的零-shot推理能力,使用迭代阅读-推理(IRR)的方式来解决基于结构化数据的问答任务:StructGPT...
微软|PICL预训练上下文能力,比大型语言模型表现更好
该论文旨在通过提出一种新的框架PICL来增强语言模型的上下文学习能力。该论文的关键思路是通过在通用纯文本语料库上使用简单的语言建模目标来对模型进行预训...
视频自监督学习综述
深度学习在各个领域的显著成功依赖于大规模注释数据集的可用性,使用人工生成的注释会导致模型有偏差学习、领域泛化能力差和鲁棒性差,自监督学习提供了一种...
大型语言-视觉模型的视觉提示工程
大型语言-视觉模型的视觉提示工程,研究如何让计算机视觉模型更好地理解图像,通过在图像上标记(比如画圈)的方式来引导模型更好地理解图像。从而在一些任务上...
UC San Diego、清华 | CVPR 2022《具身人工智能》教程,200+PPT
人们对计算机视觉中的具身人工智能研究越来越感兴趣。包括ICLR 2022年物理世界的广义策略学习、IROS 2020年的OCRTOC:计算机视觉现在是具身人工智能研究的一个...
OpenAI发布文字生成3D模型Shap.E
这使得生成的3D模型可以通过多种方式渲染或导入其他3D应用程序:为了提高3D生成模型的效率和多样性:直接生成可渲染为纹理网格和神经辐射场的参数:他们在编...