您现在的位置： 首页>> 动态 >> 正文

全球通讯！最大CLIP！LAION发布CLIP的扩增定律

来源：


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143
标签：
相关新闻
2023年CPA考试具体是哪天

2023年CPA考试具体是8月25日至27日这三天，这三天是专业阶段的考试时间，综合阶段具体考试时间是8月26日，专业阶段的会计、财务成本管理、经济

鄂尔多斯交管做好煤炭保供工作

本报讯记者史万森为切实做好煤炭保供交通组织工作，内蒙古自治区鄂尔多斯市公安局交管支队采取与警务航空支队组成联合小组、在煤矿出入口设置

佛山基本医保个人账户怎么查询？

参保人需了解医保个账资金划拨情况的，可通过微信“粤医保”等小程序进行查询，或持社会保障卡或医保电子凭证或有效身份证件，到各医保经办机

《浮图缘》小说结局-今日精选

《浮图缘》根据尤四姐的同名小说改编，讲述了权倾朝野的昭定司掌印肖铎与先帝的才人步音楼勇敢地反抗命运和封建礼教的故事，那么这本原著小说

观察：政策加码　内房负债料改善

据大公报报导，中央经济工作会议早前在北京召开，会议指出，明年要坚持稳字当头，稳中求进，继续实施积极的财政政策和稳健的货币政策，加大宏