视点！最大CLIP！LAION发布CLIP的扩增定律

来源：2022-12-27 04:27:53 时间：

(资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。

训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。

实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。

这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。

更多内容可见论文：https://arxiv.org/abs/2212.07143

关键词：

两市成交6653亿元创年内新低北向资金净买入16.03亿元

: 在惯性下跌的带动下，A股三大股指9月19日集体低开。早盘沪深两市走出震荡走势，至午盘时三大股指均小幅下跌。午后两市震荡回落，临近尾盘跌

扬子晚报 2022-09-21

黑龙江金融机构多措并举纾困中小微企业提升小微企业融资便利度、可得性

: 小微企业是实体经济的重要组成部分，但由于个体工商户和小微企业具有规模小、轻资产、抗风险能力弱等特点，普遍存在融资难、融资贵的问题。

黑龙江日报 2022-06-20

赏传统年俗逛非遗庙会铜官窑古镇重温传统民俗年

: 中新网长沙2月6日电 (潘杏琼)在多地倡导就地过年的环境下，位于长沙市城北的铜官窑古镇景区，从1月24日至2月15日举行中国年·湖湘味·铜官

中新网 2022-02-07

哈尔滨铁路迎节后返程高峰推出复工专列服务

: 中新网哈尔滨2月6日电 (周晓舟记者史轶夫)中国铁路哈尔滨局有限公司6日发布消息，哈尔滨铁路迎来春节后返程客流高峰，6日至7日预

中新网 2022-02-07

冬奥动车组设5G超高清演播室 “瑞雪迎春”号智能化人性化结合

: 中新网北京2月6日电 (记者刘文曦)在时速350公里的高铁列车上首设5G超高清演播室，为北京冬奥会量身定制的新型奥运版智能复兴号动车组瑞

中新网 2022-02-07

X 关闭

科技

数码

more+

产品

more+

X 关闭

众测

more+

: 视点！最大CLIP！LAION发布CLIP的扩增定律

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！近日，LAION等机构在Reproduciblescalinglawsforcontrastive

: 全球短讯！大参林(603233.SH)：148.6932万股限制性股票将解锁、上市流通

格隆汇12月26日丨大参林发布关于2020年度限制性股票激励计划首次授予部分第二个解除限售期、预留授予部分第一个解除限售期解除限售条件暨股份

: 环球观速讯丨公司前线|三五互联新增“HJT电池”概念

同花顺F10数据显示，2022年12月26日三五互联（300051）新增“HJT电池”概念。　　该公司常规概念还有：富媒体、云办公、网络游戏、电子商务、

: 世界微速讯：中小企业保险发力破解供需两难

中小企业保险发力破解供需两难

新视界

more+