华为诺亚源代码首个亿级中文多模态数据集，填补中文NLP社区空白

，然后根据升级版的海比率从新闻报导评注词组当中出现的当英译含义根和短语的kHz后下引屏蔽后所得。

查看列出建好后，学者在百度相片侦查每个查看，以受益相片 URL 列出和相应的标题信息。为了始终保持各不相同查看结果间的平衡点，他们每个查看最多侦查 1000 个取样。然后运用于在此之后获得的由此可知表 URL App由此可知表，再度共搜集了 1.66 亿个评介对。然后按照惯例，学者通过具体内容的一系列屏蔽战略来借助再度的普乌资料集。表 2 辨识了普乌资料集当中的一些取样。

基于由此可知表的屏蔽

学者首先根据由此可知表的大小和长宽核对资料后下引屏蔽。只保有长或宽高达 200 由此可知形且长宽比不高达 3 的由此可知表。这种方式屏蔽丢了有点小、有点高或有点宽的由此可知表，因为这些由此可知表在可不基础性训练期间经过上采样和方形只用等由此可知表增强手段后，有可能变成低分辨率。

基于评注的屏蔽

其次，为了使选择的取样较强并不相同由此可知表的高质比率当英译描绘出，学者根据由此可知表所附评注的第二语言、宽度和kHz对资料后下引再后下一步屏蔽。具体来说，他们首先检验了第二语言和宽度，保有了涵盖大概一个但大于 32 个新字的片语。同时还会丢下无意义的由此可知表描绘出，例如「000.jpg」。之后，与有点多相片相加的注解不一定与相片主旨都是，例如「查看源网页」（View source page）、「展开全文」（Expand text）、「摄影部落」（Photography community）。确实当中，学者将此电位设置为 10，即丢下丢在搜集的整个词组当中出现高达 10 次的评介对。

为了必要措施评注当中出现的该软件，学者将出处替换为特别标示「」，此外，他们还借助了一个当英译帖子列出，涵盖帖子的评介对也被丢下。

应用上述屏蔽战略后，学者再度得到一个大约 1 亿对的资料集。下表 2 辨识了资料集的统计分析比率：资料集评注当中曾 20,442 个唯一 token，每个描绘出当中的最少 token 数为 22。

在表 3 当中，学者可视化了资料集当中含义根（由一个或多个 token 组合而成）的原产。然后，他们运用于当英译评注分含义应用软件 Jieba 来方式在含义根并借助资料集的含义云。

应用软件Core

评注 - 由此可知表牵头填充

与已经有经过比较再后下一步验证的应用软件类似，学者采引了对比可不基础性训练Core，如表 1 所示。他们运用于一个带有基于 Transformer 的评注和由此可知表的系统的德阳假设。这两个的系统将评注和听觉转换 token 转换为不尽相同尺度的映射。在这个研习到的牵头映射尺度当中，学者运用于对比损失来期望成对的由此可知表和评注较强相似的映射，而不成对的较强各不相同的映射。

假设Core

由于听觉和评注假定的的系统是解微的，因此可以为这两种假定探险各不相同的的系统Core。学者飞行测试了三种听觉的系统见具体内容（即 ResNet、Vision Transformer 和 Swin Transformer）以及一个单一的类 BERT 评注的系统来基础性训练当英译 VLP 假设。

可不基础性训练期望

串连假定对比研习是一种从成对的由此可知表 - 评注资料当中基础性训练假设的特别有效的应用软件，它可以通过区分成对和不成对的取样同时研习两种假定的透露。学者遵循 FILIP（Yao 等人，2022）当中的乘积标示，运用于

去定义由此可知表取样集合，同时

都有评注资料。等价一个由此可知表取样

和一个评注取样

，该假设的期望是让牵头多假定尺度当中的相加的由此可知表和评注透露接近，不相加的则远离。

在这项指导工作当中，学者探险了两种衡比率由此可知表和评注二者之间相似度的应用软件。由此可知表和评注的学得透露分别标示为

和

。这中的，n_1 和 n_2 是每个相片和评注当中的（不曾填充的）含义 token 的数比率。

LiT-tuning

学者受到了已经有明确提出的一种微调范式 LiT-tuning（Locked-image Text tuning）的启发，该范式表明二阶相同的由此可知表的系统和可研习的评注的系统在 VLP 假设当中缺点毫无疑问。他们在对比研习设置当中也采引了同样的方式，即只比较从新评注的系统的二阶，而不比较从新由此可知表的系统的二阶。

具体而言，学者采引的 LiT-tuning 应用软件旨在教一个当英译的评注的系统从一个现有的由此可知表的系统当中读取合理的透露，该由此可知表的系统是在英语资料集上可不基础性训练过。他们还为每个的系统添加了一个可选的可研习对角层，它将两种模式的透露映射到不尽相同的尺度。LiT-tuning 之所以缺点很好，是因为它解微了用于研习由此可知表特征和听觉第二语言填充的资料源和技术（Zhai 等人，2021b）。并且，由此可知表描绘出机内事先运用于相对清洁或（半）手动标示的由此可知表后下引了良好的可不基础性训练。

学者将这一思路扩展到多第二语言资料源，并尝试将在英语资料源上可不基础性训练的相同了的由此可知表的系统和可基础性训练的当英译评注的系统填充。此外，LiT-tuning 应用软件显著加快了基础性训练全过程并减低了内存需求，因为它不所需为听觉的系统计算分比率。

实验结果

下表 3 描绘出了假设参数和视频的系统的细节。

零取样由此可知表归入。学者在 17 个零取样由此可知表归入特别任务上检验可不基础性训练假设。零取样由此可知表归入的结果如下表 5 所示。他们来得了运用于各不相同听觉的系统的多个 LiT -tuning 假设，即从 CLIP 或 Swin Transformer 加载现有的听觉的系统并在基础性训练阶段相同它们的二阶。结果辨认出，运用于 token 水平的相似度比运用于1]相似度会带来比较显著的改后下。

评介检索特别任务。学者在两个子特别任务，即意在搜文和以文搜由此可知上做了检验。下表 6 和表 7 分别辨识了零取样设定和可以微调的评介检索的结果。对于零取样设置，相比之下其它假设，Wukong_ViT 在 4 个资料集当中的 3 个上争得了毫无疑问的结果，而 Wukong_ViT-500M 在比较大的 MUGE 资料集上争得了毫无疑问的结果。对于微调设置，Wukong_ViT-500M 则在除 AIC-ICC 都是的所有资料集上都争得了毫无疑问的结果，其当中 Wukong_ViT 缺点毫无疑问。

含义汇 - 由此可知块填充的可视化。学者运用于可不基础性训练假设 Wukong_ViT 和 Wukong_Swin 后下 引可视化。如由此可知 4 所示，其当中可视化来自当英译的 ImageNet 的六个字句（即豆娘、船员、金翅雀、内置平板电脑、圣堂和电风扇）的由此可知表。然后应用与 FILIP（Yao 等人，2022）不尽相同的可视化应用软件来填充评注和由此可知块 token。

从表 4 当中，学者辨认出两种假设都并不需要可不测期望表面的由此可知表块。对于较强比较多由此可知表块的 Wukong_ViT，这种含义汇 - 由此可知块填充比 Wukong_Swin 比较加细粒度。

。

精道异常
膝关节炎的药物治疗
关节僵硬应该检查什么
钇90微球能根治肝癌吗
急支糖浆成分有哪些
钇90树脂微球治疗一次多少钱
中晚期肝癌治疗方案有哪些
钇90微球注射液