前言

大模型中有哪些形式简单却很巧妙的上分方法？今天给大家简单总结一下。

1、算力碾压

1.1 改大 batchsize，假装迭代次数对齐

1.2 多训 epoch，但是不明说，把训练长度换成以迭代次数报告，反之亦然，反正不能让人一眼看出来不对齐

1.3 epoch 数不变，但是一个样本用好几回，从而偷偷多过数据

1.4 把模型里下采样次数减小，模型计算量大了好几倍，但是只和别人比参数量

1.5 不在意计算量和参数量的领域狂堆算力

1.6 把算力很大的组件描述一笔带过，效率分析也只分析其它组件

1.7 用重参数化把模型搞的很大，训练很慢但是反正比推理开销

1.8 EMA / 多模型融合涨点，有条件还能自蒸馏

1.9 选个超级小的训练集，这样只要专心解决过拟合

2、超参数

2.1 通过把 cosine 学习率变化调成固定学习率，或者反过来，来得到想要的实验结果（cosine 降低学习率的最后那一部分一般会让模型性能快速上涨，提前下降学习率就会显得训练高效）

2.2 稍微调大一点学习率，把 baseline 的学习率调小

2.3 把各种超参数都隐藏在代码里面成为 magic number

2.4 优化器都有好多超参数可以调！

2.5 挑随机种子

3、小修小改

3.1 把模型的 relu 都换成 swish 或者 leaky relu / prelu

3.2 偷偷到处加 SE layer，反正基本上会涨点；加便宜的 attention 连接

3.3 把诸如 pooling, resize 不带参数的组件都换成带可学参数的，多学一点是一点

3.4 模组之间乱拉跳边，多 concat 一些特征反正不亏

3.5 在没 BN 的地方加 BN，在有 BN 的地方把 BN 去掉，还有 GN / IN / LN / WN 等等可以换

3.6 针对训练集和测试集的差异对训练集增广，改训练集分布

4、增量设计

4.1 加奇奇怪怪的 GAN Loss，一致性 Loss，反正有没有用很难说还能贴很多公式

4.2 把别人在论文里一句话带过的技术详细展开，加上一些魔法公式变换凑半页论文

4.3 要设计组件 x 加到模型上时，造一个可学习的 beta 参数，初始值为 0，改成把 beta * x 加到模型上，最差情况 beta=0 保持不变

4.4 扩展上一条，设计一堆组件，以可学参数的方式加起来

4.5 继续扩展，加一个 NAS 进去

4.6 从别的模型拿一些预训练参数，这样模型起点变高，上限也会变高因为相当于加数据和标注

4.7 搞一些非常复杂的课程学习，花式蒸馏（特征层，特征层的特征，跨模态蒸），别人做不 work 就说需要调参

4.8 不管有没有用，套上强化学习框架，让模型更多拥有自主能力

5、测试方法

5.1 测十个指标，报告有进步的三个

5.2 做十个数据集的实验，把没效果的五个扔掉

5.3 故意让测试方法和别人的训练场景不对齐，做低 baseline，比如把 RGB 通道搞反让别人挂掉

5.4 发明新的创新评价指标；魔改指标，比如 Y 通道测 PSNR，但是和别人 RGB 测的一起比

5.5 找 trivial 但是别人没考虑的场景，做出极其大的提升

5.6 用大模型比别人小模型，不报告别人的大模型；用针对某种指标训练的模型比别人没训的

5.7 在不同的硬件上测速，放在一起报告

5.8 最近语言大模型的，偷偷在测试 prompt 里加提示，few-shot 和 zero-shot 比

5.9 变相在测试集过拟合，比如泄露数据，泄露随机种子；把测试样本放到上游预训练里

5.10 测试数据集加真实场景，OOD 样本，baseline 掉点很多，这时候加点增广或者 dropout 把点补回来，但是把涨点贡献算到其它地方

5.11 私有测试集，人工评判，改进要多显著都能做出来

5.12 客观比不过比主观，主观比不过 cherry pick

6、终极方法

6.1 抄一个别人的方法，但是把名字换一遍

6.2 报高性能，问开源就是只有 README

6.3 直接开始写论文，不用做实验，反正恰好比 sota 高那么一点点

最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】