训练日志的记录的loss和grad_norm与使用的GPU数量有关，这是Bug吗？

[0x4e8]

我发现训练日志的记录的loss和grad_norm与使用的GPU数量有关，这是一个Bug吗？
如果使用4张卡训练，那么最初的几个step记录的loss大概为20左右，如果使用2张卡，那么就是40左右，论文使用8张卡，训练日志中loss是10，也就是最初的step的loss*GPU数量是一个常数（约80）。

然后我仔细看了一下代码，发现在Qwen2_5_VLForConditionalGenerationWithVGGT.forward()函数中，相比于transformers-v4.50.0的Qwen2_5_VLForConditionalGeneration.forward()函数中多了一个参数'**kwargs'，这样会导致model_accepts_loss_kwargs默认设置为True，也就是说loss不会再除以累积的梯度大小（https://huggingface.co/blog/gradient_accumulation#where-does-it-stem-from）（https://discuss.huggingface.co/t/model-accepts-loss-kwargs-detection-based-on-kwargs-is-too-permissive/148368）。
因此我加上了这一行代码：

现在，如论我使用几张GPU训练，初始的step记录的loss为1.5左右，不会随着GPU数量而变化。 在新版的transformers官方代码中，Qwen2_5_VLForConditionalGeneration.forward函数增加了参数'**kwargs'的同时，他们也加上了‘accepts_loss_kwargs = False’。

但是我发现这样做的话，loss降不下来！

这件事情困扰我一段时间了，我不知道是我的理解有问题还是目前VGLLM代码中确实应该加上‘accepts_loss_kwargs = False’。我现在正在使用3张A100训练，结束后我会第一时间测试加上‘accepts_loss_kwargs = False’后训练模型的效果。我非常希望能得到作者的回复，并很乐意能与作者讨论该问题！

[0x4e8]

非常感谢作者能够回复，正在和作者沟通，模型正在训练，有进展我会在此贴公布。

[npurson]

我也注意到了你提到的现象，参考这个 comment。不过根据我在大数据集上的实验，加不加 kwargs 虽然会让 loss 差 8 倍，但其实不太影响最终结果。

看起来你在尝试用新版的 transformers 库复现 VG-LLM，我之前也尝试过！但是我发现，即使修复了提到的这个 transformers 的问题，以及我那个 issue 里提到的 deepspeed 版本的问题，loss 和 44+ 的 VSI 性能看起来正常收敛，我的性能始终比原版 VG-LLM 低了几个点。我花了很久始终没解决，最终 fallback 回了原始版本 : (

[TUe-Ray]

我也注意到了类似的现象！

@npurson 我想请教一下，你是否已经成功使用 原始版本的代码 复现了作者的模型结果？

我这边在复现时遇到了一些差距。即使我使用了和作者相同版本的 DeepSpeed 和 Transformers，并且保持了相同的 global batch size，同时也把 GPU 数量调整成和作者一致（8 张 GPU）进行训练（以确保梯度累积和 grad norm scale 与作者设置一致），但最终在 VSI-Bench 上的结果仍然会：

• 比作者提供的 pretrained model 低大约 0.5
• 比论文中的结果低大约 0.9 左右

想请问你在复现时是否也遇到类似的情况？或者你是否成功复现到了和论文接近的结果？

[npurson]

我也注意到了类似的现象！

@npurson 我想请教一下，你是否已经成功使用 原始版本的代码 复现了作者的模型结果？

我这边在复现时遇到了一些差距。即使我使用了和作者相同版本的 DeepSpeed 和 Transformers，并且保持了相同的 global batch size，同时也把 GPU 数量调整成和作者一致（8 张 GPU）进行训练（以确保梯度累积和 grad norm scale 与作者设置一致），但最终在 VSI-Bench 上的结果仍然会：

• 比作者提供的 pretrained model 低大约 0.5
• 比论文中的结果低大约 0.9 左右

想请问你在复现时是否也遇到类似的情况？或者你是否成功复现到了和论文接近的结果？

我的复现结果印象里是在 46.8 - 47.2 之间波动。我记得作者有个 issue 里回了，由于采样问题，开源代码的复现结果是 47.0 左右（凭印象记的）。但是我现在一时找不到那条回复了

[TUe-Ray]

我也注意到了类似的现象！
@npurson 我想请教一下，你是否已经成功使用 原始版本的代码 复现了作者的模型结果？
我这边在复现时遇到了一些差距。即使我使用了和作者相同版本的 DeepSpeed 和 Transformers，并且保持了相同的 global batch size，同时也把 GPU 数量调整成和作者一致（8 张 GPU）进行训练（以确保梯度累积和 grad norm scale 与作者设置一致），但最终在 VSI-Bench 上的结果仍然会：

• 比作者提供的 pretrained model 低大约 0.5
• 比论文中的结果低大约 0.9 左右

想请问你在复现时是否也遇到类似的情况？或者你是否成功复现到了和论文接近的结果？

我的复现结果印象里是在 46.8 - 47.2 之间波动。我记得作者有个 issue 里回了，由于采样问题，开源代码的复现结果是 47.0 左右（凭印象记的）。但是我现在一时找不到那条回复了

那你有用作者 release 的 model 测过 VSI 吗？我这边用他的 model 跑出来的结果也是 46.7左右，感觉和论文里的 47.3 还是有一点差距 :( 目前我也不太确定是哪个环节出了问题

[npurson]

我也注意到了类似的现象！
@npurson 我想请教一下，你是否已经成功使用 原始版本的代码 复现了作者的模型结果？
我这边在复现时遇到了一些差距。即使我使用了和作者相同版本的 DeepSpeed 和 Transformers，并且保持了相同的 global batch size，同时也把 GPU 数量调整成和作者一致（8 张 GPU）进行训练（以确保梯度累积和 grad norm scale 与作者设置一致），但最终在 VSI-Bench 上的结果仍然会：

• 比作者提供的 pretrained model 低大约 0.5
• 比论文中的结果低大约 0.9 左右

想请问你在复现时是否也遇到类似的情况？或者你是否成功复现到了和论文接近的结果？

我的复现结果印象里是在 46.8 - 47.2 之间波动。我记得作者有个 issue 里回了，由于采样问题，开源代码的复现结果是 47.0 左右（凭印象记的）。但是我现在一时找不到那条回复了

那你有用作者 release 的 model 测过 VSI 吗？我这边用他的 model 跑出来的结果也是 46.7左右，感觉和论文里的 47.3 还是有一点差距 :( 目前我也不太确定是哪个环节出了问题

我印象里应该是跑过结果也在正常范围的。感觉 46.7 这个结果也还好，本身这个训练有点波动的。