使用python:
如果你要进行单样本推理, 可以参考LLM推理文档
使用CLI:
提示: 因为自我认知训练涉及到知识编辑, 建议对MLP加lora_target_modules. 你可以通过指定--lora_target_modules ALL
在所有的linear层(包括qkvo以及mlp)加lora. 这通常是效果最好的.
使用python:
使用CLI (单卡):
使用CLI (DeepSpeed-ZeRO2):
如果你使用的是3090等卡, 可以降低
max_length
来减少显存消耗.
你需要设置best_model_checkpoint
的值, 该值会在sft的最后被打印出来.
使用python:
使用CLI:
使用python:
使用CLI: