应该专注于prompt而非训练模型
最近在和朋友聊天时,不只一次被建议考虑「训练模型」。
这种建议虽然出于好意,但可能忽视了以下关键问题:
首先,训练大模型,对于知识的要求很高,大部分人都没有训练模型的知识水平。而且,我们还需要专门收集我们个人的数据库,但作为个人,真的有那么大的数据吗?恐怕并没有。而 prompt,大多数人都可以写,只需要会说话就可以了。
其次,训练大模型也需要钱,需要算力。Fine-tuning, RLHF, LoRA,等等,就算真的训练了,训练后的模型能力还可能会下降,并且训练后的模型,也难以和个人知识库数据保持同步更新。而使用 prompt,成本几乎为0。
就解决实际需求而言,使用 prompt 的效果就比微调模型要好。因为 propmt 可以精准地调整输出,可以反复优化和调整,并且可以更好地利用 LLM 的涌现能力(emergent abilities)。并且,现在大的模型,输入可以有200K tokens,也就是大约10万汉字,有个人数据,完全可以直接复制粘贴进去。
我个人觉得,对于大部分人而言,认识到 LLM 的局限性(例如回答常出现的问题)+积累个人Prompt模板库,就完全够用了。如果再为LLM专门积累自身的生活数据集,效果会更加惊艳。