没有一个前置的意图识别任务分类小模型,看下论文,
Training_language_models_to_follow_instructions_with_human_feedback.pdf
里面从26页到30页有真实训练数据示例,看了就懂了:
想办法把训练数据都处理成GPT式的文本生成式的格式,意图分类就‘内置’在prompt里了。
GPT这种decoder-only transformer可以实现pre-train和fine-tune的一致性,
这里一致性就是指的,pre-train时的模型输入输出的数据格式 和 fine-tune时的模型输入输出的数据格式 完全一样,同时pre-train的代码和fine-tune的代码也都几乎一样,
举例pre-train时的伪代码:
sentence_concat_next_sentence.make_labels()
gpt_model.fit(sentence_concat_next_sentence)
然后fine-tune时的伪代码:
question_concat_answer.make_labels()
gpt_model.fit(question_concat_answer)
所以这样最大化利用了大规模预训练的基础“知识库”。