BART 与 Qwen 模型的对话系统实现及评估

摘要

本研究探讨了两种实现对话系统的途径：一是通过自定义数据集类MyDataset处理对话数据，并设计MyTrainer类进行BART-Chinese模型的微调与训练；二是利用预训练的Qwen模型结合知识嵌入技术。用户可通过UI选择调用Qwen模型或BART模型进行对话。BART模型微调涉及数据集划分、数据预处理da及模型训练评估，确保数据适配模型要求。Qwen模型利用知识图谱增强理解能力，并通过实体识别、信息检索及相似度计算生成回复。We b服务基于Flask构建，支持跨域请求，通过Chatbot类处理消息并生成回复。实验结果显示，BART模型在BLEU分数上表现更佳，但在泛化能力上Qwen模型占优。未来工作将聚焦于整合半结构化知识数据和对话历史，以提升模型的上下文理解能力。