聊天机器人是一种基于自然语言处理（NLP）与人工智能（AI）技术的智能交互系统，能够模拟人类语言行为，实现与用户的实时、自然对话。通过深度学习、语义理解、上下文建模和对话管理等核心技术，聊天机器人不仅能准确识别用户意图，还能生成连贯、个性化的回应，从而提供高度拟人化的交互体验。目前，聊天机器人已广泛应用于客户服务、智能教育、远程医疗、社交娱乐、金融咨询、电商导购等多个领域。在客户服务场景中，它们可实现7×24小时全天候响应，大幅降低人力成本并提升响应效率；在教育领域，智能助教可为学生提供个性化答疑与学习建议；在医疗健康方面，聊天机器人则能协助完成初步问诊、用药提醒与心理健康支持等任务。作为全爱科技最新推出的智能交互平台， Atlas-Pi-B融合了多模态感知、领域自适应学习与情感计算等前沿技术，不仅具备强大的语言理解与生成能力，还能根据用户画像和历史交互动态优化对话策略，实现“越聊越懂你”的智能服务体验。Atlas-Pi-B 支持私有化部署与行业定制化开发，可灵活嵌入企业现有系统，助力数字化转型与智能化升级。 1聊天机器人实现原理 1.1市场需求近年来，中国聊天机器人行业呈现出蓬勃发展的态势。随着自然语言处理（NLP）、机器学习（ML）和深度学习（DL）等技术的不断突破，聊天机器人的智能化水平显著提高，能够更准确地理解用户意图并给出相应回答。聊天机器人在多个领域的应用不断深化。在智能客服领域，聊天机器人可以替代人工客服，提供24小时不间断的在线服务，提高客户满意度和服务质量。在教育领域，聊天机器人可以作为学生的个性化学习辅导工具，提供精准的学习建议和解答疑惑。在医疗领域，聊天机器人可以作为虚拟助手协助医生进行诊疗决策和患者管理。据市场研究机构预测，全球聊天机器人市场规模在不断扩大。据中研普华研究院《2024-2029年中国AI聊天机器人行业市场深度分析及投资战略研究报告》，2022年全球聊天机器人市场规模约为20亿美元，预计到2027年将达到近100亿美元，复合年增长率约为35%。在中国市场，这一趋势同样显著。从2019年至2022年，中国对话机器人行业市场规模由14亿元增长至44.7亿元，预计到2025年将达到98.5亿元。这一数据充分显示了中国AI聊天机器人市场的强劲增长势头。当前，AI聊天机器人市场需求持续增长，主要得益于客户服务需求驱动、个性化服务需求增长和技术进步推动市场发展三个方面。 1）客户服务需求驱动随着市场竞争的加剧，企业越来越注重提升客户服务质量。AI聊天机器人能够24小时不间断地为客户提供服务，快速响应并解决问题，有效提升了客户满意度。 2）个性化服务需求增长消费者对于个性化服务的需求日益增加。AI聊天机器人通过自然语言处理技术，能够识别并理解用户的意图和喜好，提供个性化的服务和建议。 3）技术进步推动市场发展随着人工智能技术的不断进步，AI聊天机器人的性能不断提升，能够更准确地理解用户意图，生成更自然、更相关的回复，从而推动了市场需求的增长。未来，AI聊天机器人的技术趋势将主要体现在智能化交互体验、数据驱动决策和个性化定制服务三个方面。 1）智能化交互体验随着技术的进步，对话聊天机器人将提供更加智能化、人性化的交互体验。用户可以通过自然语言与机器人进行流畅的交流，获得更加精准和个性化的服务。 2）数据驱动决策对话聊天机器人将充分利用大数据分析技术，对用户的交互数据进行深入挖掘和分析，为企业提供有价值的商业洞察，帮助企业做出更加精准的决策。 3）个性化定制服务对话聊天机器人将具备更强的个性化定制能力。企业可以根据自身需求，对机器人进行深度定制，以满足特定场景下的服务需求。 1.2技术发展历史自1956年人工智能相关概念在美国达特茅斯会议（Dartmouth Conference）上被提出以来，“让机器拥有甚至超越人类水平的智能”成为人工智能研究领域的终极使命，而设计出接近于真实人类对话交流能力的聊天机器人成为该领域的主流研究方向之一，自然语言处理能力及图灵测试（The Turing Test）则成为衡量人机交流水平的决定性标尺。因此，基于计算机自然语言处理能力所处的不同层级，可将聊天机器人智能化发展进程大体划分为下述四个时期。聊天机器人智能化发展的第一个时期是20世纪60至80年代，主要采用“词典+规则”（dictionary/lexicon + rule）的自然语言处理范式，以麻省理工学院人工智能实验室的计算机科学家约瑟夫·维森鲍姆（Joseph Weizenbaum）1966年发明的伊丽莎（ELIZA）与斯坦福大学精神病学家肯尼思·科尔比1972年撰写的帕里（PARRY）为智能聊天机器人的早期典型代表。二者虽然均较为成功的实现了在英语语境下，对人类提问中的部分关键词做出特定回应，但在人机交流过程中，机械化、程式化特征明显。此后十几年内所诞生的诸如瑞克特（Racter）、专家系统（Expert System）、尤内克斯顾问（UNIX Consultant）等一系列聊天机器人，基本延循了伊丽莎与帕里的设计思路与技术原理。在这一时期，原始的编程语言、简短的程序代码、存储在计算机内存中容量有限的数据库以及基于关键词匹配人工编写回复的技术原理，极大地制约着人机交流效果。第二个时期是20世纪90年至21世纪初，以美国科学家兼慈善家休·勒布纳（Hugh G. Loebner）1990年设立的勒布纳人工智能奖（Loebner Prize）为标志性起点。在该奖项激励下，聊天机器人智能化进程全面提速，诞生出了基于“统计模型”（statistical models）自然语言处理范式的阿尔伯特一号（Albert One）、爱丽丝（ALICE）及埃尔伯特（ELBOT）等典型代表。其中，爱丽丝被视为当时智能化程度最高的聊天机器人，分别于2000年、2001年、2004年三次问鼎勒布纳奖。尽管爱丽丝通过拥有大量将输入模式匹配到输出模式的简单规则来弥补形态、句法和语义处理模块的不足，提升对话功能，但基于AIML（Artificial Intelligence markup Language）构建的闲聊系统无法与人维持长时间对话，因此在一定程度上导致了它最终未能通过图灵测试。第三个时期是21世纪初至20年代，以苹果Siri、微软Cortana、谷歌Google Assistant以及亚马逊Alexa等服务于私人用户的数字助理为代表。这一时期的智能聊天机器人基于“深度学习模型”（deep learning models）的自然语言处理范式，采用语音识别与信息检索技术，能够为用户提供个性化和便捷性的服务。相较于前两个时期，此时的智能聊天机器人已经能够初步实现人机的双向交流，既能被动接受由人类通过热词触发的对话，也能主动把握人机交流机会，如适时提供临近事项提醒、根据上下语境推荐产品和服务等。然而必须指出的是，虽然此时的智能聊天机器人对话应用场景更加泛化、深化，但依旧与接近于真实人类对话交流能力存在较大差距。例如，对于不能直接回答的请求，数字助理智能聊天机器人往往会爬取网页上的相关信息，以链接的方式推出，让用户自行寻找，人工智能瞬间变为了“人工弱智”，高效的人机交流备受阻碍。第四个时期是20世纪20年代，其标志性代表是采用“预训练+微调”（pre-training + fine-tuning）自然语言处理范式的生成式人工智能系统ChatGPT。这一阶段通过大规模预训练模型在广泛数据上学习语言能力，再结合特定任务进行微调，大幅提升了模型的上下文理解与生成能力，为自然语言处理的实际应用开启了新篇章。ChatGPT所使用的语言模型LLM（Large Language Model），包含了超千亿规模的模型参数、超强大的算力运行效能以及人类反馈的强化学习技术（Reinforcement Learning with Human Feedback,RLHF），这使其能在不断自主学习之中强化语言生成能力，在不同情境之下正确理解语义并实现高质量文本生成，实现输出文本与用户需求和认知的一致性，从而实现与用户持续稳定的对话。ChatGPT升级版GPT4在大型语言模型上进一步创新，实现了多模态，支持文本和图片的双形态输入，能在读懂文本的同时理解图片内涵，进一步拓展了人机交流的维度。纵观媒介沿革史，人类在与媒介的触达方式和情感体验方面已经从文本演进至视觉、从游离转向沉浸、从现实拓展至虚实。因此，不难想象，在走向通用人工智能（Artificial General Intelligence，AGI）技术的途中，视觉化的多元互动、沉浸式的深度体验、融合性的虚实环境都将成为人机交流场景下必不可少的要素，届时人机交流能力将呈现爆炸式增长。 1.3当前的实现技术路径聊天机器人技术概况随着人工智能技术的飞速发展，聊天机器人已经成为日常生活和商业应用中不可或缺的一部分。聊天机器人通过模拟人类对话，能够提供即时响应、解决问题和增强用户体验。这些机器人背后的技术原理涉及自然语言处理（NLP）、机器学习和深度学习等多个领域。传统的聊天机器人主要依赖于预设的规则和模式匹配，而现代的聊天机器人则更多地利用大型语言模型和深度神经网络，以实现更自然、更智能的对话能力。聊天机器人的核心技术主要包括自然语言处理（NLP）、机器学习、和深度学习三个方面。 1）自然语言处理 NLP是聊天机器人的基础，它使计算机能够理解、解释和生成人类语言。NLP技术包括文本分类、情感分析、实体识别等，这些技术共同作用，使得聊天机器人能够准确理解和回应用户的需求。 2）机器学习通过机器学习算法，聊天机器人可以从大量的对话数据中学习和改进。监督学习、无监督学习和强化学习等方法被广泛应用于训练聊天机器人，使其能够不断优化对话策略和提高响应质量。 3）深度学习深度学习是一种特殊的机器学习方法，它利用多层神经网络来处理复杂的任务。大型语言模型如GPT-3和BERT就是基于深度学习技术开发的，它们在自然语言理解和生成方面表现出色，极大地提升了聊天机器人的智能化水平。大预言模型的发展历程大型语言模型是近年来AI领域的重大突破之一。这些模型通过大规模的数据训练，能够生成高质量的文本，模拟人类的对话能力。以下是大型语言模型发展历程中的几个重要里程碑。 1）早期模型早期的语言模型主要基于统计方法，如n-gram模型。这些模型虽然简单，但在处理长文本和复杂语境时表现不佳。 2）循环神经网络（RNN） RNN及其变体（如LSTM和GRU）的出现，使得模型能够处理序列数据，从而在自然语言处理任务中取得了显著进展。RNN能够捕捉上下文信息，但存在梯度消失和梯度爆炸的问题。 3）Transformer模型 2017年，Google提出了Transformer模型，彻底改变了自然语言处理的格局。Transformer通过自注意力机制（Self-Attention）有效地处理长距离依赖问题，大大提高了模型的性能。随后，基于Transformer的模型如BERT、GPT系列和T5等相继问世，进一步推动了大型语言模型的发展。 4）GPT-3 2020年，OpenAI发布了GPT-3，这是一个拥有1750亿参数的超大规模语言模型。GPT-3在多项自然语言处理任务中表现出色，其强大的生成能力和广泛的适用性使其成为当前最先进的人工智能技术之一。传统聊天机器人实现方法尽管大型语言模型在聊天机器人领域取得了巨大成功，但传统的聊天机器人实现方法仍然在某些场景下具有优势。传统聊天机器人的实现技术路径主要分为基于规则的方法、基于模板的方法、基于信息检索的方法和混合方法四大类。 1）基于规则的方法基于规则的聊天机器人通过预设的逻辑规则和模板来解析用户输入，并生成固定的回复。由于它基于强加的规则所以这个聊天机器人生成的响应几乎是准确的；但是，如果我们收到与规则不匹配的查询，聊天机器人将不会回答。这种方法结构简单，便于实现，但在应对复杂对话和多轮交互时显得力不从心。 2）基于模板的方法基于模板的方法通过预设的对话模板来生成回复。这种方法相对灵活，可以在一定程度上处理多样化的用户输入。开发者可以设计多种模板，根据用户的输入选择合适的模板进行回复。 3）基于检索的方法基于检索的方法通过搜索引擎或数据库查询来获取回复。通过从预定义的知识库中检索与用户问题相关的答案提供响应。传统的信息检索算法如TF-IDF和BM25曾广泛使用，近年来结合语义搜索和深度学习技术的改进显著提升了回答的相关性和准确性。这种方法适用于知识库丰富的场景，如问答系统。当用户提出问题时，系统会在知识库中搜索最相关的答案并返回给用户。然而，这种方法的回答质量依赖于知识库的覆盖范围，无法生成超出知识库范围的内容。 4）混合方法为了结合多种方法的优势，许多聊天机器人采用混合方法。例如，可以结合基于规则的方法和基于机器学习的方法，先通过规则处理常见的简单问题，再利用机器学习模型处理复杂的问题。这种混合方法能够在保证效率的同时，提高聊天机器人的智能化水平。 2 Atlas-Pi-B 硬件、软件信息表2-1 硬件基本规格特征规格昇腾AI处理器昇腾310B AI处理器 1个DaVinciV300 AI core（主频500MHz） 4个TAISHANV200M处理器核（主频1.6GHz） AI算力a 半精度（FP16）： 10TFLOPS 整数精度（INT8）： 20TOPS 内存类型：LPDDR4X 速率：3200Mbps/ 4266Mbps 位宽：64bits/96bits 容量： 12GB 支持ECC 存储内置SPI flash 支持外部MMC接口，可支持eMMC5.1颗粒，支持HS400模式提供一个微型存储卡接口，类型为SD 3.0，向下兼容SD 2.0标准。推荐使用SD 3.0接口标准的微型存储卡。容量要求最小1GB，最大128GB 提供一个M.2 Key M连接器，NVMe SSD。编解码能力支持H.264/H.265 Decoder硬件解码40路1080P(1920x1080)30FPS，YUV420 支持H.264/H.265 Decoder硬件解码，4路4K(3840 x2160)75FPS，YUV420 支持H.264/H.265 Encoder硬件编码，20路1080P(1920x1080)30FPS，YUV420 支持H.264/H.265 Encoder硬件编码，3路4K(3840x2160)50FPS，YUV420 JPEG解码能力1080P(1920x1080)512FPS(单路最大256PFS)，编码能力1080P(1920x1080)256FPS，最大分辨率:16384x16384，最小分辨率:32x32 模组接口提供一个MXM连接器连接Atlas 200I A2 加速模块外设接口 1.25mm接线端子，详见扩展接口 USB Type A接口：2个 USB Type C接口：1个微型存储卡接口：1个千兆网口：2 个 Uart接口：3个(结构可定制) Can接口：1个(结构可定制) GPIO接口：8个（结构可定制）音视频接口 MIPI-CSI：8Lane 板载麦克风：1个 Mirco HDMI：1个功耗工作电压：12V 典型功耗：24W 结构尺寸 102mm x 73mm x 43mm（长x宽x高）净重 401g 表2-2 软件基本规格特征规格操作系统 Ubuntu 22.04 固件版本 7.5 驱动版本 23.0.0 CANN版本 8.0 3 ChatYuan-Large大模型介绍 3.1大模型的特点 ChatYuan-Large是一种基于自然语言处理的生成式预训练大模型，支持中英双语的功能型对话语言大模型，尤其在中文领域具有突出的表现力。该模型结合了深度学习和语言建模技术，能够理解复杂语境并生成符合用户需求的高质量文本。 ChatYuan-Large通过数百亿级参数的训练，在对话生成、文本补全、问题解答等场景中表现卓越。ChatYuan-large-v2使用了和v1版本相同的技术方案，在微调数据、人类反馈强化学习、思维链等方面进行了优化。与其他大语言模型（Large Language Model）不同的是模型十分轻量化，并且在轻量化的同时效果相对还不错，仅仅通过0.7B参数量就可以实现10B模型的基础效果，正是其如此的轻量级，使其可以在普通显卡、CPU、甚至手机上进行推理，而且在大语言的模型量化（INT4）后的最低只需400M。此外，它能捕捉用户输入的上下文关系，实现高质量的语境适配，并通过微调满足特定行业需求。同时，优化后的网络架构与训练方法也确保了较低的计算成本和快速响应能力。其特点主要包括强大的生成能力、多领域适配、多语言支持、语境理解能力、灵活的定制化及高效的推理性能。 1）强大的生成能力 ChatYuan-Large通过数百亿级参数的训练，能够生成连贯、自然且高质量的文本，适用于对话生成、文本补全、问题解答等多种场景。 2）多领域适配 ChatYuan-Large支持金融、医疗、教育、科技等多个专业领域，具有强大的知识扩展和迁移能力，能够适应不同场景的语言需求。 3）多语言支持 ChatYuan-Large在训练过程中整合了多语言语料，支持中文、英文等多语言的文本生成与理解，尤其在中文领域有极强的表现力。 4）语境理解能力 ChatYuan-Large具备深度语义理解能力，能够准确捕捉用户输入的上下文关系，生成符合语境的文本输出。 5）灵活的定制化 ChatYuan-Large让用户可以通过微调实现特定任务优化，满足特定行业或领域的专业需求。 6）高效的推理性能通过优化网络架构和训练方法，ChatYuan-Large能在保证生成质量的前提下实现较低的计算成本和快速响应。 3.2ChatYuan-Large实现功能 ChatYuan-Large实现了丰富的功能，涵盖了智能问答、文案生成、翻译与润色、摘要提取等应用场景。在智能问答方面，模型能够为用户生成准确、详细的解答，适用于在线客服与智能助手等场景。在文案生成领域，它可以高效生成广告文案、新闻摘要及创意写作内容，为内容创作提供支持。翻译与润色功能支持中英文双向翻译及文本优化，便于跨语言交流与内容改进。此外，该模型还能从长文本中提取关键信息生成简洁摘要，适合新闻阅读和学术分析需求。在代码相关任务中，ChatYuan-Large不仅能生成代码片段，还能解释和优化复杂的代码逻辑；同时，借助其情感分析与观点提取功能，用户能够轻松识别文本的情感倾向及核心观点，为舆情监督和市场分析提供数据支持。凭借其知识库与在线学习能力，ChatYuan-Large可解答百科问题并提供权威参考内容。在个性化对话方面，模型支持根据用户设定的语调、风格及背景信息生成符合特定角色或语境的对话内容。此外，文本纠错与优化功能能够检测并修改用户输入中的错误，提升文本质量与规范性。针对法律咨询、医学问诊、技术支持等行业场景，ChatYuan-Large提供专业化解决方案，赋能企业与个人用户。综合来看，ChatYuan-Large凭借创新性与实用性，在多种应用场景中展现了卓越性能，为人工智能技术的普及与产业化提供了强有力的支持。 4聊天机器人运行 4.1Demo获取和代码结构智能ChatBot应用是通过对ChatYuan-Large系列大型语言模型进行压缩，将模型转换为ONNX或OM模型，使其能够全部或部分运行在开发者套件的昇腾AI处理器上并加速。使用流式输出对话的方式在网页前端收集数据，进行文本解析后，通过后端放入消息队列，后端推理进程获取队列中的文本后，使用大型语言模型进行推理并返回推理结果至前端页面。最终实现与聊天机器人进行对话的场景。如图 8-1所示为智能ChatBot实现原理图，图 8-2所示为语音控制功能原理图。图 4-1实现原理图图 4-2语音控制功能原理图获取代码（1）远程登录开发者套件，进入“/usr/local”目录运行脚本拉取代码。 cd /usr/local 执行结果如图 4-1所示。图 4-3执行cd /usr/local命令结果（2）运行脚本拉取代码。 bash E2E_samples_download_tool.sh -d /home/HwHiAiUser/E2ESamples -s https://gitee.com/HUAWEI-ASCEND/ascend-devkit.git -b master src/E2E-Sample/ChatBot/ 其中，-d表示指定代码的下载路径；-s表示指定开源仓库的clone url；-b表示指定开源仓库分支名称及待下载的项目目录；-f表示强制更新下载路径中的目录。当样例目录已删除，但重新下载时提示“Already up to date”时可使用此参数。执行结果如图 4-2所示。图 4-4运行脚本拉取代码命令回显执行完成后，会在“/home/HwHiAiUser/E2Esamples”目录下生成“src/E2E-Sample/ChatBot/”目录，如图 4-3所示。图 4-5生成目标文件夹（3）准备文件步骤一浏览器中搜索https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Atlas%20200I%20DK%20A2/DevKit/samples/23.0.RC1/e2e-samples/ChatBot/dist_chatbot_standalone.zip下载chatbot前端相关文件，将解压后目录中文件上传至服务器“/home/HwHiAiUser/E2ESamples/src/E2E-Sample/ChatBot/Demo_V1/dist_chatbot_standalone”目录下，如图 8-4所示。图 4-6前端文件上传文件夹步骤二浏览器中搜索https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Atlas%20200I%20DK%20A2/DevKit/samples/23.0.RC1/e2e-samples/ChatBot/models.zip下载模型文件并解压，将解压后目录中文件上传至服务器“/home/HwHiAiUser/E2ESamples/src/E2E-Sample/ChatBot/Demo_V1/models”目录下，如图 4-5所示。图 4-7模型文件上传文件夹步骤三浏览器中搜索https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Atlas%20200I%20DK%20A2/DevKit/samples/23.0.RC1/e2e-samples/ChatBot/tokenizer_file.zip下载chabot配置文件并解压，将解压后目录中的文件上传至服务器“/home/HwHiAiUser/E2ESamples/src/E2E-Sample/ChatBot/Demo_V1/tokenizer_file”目录下，如图 4-6所示。图 4-8配置文件上传文件夹（4）进入智能ChatBot代码目录。 cd /home/HwHiAiUser/E2ESamples/src/E2E-Sample/ChatBot/Demo_V1 执行结果如图 4-7所示。图 4-9进入ChatBot命令执行结果智能ChatBot应用工程目录文件详细介绍请参见下文代码实现。（5）安装依赖。 pip3 install -r requirements.txt 执行结果如图 4-8所示。图 4-10安装依赖命令执行结果关闭OOM Killer与图形桌面使用swap分区时如果开启了OOM Killer，内存将会在占用3.01G时进行swap分区交换，此时ChatBot的推理预热将会失效。请参见以下步骤关闭OOM Killer。（1）执行以下命令关闭OOM Killer服务。 systemctl disable oom_killer （2）分别将/root/.bashrc与/home/HwHiAiUser/.bashrc文件中代码注释。步骤一打开/root/.bashrc文件。 vi /root/.bashrc 按"I"进入insert模式，可以正常文本编辑，注释以下代码，完成后按esc退出。 echo $$ > /sys/fs/cgroup/memory/usermemory.tasks 修改结果如图 4-9所示，按“：wq”推出vi修改模式。图 4-11文本注释修改结果步骤二打开/home/HwHiAiUser/.bashrc vi /home/HwHiAiUser/.bashrc 注释以下代码，步骤与上述相同，修改结果如图 4-10所示。 echo $$ > /sys/fs/cgroup/memory/usermemory.tasks 图 4-12文本注释修改结果（3）执行以下命令关闭图形桌面。 systemctl disable toggle_graphical_desktop （4）执行命令重启开发者套件。 reboot 代码结构智能ChatBot应用关键文件（夹）及含义如表 4-1所示。表 4-1代码文件介绍文件（夹）名称说明 main.py 智能ChatBot应用运行入口文件。 generate.py 智能ChatBot应用模型推理代码文件。 utils.py 智能ChatBot应用推理相关工具文件。 requirements.txt 智能ChatBot应用环境依赖文件。 dist_chatbot_standalone 智能ChatBot应用前端组件。 models 智能ChatBot应用模型文件目录。 tokenizer_file 智能ChatBot应用的分词器文件，用于提供语言基础。 “main.py”为ChatBot应用运行主入口，代码创建了一个Flask应用，包含处理聊天输入和获取响应的路由，同时使用文件锁机制确保安全的并发文件操作。通过write_input(text)函数，将输入文本写入文件。 def write_input(text): with lock: with open(input_filepath, 'w', encoding='utf-8') as f: f.write(text) 通过index()函数，渲染首页模板。 @app.route('/') def index(): return render_template('index.html', name='index') 通过getChat()函数，接收消息并写入输入文件，返回JSON响应。 @app.route("/chat", methods=["GET"]) def getChat(): args = request.args message = args.get("message") write_input(message) data = {"code": 200, "message": ''} return jsonify(data) 通过getMsg()函数，检查并读取输出文件内容，返回JSON响应。 @app.route("/getMsg", methods=["GET"]) def getMsg(): if not lock.is_locked: try: with open(output_filepath, 'r', encoding='utf-8') as f: data = json.load(f) os.remove(output_filepath) except FileNotFoundError: data = {"code": 200, "data": {"isEnd": False, "message": ""}} else: data = {"code": 200, "data": {"isEnd": False, "message": ""}} return jsonify(data) 通过app.run函数，启动Flask应用。 app.run( use_reloader=False, host="0.0.0.0", port=5000 ) “generate.py”是智能ChatBot应用模型推理代码，代码实现了一个用于处理输入文本并生成响应的模型，具体步骤包括预处理输入、生成模型响应、处理输出等。通过check_input()函数，检查是否有待处理的输入文件。 def check_input(): with lock: try: with open(input_filepath, 'r', encoding='utf-8') as f: text = f.read() # 删除或清空文件内容 os.remove(input_filepath) return text except FileNotFoundError: return None 通过write_output_json(data)函数，将输出结果写入文件。 def write_output_json(data): with lock: while os.path.exists(output_filepath): time.sleep(0.1) with open(output_filepath, 'w', encoding='utf-8') as f: json.dump(data, f, ensure_ascii=False, indent=4) 通过generate_ss_mode(input_text, output=False)函数，生成带上下文的模型输入并处理生成的消息。 def generate_ss_mode(input_text, output=False): if input_text == 'clear' and output: record.clear() data = { "code": 200, "data": { "isEnd": False, "message": '聊天记录已清空' } } write_output_json(data) return …… out_text = tokenizer.batch_decode(input_ids, skip_special_tokens=True)[0] out_text = postprocess(out_text) record.append([input_text, out_text]) if tokenizer(text=[preprocess(content_generate(record, ''))], truncation=True, padding=True, max_length=768, return_tensors="np")['attention_mask'].shape[1] > 256: record.clear() 通过InferSession，预先加载模型确保GE能申请到足够的内存。 encoder = InferSession(0, './models/encoder.om') “utils.py”是智能ChatBot应用推理相关工具代码主要对字符串做前后处理，对模型的输入做处理。代码实现了几个用于文本预处理、后处理以及生成 ONNX 模型输入的函数。通过content_generate(records, inputs)函数，生成包含上下文的输入内容。 def content_generate(records, inputs): if not records: context = '' else: context = " ".join([f"用户：{input_text} 小元：{ans_text}" for input_text, ans_text in records]) + " " return context + "用户：" + inputs + " 小元：" 通过preprocess(t)函数，对输入文本进行预处理。 def preprocess(t): return t.replace(" ", " ").replace(" ", " ") 通过 postprocess(text) 函数，对输出文本进行后处理。 def postprocess(text): return text.replace(" ", " ").replace(" ", " ") 通过generate_onnx_input(decode_input_ids, attention_mask, past_key_values)函数，生成ONNX模型的输入。 def generate_onnx_input(decode_input_ids, attention_mask, past_key_values): input_list = [decode_input_ids, None, attention_mask] for tensor in past_key_values: input_list.append(tensor) input_dict = { 'decoder_input_ids': input_list[0], 'encoder_attention_mask': input_list[2], 'kv_in_0_0': input_list[3], 'kv_in_0_1': input_list[4], 'kv_in_0_2': input_list[5], 'kv_in_0_3': input_list[6], 'kv_in_1_0': input_list[7], 'kv_in_1_1': input_list[8], 'kv_in_1_2': input_list[9], 'kv_in_1_3': input_list[10], 'kv_in_2_0': input_list[11], 'kv_in_2_1': input_list[12], 'kv_in_2_2': input_list[13], 'kv_in_2_3': input_list[14], 'kv_in_3_0': input_list[15], 'kv_in_3_1': input_list[16], 'kv_in_3_2': …… } return input_dict 4.2聊天机器人运行运行智能ChatBot应用（1）进入智能ChatBot应用工程目录。 cd /home/HwHiAiUser/E2ESamples/src/E2E-Sample/ChatBot/Demo_V1 运行结果如图 4-11所示。图 4-13进入智能ChatBot应用工程目录命令执行结果（2）清除缓存并运行推理进程脚本。 free -h && sudo sysctl -w vm.drop_caches=3 && sudo sync && echo 3 | sudo tee /proc/sys/vm/drop_caches && free -h 运行结果如图 4-12所示。图4-14清楚缓存命令执行结果在当前窗口执行命令运行推理进程脚本。 python3 generate.py 运行结果如所图 4-13示。图 4-15运行推理进程脚本命令执行结果（3）重新打开远程链接窗口，进入对应目录运行智能ChatBot应用。 cd /home/HwHiAiUser/E2ESamples/src/E2E-Sample/ChatBot/Demo_V1 python3 main.py 运行结果如图 4-14所示。图 4-16运行智能ChatBot应用命令执行结果（4）在计算机中打开Chrome浏览器，输入回显中加粗部分的URL地址进入页面，即可实现与聊天机器人进行对话，如图 4-15所示。图 4-17机器人聊天界面