Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

这个技术展示Demo让任何拥有RTX GPU的人都能享受强大的个人定制化的GPT聊天机器人。

在基于NVIDIAGPU 的云端服务器支持下,全球每天有数百万人使用聊天机器人。现在这些开创性的工具将出现在搭载NVIDIARTX的WindowsPC 上,以实现本地、快速、信息定制的生成式AI。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

Chatwith RTX技术演示版,现已开放免费下载,用户可在搭载NVIDIAGeForce RTX 30 系列或更高版本的GPU(至少8GB显存)进行本地部署,打造个人专属聊天机器人。

问我一切

Chatwith RTX 借助检索增强生成(RAG)、NVIDIA TensorRT-LLM软件及NVIDIARTX 加速技术,将生成式AI功能引入由GeForce赋能的本地WindowsPC。用户可快速轻松地将桌面端上的资料当成数据集,连接到Mistral或Llama 2这一类开源大型语言模型,以便快速查询与上下文有关的内容。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

用户只要输入查询内容即可,无需搜寻笔记或储存的内容。例如用户可以问:「我的合作伙伴推荐拉斯维加斯的哪家餐厅?」Chatwith RTX 工具就会扫描用户指向的桌面端资料,并且按照上下文提供答案。

Chatwith RTX 工具支持包括.txt、.pdf、.doc/.docx和.xml在内的多种文件格式。将应用程序指向含有这些资料的文件夹,Chatwith RTX 工具就会在几秒钟内将它们载入到资料库中。

用户还能加入YouTube视频和播放列表里的信息。在Chatwith RTX里加入视频网址,用户便能将这些知识与聊天机器人进行整合,进行上下文查询。例如根据最喜欢的旅游KOL所发布的视频内容来询问推荐的旅游内容,或是按照顶尖教育资源获取快速教学和操作方法。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

Chatwith RTX 可以将YouTube影片内容的知识加入查询结果。

Chatwith RTX 可以在WindowsRTX PC 和工作站上以本地部署的方式运行,再加上用户的数据还是保留在本地设备装置上,因此能够快速提供查询结果。与依赖云端环境的LLM服务不同,Chatwith RTX 让用户能够在PC桌面端处理敏感资料,无需分享给第三方或是连接到网络。

除了需要配备GeForceRTX 30 系列或更高版本的GPU(至少8GB显存),使用Chatwith RTX 还需要搭配操作系统Windows10 或11和最新的NVIDIAGPU 驱动。

编注:目前Chatwith RTX中存在一个问题,用户选择不同的安装目录时,会造成安装失败。我们将在日后的版本中修复这个问题。目前用户应使用默认的安装目录(「C:Users

使用RTX开发以LLM为基础的应用

Chatwith RTX 展现出利用RTXGPU 加速LLM的潜力。这款应用使用GitHub上的TensorRT-LLMRAG 开发者参考项目构建而成。开发者可以使用该参考项目,为RTX开发和部署私人以RAG为基础的应用,并且由TensorRT-LLM进行加速。深入了解如何建立以LLM为基础的应用。

深入了解 Chatwith RTX:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

(8561627)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月2日 上午9:05
下一篇 2024年5月2日 上午9:23

相关推荐

  • 我科学家开创甘蓝杂交制种新途径

        1月9日,国家科学技术奖励大会在人民大会堂召开。由中国农业科学院蔬菜花卉研究所方智远研究员主持完成的“甘蓝雄性不育系育种技术体系的…

    科研百科 2022年5月16日
    286
  • 研究生有什么科研项目可以选研究生有什么科研项目可以选

    研究生科研项目选择的重要性 作为一名研究生,选择适合自己研究方向的科研项目是非常重要的。选择一个适合自己的科研项目,不仅可以提高研究兴趣,还可以为未来的职业发展打下坚实的基础。那么…

    科研百科 2024年9月14日
    28
  • 科研项目获奖人和负责人

    科研项目获奖人和负责人 近年来,在科技创新领域,有许多优秀的研究成果获得了巨大的成功。在这些成果中,有些是由科学家们通过长期的努力和不断的探索所取得的,而有些则是由项目负责人在项目…

    科研百科 2025年5月26日
    2
  • 关于中国共产党党费收缴、使用和管理的规定

    1、党员交纳党费的比例为:每月工资收入(税后)在3000元以下(含3000元)者,交纳月工资收入的(0.5%);3000元以上至5000元(含5000元)者,交纳1%;5000元以…

    科研百科 2023年6月8日
    454
  • 科研项目管理交流

    科研项目管理交流 科研项目管理是项目管理中至关重要的一部分,它关系到项目的进度、质量和成本等方面。在科研项目管理中,交流和合作是非常重要的,只有通过交流和合作,项目团队才能充分发挥…

    科研百科 2025年2月19日
    0
  • 软件测试项目管理工具

    软件测试项目管理工具 随着软件开发的日益复杂和快速,软件测试项目管理工具变得越来越重要。这些工具可以帮助测试人员更好地管理测试过程,提高测试效率,减少测试成本,并确保测试质量。本文…

    科研百科 2024年5月30日
    103
  • 科研项目申报行距能调不

    科研项目申报行距能调不为 科研项目申报是一项非常重要的工作,它直接关系到科研项目的成功与否。在申报过程中,项目申报人员需要认真填写申报书,并保证申报书的内容完整,准确。此外,项目申…

    科研百科 2025年5月18日
    0
  • 科研项目管理系统需求说明书

    科研项目管理系统需求说明书 科研项目管理系统是用于管理和维护科研项目的软件系统。它可以帮助科研项目管理人员高效地管理科研项目,提高科研项目的进度和质量,降低项目管理的风险。本文将介…

    科研百科 2025年1月28日
    3
  • 劳动合同管理规定

    劳动合同管理规定 为加强劳动合同管理,保障劳动者合法权益,现制定本管理规定。 第一章 总则 第一条 本管理规定旨在加强劳动合同管理,规范劳动合同签署、履行、变更和解除等行为,保障劳…

    科研百科 2024年8月24日
    31
  • 三亚公安局招聘辅警

    三亚公安局招聘辅警 三亚公安局是一家位于海南省三亚市的军事和政治机构。为了加强公安局的警力,我们计划招聘辅警。这是一个机会,让您成为三亚公安局的一员,为您的职业生涯增添一份重要的力…

    科研百科 2024年11月6日
    0