Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

这个技术展示Demo让任何拥有RTX GPU的人都能享受强大的个人定制化的GPT聊天机器人。

在基于NVIDIAGPU 的云端服务器支持下,全球每天有数百万人使用聊天机器人。现在这些开创性的工具将出现在搭载NVIDIARTX的WindowsPC 上,以实现本地、快速、信息定制的生成式AI。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

Chatwith RTX技术演示版,现已开放免费下载,用户可在搭载NVIDIAGeForce RTX 30 系列或更高版本的GPU(至少8GB显存)进行本地部署,打造个人专属聊天机器人。

问我一切

Chatwith RTX 借助检索增强生成(RAG)、NVIDIA TensorRT-LLM软件及NVIDIARTX 加速技术,将生成式AI功能引入由GeForce赋能的本地WindowsPC。用户可快速轻松地将桌面端上的资料当成数据集,连接到Mistral或Llama 2这一类开源大型语言模型,以便快速查询与上下文有关的内容。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

用户只要输入查询内容即可,无需搜寻笔记或储存的内容。例如用户可以问:「我的合作伙伴推荐拉斯维加斯的哪家餐厅?」Chatwith RTX 工具就会扫描用户指向的桌面端资料,并且按照上下文提供答案。

Chatwith RTX 工具支持包括.txt、.pdf、.doc/.docx和.xml在内的多种文件格式。将应用程序指向含有这些资料的文件夹,Chatwith RTX 工具就会在几秒钟内将它们载入到资料库中。

用户还能加入YouTube视频和播放列表里的信息。在Chatwith RTX里加入视频网址,用户便能将这些知识与聊天机器人进行整合,进行上下文查询。例如根据最喜欢的旅游KOL所发布的视频内容来询问推荐的旅游内容,或是按照顶尖教育资源获取快速教学和操作方法。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

Chatwith RTX 可以将YouTube影片内容的知识加入查询结果。

Chatwith RTX 可以在WindowsRTX PC 和工作站上以本地部署的方式运行,再加上用户的数据还是保留在本地设备装置上,因此能够快速提供查询结果。与依赖云端环境的LLM服务不同,Chatwith RTX 让用户能够在PC桌面端处理敏感资料,无需分享给第三方或是连接到网络。

除了需要配备GeForceRTX 30 系列或更高版本的GPU(至少8GB显存),使用Chatwith RTX 还需要搭配操作系统Windows10 或11和最新的NVIDIAGPU 驱动。

编注:目前Chatwith RTX中存在一个问题,用户选择不同的安装目录时,会造成安装失败。我们将在日后的版本中修复这个问题。目前用户应使用默认的安装目录(「C:Users

使用RTX开发以LLM为基础的应用

Chatwith RTX 展现出利用RTXGPU 加速LLM的潜力。这款应用使用GitHub上的TensorRT-LLMRAG 开发者参考项目构建而成。开发者可以使用该参考项目,为RTX开发和部署私人以RAG为基础的应用,并且由TensorRT-LLM进行加速。深入了解如何建立以LLM为基础的应用。

深入了解 Chatwith RTX:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

(8561627)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月2日 上午9:05
下一篇 2024年5月2日 上午9:23

相关推荐

  • 西安建筑科技大学郭红村教授

    西安建筑科技大学郭红村教授: 建筑结构的安全与可持续性 郭红村教授,西安建筑科技大学建筑与土木工程学院建筑结构系主任,教授,博士生导师。 建筑结构是建筑物的重要组成部分,其安全性和…

    科研百科 2024年10月19日
    4
  • 工程安装项目管理系统

    工程安装项目管理系统 随着现代建筑和工业的迅速发展,工程安装项目管理系统已经成为了一个不可或缺的工具。它可以帮助项目经理和技术人员更好地管理项目,提高生产效率,降低人工错误,从而确…

    科研百科 2024年12月26日
    0
  • 销售管理crm体系(销售scrm客户关系管理系统)

    销售scrm客户关系管理系统:提升销售效率的利器 随着市场竞争的加剧,企业对于销售效率和客户关系管理的要求也越来越严格。销售scrm客户关系管理系统是一种可以帮助企业提高销售效率和…

    科研百科 2024年6月9日
    56
  • 科研项目宣传介绍文案

    科研项目宣传介绍文案 近年来,随着科技的飞速发展,科研项目成为了人们关注的焦点。在这些科研项目中,有些是为了解决现实世界中的问题,有些则是探索未知的领域。 今天,我们向大家介绍一项…

    科研百科 2025年3月25日
    1
  • 桌面应用低代码开发

    桌面应用低代码开发是一种新兴的软件开发方法,它通过简化开发流程和减少编码工作量,使开发人员能够更快速地创建高质量的桌面应用程序。这种开发方法的出现,极大地提高了开发效率,降低了开发…

    科研百科 2024年3月4日
    90
  • 加强业务培训 提升党建宣传工作质量ppt课件

    主题党课ppt:加强业务培训 提升党建宣传工作质量ppt课件,属于党务工作系列,在新时代,宣传工作必须严格遵循团结稳定鼓劲、正面宣传为主的重要方针,切实把党和政府的声音传播好、把当…

    科研百科 2023年6月25日
    133
  • 科研项目负责人 项目分工

    科研项目负责人的主要职责之一就是明确项目分工,确保团队成员能够专注于自己的职责,并有效地协作完成项目。 在确定项目分工时,需要考虑团队成员的技能和经验,以及项目的具体需求。通常,项…

    科研百科 2025年1月5日
    4
  • 安徽省钉钉项目管理系统

    安徽省钉钉项目管理系统 随着数字化时代的到来,企业数字化转型已经成为必然趋势。安徽省钉钉项目管理系统作为数字化转型的重要组成部分,为企业提供了高效、便捷、安全的项目管理和服务。本文…

    科研百科 2025年1月26日
    0
  • 项目管理处罚细则

    项目管理处罚细则 在项目管理中,适当的处罚可以帮助团队更好地管理风险和实现项目目标。以下是一些项目管理处罚细则,可以帮助团队更好地管理项目。 1. 迟到或早退 如果团队成员迟到或早…

    科研百科 2024年8月17日
    64
  • 影像医学科研项目

    影像医学科研项目 随着医学技术的发展,影像医学已经成为医学研究中不可或缺的一部分。在影像医学领域,X射线、CT扫描、MRI等影像技术已经被广泛应用于诊断和治疗。在这些技术的应用中,…

    科研百科 2025年3月12日
    0