Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

这个技术展示Demo让任何拥有RTX GPU的人都能享受强大的个人定制化的GPT聊天机器人。

在基于NVIDIAGPU 的云端服务器支持下,全球每天有数百万人使用聊天机器人。现在这些开创性的工具将出现在搭载NVIDIARTX的WindowsPC 上,以实现本地、快速、信息定制的生成式AI。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

Chatwith RTX技术演示版,现已开放免费下载,用户可在搭载NVIDIAGeForce RTX 30 系列或更高版本的GPU(至少8GB显存)进行本地部署,打造个人专属聊天机器人。

问我一切

Chatwith RTX 借助检索增强生成(RAG)、NVIDIA TensorRT-LLM软件及NVIDIARTX 加速技术,将生成式AI功能引入由GeForce赋能的本地WindowsPC。用户可快速轻松地将桌面端上的资料当成数据集,连接到Mistral或Llama 2这一类开源大型语言模型,以便快速查询与上下文有关的内容。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

用户只要输入查询内容即可,无需搜寻笔记或储存的内容。例如用户可以问:「我的合作伙伴推荐拉斯维加斯的哪家餐厅?」Chatwith RTX 工具就会扫描用户指向的桌面端资料,并且按照上下文提供答案。

Chatwith RTX 工具支持包括.txt、.pdf、.doc/.docx和.xml在内的多种文件格式。将应用程序指向含有这些资料的文件夹,Chatwith RTX 工具就会在几秒钟内将它们载入到资料库中。

用户还能加入YouTube视频和播放列表里的信息。在Chatwith RTX里加入视频网址,用户便能将这些知识与聊天机器人进行整合,进行上下文查询。例如根据最喜欢的旅游KOL所发布的视频内容来询问推荐的旅游内容,或是按照顶尖教育资源获取快速教学和操作方法。

Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人(聊天机器人实现)

Chatwith RTX 可以将YouTube影片内容的知识加入查询结果。

Chatwith RTX 可以在WindowsRTX PC 和工作站上以本地部署的方式运行,再加上用户的数据还是保留在本地设备装置上,因此能够快速提供查询结果。与依赖云端环境的LLM服务不同,Chatwith RTX 让用户能够在PC桌面端处理敏感资料,无需分享给第三方或是连接到网络。

除了需要配备GeForceRTX 30 系列或更高版本的GPU(至少8GB显存),使用Chatwith RTX 还需要搭配操作系统Windows10 或11和最新的NVIDIAGPU 驱动。

编注:目前Chatwith RTX中存在一个问题,用户选择不同的安装目录时,会造成安装失败。我们将在日后的版本中修复这个问题。目前用户应使用默认的安装目录(「C:Users

使用RTX开发以LLM为基础的应用

Chatwith RTX 展现出利用RTXGPU 加速LLM的潜力。这款应用使用GitHub上的TensorRT-LLMRAG 开发者参考项目构建而成。开发者可以使用该参考项目,为RTX开发和部署私人以RAG为基础的应用,并且由TensorRT-LLM进行加速。深入了解如何建立以LLM为基础的应用。

深入了解 Chatwith RTX:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

(8561627)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月2日 上午9:05
下一篇 2024年5月2日 上午9:23

相关推荐

  • 自筹资金承诺书

    尊敬的领导: 我承诺以自筹资金的方式,为企业的发展贡献力量。 自筹资金承诺如下: 1. 严格按照公司的规章制度,执行自筹资金的使用方法。 2. 不向公司以外的任何机构或个人借贷资金…

    科研百科 2024年11月10日
    1
  • 科研项目评奖投票流程

    科研项目评奖投票流程 科研项目评奖投票流程是评价科研项目成果的重要方式之一,投票结果直接关系到项目的声誉和成果的认可程度。以下是一般的科研项目评奖投票流程: 1. 确定评奖类别和奖…

    科研百科 2025年2月6日
    0
  • 车间如何管理?按照这10大标准来准没错!(管理车间的基本方法)

    现场管理千头万绪,基本要素却只有三个:人、物、场所;现场情况千变万化,归结起来只有“两流”:物流和信息流;作为现场管理者-生产主管、车间主任、班组长,必须对这三要素和两流作细致的分…

    2022年8月30日
    335
  • 部署印章监控仪后,公章的使用流程是什么样的?(印章监控仪是干嘛用的)

    随着物联网时代的到来,万物互联成为了生活的时尚、成为了科技的前沿,在我们的生活中很多物品正在悄悄改变。象征着权力与财富的公章,也正在用智能化手段附能。章管家作为智能印章、印章监控仪…

    2022年6月12日
    308
  • 重庆市第一实验中学校一项市级重点课题、三项区级课题顺利开题

    课题研究是教育科研的重要载体,更是提高教师教育教学能力的有效途径。一直以来,学校高度重视教育科学研究,鼓励教师积极申报课题,从各方面为课题研究提供有力保障。在学校和课题组老师的共同…

    科研百科 2024年6月23日
    122
  • 工作管理系统项目

    工作管理系统项目 随着现代企业规模的不断扩大和工作流程的日益复杂,建立一个高效、稳定、易于使用的系统已经成为企业管理者的需求。因此,我们开发了一个工作管理系统项目,旨在帮助企业管理…

    科研百科 2024年12月12日
    1
  • 食堂经费管理规定

    食堂经费管理规定 为加强食堂经费管理,保障食堂运营安全和改善食堂饭菜质量,根据《中华人民共和国食品安全法》和其他相关法律法规,制定本管理规定。 第一条 为加强食堂经费管理,保障食品…

    科研百科 2024年7月12日
    54
  • OA系统之项目管理,实现领导全面宏观调控

    每个企业的项目都成千上百,特别是集团企业,项目的数量更不在话下,这么多的项目企业如何有条有理地进行宏观管理,不用着急,OA系统助力项目管理,实现领导无时不刻的的监控计划。 登录OA…

    科研百科 2022年12月4日
    209
  • 硬件国家科研项目

    硬件国家科研项目: 创新科技的发展引擎 随着科技的快速发展,硬件国家科研项目已经成为了创新科技的重要发展引擎。这些项目涉及到许多前沿领域,例如人工智能、物联网、区块链等,都是当今科…

    科研百科 5天前
    0
  • 【一线警讯】澄城公安古徵派出所“三聚力”狠抓辅警队伍管理(派出所开展辅警队伍管理)

    工作中,古徵派出所立足推进队伍正规化建设实际,强化举措,着力提升辅警整体素养,全力打造一支工作责任心强、业务水平高、纪律严明、形象良好的公安辅警队伍,为推动派出所工作顺利开展奠定扎…

    科研百科 2024年6月25日
    84