Chatbots worden elke dag door miljoenen mensen over de hele wereld gebruikt, mogelijk gemaakt door NVIDIA GPU-gebaseerde cloudservers. Deze baanbrekende tools zijn nu beschikbaar voor Windows-pc's Nvidia RTX Voor lokaal, snel en op maat Generatieve kunstmatige intelligentie.
Chat met RTXnu gratis downloadeneen technische demo waarmee gebruikers de chatbot kunnen aanpassen met hun eigen inhoud, versneld door een lokaal persoon NVIDIA GeForce RTX 30-serie GPU Of hoger met minimaal 8 GB video-RAM of VRAM.
Vraag mij alles
Chatten met RTX maakt gebruik van Retrieval Augmented Generation (RAG), NVIDIA TensorRT-LLM-software en NVIDIA RTX-versnelling om generatieve AI-mogelijkheden te bieden aan lokale Windows-pc's met GeForce. Gebruikers kunnen lokale bestanden op hun pc snel en eenvoudig als dataset verbinden met een groot, open source taalmodel zoals Mistral of Llama 2, waardoor vragen snel en contextueel relevante antwoorden krijgen.
In plaats van te zoeken naar notities of opgeslagen inhoud, kunnen gebruikers eenvoudigweg zoekopdrachten typen. Je zou bijvoorbeeld kunnen vragen: 'Welk restaurant heeft mijn partner aanbevolen toen hij in Las Vegas was?' Chatten met RTX scant de lokale bestanden waarnaar de gebruiker verwijst en geeft het antwoord van context.
De tool ondersteunt verschillende bestandsformaten, waaronder .txt, .pdf, .doc/.docx en .xml. Wijs de applicatie naar de map die deze bestanden bevat, en de tool zal ze binnen enkele seconden naar de bibliotheek uploaden.
Gebruikers kunnen ook informatie uit YouTube-video's en afspeellijsten insluiten. Door een video-URL toe te voegen om met RTX te chatten, kunnen gebruikers deze kennis in hun chatbot opnemen voor contextuele vragen. Vraag bijvoorbeeld reisaanbevelingen aan op basis van de inhoud van favoriete influencer-video's, of ontvang snelle tutorials en tips op basis van de beste educatieve bronnen.
Omdat Chat met RTX lokaal draait op Windows RTX-pc's en -werkstations, zijn de geleverde resultaten snel en blijven gebruikersgegevens op het apparaat staan. In plaats van te vertrouwen op cloudgebaseerde LLM-services, kunnen gebruikers met Chat met RTX gevoelige gegevens op een lokale computer verwerken zonder deze met een derde partij te delen of verbinding te maken met internet.
Naast een GeForce RTX 30-serie GPU of hoger met minimaal 8 GB VRAM, vereist Chat met RTX Windows 10 of 11 en de nieuwste NVIDIA GPU-stuurprogramma's.
Ontwikkelen van LLM-gebaseerde applicaties met behulp van RTX
Chatten met RTX toont het potentieel voor het versnellen van LLM's met RTX GPU's. De applicatie is opgebouwd uit Het TensorRT-LLM RAG Developer Reference Project, beschikbaar op GitHub. Ontwikkelaars kunnen het referentieproject gebruiken om hun eigen RAG-gebaseerde applicaties voor RTX te ontwikkelen en in te zetten, die worden versneld door TensorRT-LLM. Leer meer over Het bouwen van op LLM gebaseerde applicaties.
Introduceer een innovatieve, door AI aangedreven Windows-app of plug-in NVIDIA Genetische AI op NVIDIA RTX De ontwikkelaarswedstrijd, die loopt tot en met vrijdag 23 februari, maakt kans op prijzen zoals een GeForce RTX 4090 GPU en een volledig persoonlijk conferentieticket om de conferentie bij te wonen. Nvidia GTC En meer.
Leer meer over Chat met RTX.
“Bekroonde schrijver. Social media-specialist. Introvert. Ongeneeslijke twitterfan. Organisator. Fervent popcultuurliefhebber.”