Chat с Nvidia RTX

Новый ИИ-чатбот от NVIDIA работает локально на вашем ПК

NVIDIA только что выпустила бесплатную демо-версию чатбота, который работает локально на вашем ПК. Это очень удобно, так как дает чатботу доступ к вашим файлам и документам. Вы можете предоставить Chat with RTX подборку личных данных и попросить его создать резюме на основе этой информации. Вы также можете задать ему вопросы, как и любому другому чатботу, и он погрузится в ваши данные, чтобы получить ответы.

Компания утверждает, что это позволяет пользователям «быстро и легко подключать локальные файлы на ПК в качестве набора данных к большой языковой модели с открытым исходным кодом, такой как Mistral или Llama 2». NVIDIA приводит пример, когда пользователь спрашивает чатбота о ресторане, который порекомендовал его партнер, находясь в Лас-Вегасе. Программа сканирует локальные файлы, чтобы найти ответ. Она поддерживает множество форматов файлов, включая .txt, .pdf, .doc/.docx и .xml. Компания утверждает, что загружает нужные файлы в свою базу данных «за считанные секунды».

Чат с RTX также интегрирует видео и плейлисты YouTube. Вы можете добавить URL видео в набор данных, и он будет интегрировать знания, содержащиеся в ролике, для контекстных запросов. NVIDIA утверждает, что это будет полезно при запросе рекомендаций по путешествиям «на основе контента из любимых видеороликов влиятельных людей» или при поиске обучающих материалов и кратких обзоров из образовательных ресурсов.

The Verge немного поработал с чатботом и остался под впечатлением, написав, что он может стать «ценной частью исследования данных для журналистов или тех, кому нужно проанализировать коллекцию документов».

Это большой шаг на пути к созданию настоящего цифрового помощника, работающего в контексте ваших личных данных. Большинство чат-ботов отправляют данные в облако, но Chat with RTX «позволяет пользователям обрабатывать конфиденциальные данные на локальном компьютере без необходимости передавать их третьей стороне или иметь подключение к Интернету». Таким образом, это более безопасно и учитывает контекст.

Есть и некоторые ограничения. Это демо-продукт, поэтому стоит ожидать множество ошибок, хотя NVIDIA должна начать их устранять, как только пользователи начнут писать отчеты об ошибках и тому подобное. Также есть несколько строгих аппаратных ограничений. Чат с RTX работает только на ПК под управлением Windows с графическими процессорами NVIDIA GeForce RTX 30 Series или выше и не менее 8 ГБ VRAM.

В последнее время NVIDIA действительно демонстрирует свое мастерство в области искусственного интеллекта, ведь компания только что выпустила новое поколение чипов для суперкомпьютеров с искусственным интеллектом. Прибыль компании растет, в основном за счет сегментов ИИ и центров обработки данных.

Прокрутить вверх