ИИ-шпион? Как Copilot теперь сканирует ваш рабочий стол

• Microsoft обновила инструмент Copilot Vision, чтобы ИИ-помощник мог видеть ваш рабочий стол
• Эта функция позволит Copilot реагировать на любой просматриваемый вами контент
• Чтобы пользователи могли управлять Copilot Vision, необходимо включить эту функцию, чтобы ИИ видел только то, что вы хотите.

Microsoft открыла доступ к своему искусственному интеллекту Copilot на настольных компьютерах, чтобы он мог видеть весь экран. Функция, которая позволяет Copilot просматривать и анализировать содержимое вашего экрана, может видеть любое окно или браузер, который вы выберете. Microsoft называет эту функцию «Общий доступ к рабочему столу».

Когда Copilot Vision только появился, он мог лишь фиксировать происходящее в Edge. Вы задавали вопрос о веб-странице, он сканировал эту страницу, и ИИ помогал объяснить, что на ней изображено. Благодаря этому обновлению он теперь может уменьшать масштаб и видеть весь ваш рабочий стол или любое конкретное окно приложения, которым вы решите поделиться

Вы можете выбрать, на что будет смотреть ИИ-помощник, нажав на значок очков в приложении Copilot. Затем вы выбираете область, на которую должен смотреть ИИ, и можете обсуждать с ним то, что отображается на экране, без необходимости бесконечно описывать то, на что вы смотрите.

Видео от DGL.RU

Допустим, вы редактируете резюме и хотите, чтобы оно звучало более уверенно, а не как текст в панике составленный аспирантом. Вы можете открыть документ Word, поделиться окном с Copilot и попросить его выделить конкретные виды опыта. Copilot видит сам документ и предлагает варианты редактирования.

То же самое касается PowerPoint, Photoshop и даже некоторых игр. Вы можете попросить Copilot помочь с настройками в игре, в которую вы никогда раньше не играли, и он проведёт вас по всем опциям, давая советы и рекомендации, если вы застрянете.

Дальновидное планирование

Если вы беспокоитесь о том, что Copilot будет следить за вашим секретным любовным романом или за чем-то ещё, что вы не хотели бы показывать, вы всегда можете отключить эту функцию. На данный момент обновление доступно только участникам программы предварительной оценки Windows, у которых уже есть Copilot Vision. Скорее всего, оно скоро станет доступно всем пользователям Windows 11.

Может показаться, что это не так уж важно по сравнению с другими функциями генеративного ИИ, но для Microsoft это тонкий способ внедрить свой ИИ буквально во всё на вашем компьютере. Вместо того чтобы писать электронное письмо в одной вкладке и описывать его ИИ в другой вкладке, чтобы получить помощь, вы можете сделать всё прямо здесь. Copilot Vision делает процесс более интуитивным. Вы указываете на что-то, с чем вам нужна помощь, задаёте простой вопрос и получаете ответ, который имеет смысл в данном контексте.

Трудно переоценить, сколько проблем это может решить. Конечно, это не идеальный вариант. Требуется некоторая конкретика, поскольку ИИ не может читать ваши мысли. Но дополнительная пара глаз, которая поможет вам справиться с задачей по созданию презентации PowerPoint или сокращению резюме совещания, — это уже немало.

Мечта об искусственном интеллекте в качестве личного помощника всегда была связана с контекстом, с идеей об ИИ, который мог бы понимать, что мы имеем в виду, а не только то, что мы говорим. Copilot Vision — это самый очевидный шаг Microsoft в этом направлении. Copilot Vision может стать одним из самых полезных инструментов ИИ, которые когда-либо создавала Microsoft. И в отличие от Clippy, он будет выносить суждения только по вашей просьбе.

Не поверите, что Atari 2600 1977 года сделала с ChatGPT и Copilot, заставив дрожать Gemini