Про це розповідає KURAZH Вже понад пів століття основний спосіб взаємодії з комп’ютером не змінювався: користувачі продовжують працювати зі стандартним курсором, що переміщується по координатах X та Y. Проте команда дослідників із Google DeepMind пропонує революційну ідею — наділити курсор штучним інтелектом. Новий AI-enabled pointer має перетворити просте наведення миші на інтерактивний діалог із комп’ютером. Достатньо буде вказати на потрібний об’єкт і дати команду, наприклад: «Зроби щось із цим».

AI-enabled pointer: Інтелектуальний курсор нового покоління Головна проблема сучасних ШІ-систем полягає у так званих «інтерфейсних бар’єрах». Щоб отримати допомогу від нейромережі, користувачам часто доводиться копіювати текст, створювати скриншоти або завантажувати файли у спеціальні вікна чат-ботів. Це ускладнює роботу й створює зайві кроки.

Google прагне інтегрувати штучний інтелект безпосередньо в елемент управління — курсор, який зможе не лише визначати координати, а й розуміти зміст об’єкта, на який наведено вказівник. Новий підхід ґрунтується на принципах людської комунікації: ми часто використовуємо поєднання мови й жестів, щоб передати інформацію співрозмовнику.

Мультимодальні моделі, такі як Gemini, вже здатні бачити й чути, тому перенесення таких механік у комп’ютерний інтерфейс є природним розвитком. Наприклад, користувач може навести курсор на складну таблицю у PDF-документі і сказати: «Побудуй за цим графік». Система самостійно визначить межі таблиці, розпізнає дані й створить візуалізацію.

Відмова від перемикання між додатками та ШІ-сервісами. Автоматичне аналізування візуального контексту навколо курсора. Використання природної мови без складних промптів.

Сприйняття елементів екрана як осмислених об’єктів, а не просто пікселів. Від браузера Chrome до пристроїв нового покоління Перші можливості такого інтерфейсу вже з’являються у браузері Chrome. Там користувачі можуть запускати Gemini поверх вебсторінок, щоб, наприклад, порівняти товари або візуалізувати меблі на фотографіях інтер’єру.

Однак Google планує йти далі — функція Magic Pointer незабаром з’явиться у лінійці нових ноутбуків Googlebook, які створюються як нативні платформи для ШІ-агентів. У цих пристроях курсор виконуватиме роль «лазерної указки», підкреслюючи наміри користувача для штучного інтелекту. Експериментальні розробки також ведуться у лабораторіях Google Labs Disco та AI Studio.

Відбувається переосмислення самого поняття персонального комп’ютера: якщо раніше користувачі пристосовувалися до машинної мови, то зараз комп’ютери вивчають людську мову, жести і контекст. Такий підхід робить роботу з даними інтуїтивно зрозумілою, ніби ви просто пересуваєте об’єкти на столі. Додатково, нещодавно гарвардські дослідники сформулювали нову модель, яка пояснює, як саме нейромережі обробляють інформацію, що допоможе глибше зрозуміти фізику «цифрової алхімії» та розширити можливості ШІ-агентів.