Ваш компьютер заставляет ИИ «читать» обстановку через пиксели
Основной тезис Сэма Альтмана звучит категорично: ноутбуки и iPhone, несмотря на то что они являются «невероятными вещами» и «одними из величайших изобретений в истории человеческих технологий», фундаментально не приспособлены для ИИ. Их интерфейсы, разработанные для людей, становятся обузой, когда машины пытаются ими управлять.
Это создает существенное несоответствие. Современные операционные системы отображают информацию в виде графических пользовательских интерфейсов (GUI), оптимизированных для человеческого визуального восприятия и ручного ввода. ИИ-агент, вынужденный взаимодействовать с этими системами, часто прибегает к анализу скриншотов, запуску оптического распознавания символов (OCR) и моделей компьютерного зрения для интерпретации пикселей, а затем имитирует клики на основе сопоставления координат.
Такое использование компьютера через визуальный интерфейс — это не просто «немного глупо», как выразился Альтман; оно привносит значительную неэффективность. ИИ-агенту приходится анализировать интерфейс, предназначенный для человека, вместо того чтобы получать структурированные данные напрямую. Это увеличивает задержки, тратит вычислительные ресурсы на рендеринг и создает многочисленные точки отказа по сравнению с прямым доступом через API или интеграцией на уровне ОС.
Ставки высоки. Хотя это впечатляет, ИИ-агент, управляющий человекоцентричным интерфейсом, подобен переводу прямой команды через пантомиму. Специализированное ИИ-оборудование и программное обеспечение должны выйти за рамки взаимодействия, ориентированного на экран, предоставляя агентам программный доступ к базовым данным и функциям для более надежной и эффективной работы.
Суперсила смартфона — это также его «слепое пятно»
Главная сила смартфона — его дизайн, ориентированный на экран, — является и его фатальным недостатком для ИИ. Текущие интерфейсы делают ИИ по большей части реактивным: пользователи должны открыть приложение, нажать на подсказку или отдать команду, прежде чем система получит хоть какой-то полезный контекст. Это заставляет ИИ интерпретировать графический пользовательский интерфейс (GUI), созданный для человеческих глаз, вместо прямого доступа к «сырым» данным.
Представьте себе ИИ, который не ждет нажатия. Эмбиентная мультимодальная помощь могла бы использовать существующий набор аудио-, видео- и геодатчиков телефона, а также текущий контекст разговора, чтобы помогать проактивно. Это превращает ИИ из инструмента «команда-ответ» в постоянного, наблюдательного помощника, предвосхищающего потребности без постоянного ввода данных пользователем.
Эта возможность создает критический компромисс. Хотя телефон уже оснащен камерами, микрофонами, датчиками местоположения и надежной связью, включение постоянного мониторинга поднимает серьезные вопросы конфиденциальности и согласия. Проблема заключается не только в создании технологии, но и в определении этических границ для ИИ, который постоянно слушает и наблюдает. Путь к по-настоящему эмбиентному ИИ требует тонкого баланса между полезностью и индивидуальной автономией.
Альтман и Айв делают ставку на другой интерфейс
Альтман считает, что ИИ нуждается в новом типе оборудования, разработанном с нуля для его уникальных возможностей. Он утверждает, что современные устройства, такие как iPhone и ноутбуки, являются «невероятными изобретениями», но в конечном итоге ограничивают ИИ, заставляя его интерпретировать человекоцентричный интерфейс вместо прямого доступа к данным. Эта неэффективность подталкивает его к сотрудничеству с бывшим главой отдела дизайна Apple Джони Айвом с целью создания специализированного устройства с ИИ.
Их предполагаемый проект, финансируемый сотнями миллионов долларов от таких инвесторов, как Emerson Collective, представляет собой стратегический шаг к контролю над платформой. Новый форм-фактор оборудования может дать OpenAI прямое влияние на то, как пользователи взаимодействуют с их агентами, минуя посредников в лице Apple iOS и Google Android. Этот шаг перекликается с более широкими усилиями OpenAI в области специализированных полупроводников, включая сообщения о партнерстве с Broadcom и TSMC для создания собственных чипов. Подробнее об этом читайте в статье OpenAI работает с Broadcom и TSMC над созданием первого собственного чипа.
Хотя стратегическое обоснование выглядит убедительным, путь к массовому внедрению остается неопределенным. Сообщения о партнерстве и прототипе не гарантируют появление готового к рынку продукта или, что более важно, пользовательского спроса на еще одно устройство. История автономных AI-устройств, таких как Humane AI Pin, говорит о том, что планка для создания действительно незаменимого нового форм-фактора очень высока.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Новый гаджет не будет иметь значения, если он не превзойдет смартфон
Новое оборудование сталкивается с суровыми испытаниями. Первые участники рынка, такие как Humane AI Pin и Rabbit R1, иллюстрируют опасности запуска продукта без достижения соответствия рынку. Оба устройства подверглись серьезной критике за задержки, ненадежность и время автономной работы, пытаясь оправдать свое существование на фоне повсеместного распространения смартфонов. Они предлагали недостаточно ценности, чтобы оправдать ношение второго гаджета, не говоря уже о его зарядке.
Важно отметить, что некоторые утверждают, будто проблема заключается не в самом телефоне, а в его текущей архитектуре программного обеспечения. Прямые API, более глубокая интеграция с операционной системой и продвинутые программные уровни могли бы позволить AI получать доступ к контексту и данным программно, полностью минуя неэффективный визуальный интерфейс. Такой подход позволил бы раскрыть большую часть желаемого Сэмом Альтманом «амбиентного интеллекта», не заставляя пользователей переходить на новый форм-фактор.
В конечном счете, любое специализированное AI-устройство, включая предполагаемую совместную разработку Альтмана и Ива, должно преодолеть невероятно высокую планку. Оно должно делать частую, значимую задачу значительно проще, чем смартфон, завоевывая доверие за счет постоянного контекстного понимания, не становясь при этом навязчивым. Надежность, время автономной работы и бесшовная интеграция в повседневную жизнь не подлежат обсуждению. Если устройство не может стабильно соответствовать этим требованиям, это просто еще один гаджет.
Часто задаваемые вопросы
Почему Сэм Альтман считает, что AI нужно новое оборудование?
Альтман утверждает, что телефоны и компьютеры были разработаны для людей, поэтому AI-агентам часто приходится интерпретировать визуальные интерфейсы вместо прямого доступа к информации.
В чем проблема использования AI графического интерфейса?
Агенту, возможно, придется интерпретировать скриншоты, идентифицировать элементы управления и имитировать клики, что увеличивает задержку и вероятность ошибок по сравнению с прямым доступом к структурированным данным.
Нужно ли AI совершенно новое физическое устройство?
Не обязательно. Улучшенный доступ к операционной системе и API могли бы помочь AI работать напрямую на существующих телефонах и компьютерах без необходимости в новом гаджете.
Какую проблему должно преодолеть AI-устройство?
Оно должно предлагать явное повседневное преимущество, соответствуя при этом удобству, надежности, времени автономной работы и возможностям подключения, которые люди уже получают от смартфонов.