ДалееСледующее руководство
Агентская коммерция: агенты искусственного интеллекта, которые делают покупки за вас
Приложения
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
Телефонные помощники могут выполнять некоторые задачи приложения с помощью действий, доступных разработчику, или, в ограниченном количестве продуктов, посредством автоматизации экрана.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Эти маршруты имеют разные разрешения, покрытие и режимы сбоя; Не следует предполагать, что помощник будет правильно управлять каждым приложением или выполнять последующую задачу. В этом руководстве сравниваются те модели взаимодействия и проверки, которые позволяют человеку держать ситуацию под контролем.
Агент может взаимодействовать с приложением для телефона посредством структурированных действий или автоматизации экрана. С помощью структурированного действия разработчик приложения предоставляет ограниченную задачу, а система передает поддерживаемые параметры. Функция App Intents Apple делает действия приложения доступными для системных функций; Android App Actions сопоставляет поддерживаемые задачи со встроенными намерениями или пользовательским выполнением. Такая интеграция зависит от реализации разработчика и не делает доступными все функции приложения. Агент автоматизации экрана интерпретирует видимые экраны и выполняет последовательность взаимодействий. На странице справки Google Gemini описана бета-функция для многоэтапных задач в некоторых приложениях Android. В нем указаны ограничения по устройству, возрасту, региону и личной учетной записи, а также проводится различие между автоматизацией экрана и подключенными приложениями. Эти ограничения зависят от продукта и могут измениться; их не следует распространять на все телефоны и помощников. Изменения макета экрана, диалоги, аутентификация, задержки и неоднозначные подсказки могут прервать последовательность действий. Перед использованием определите задачу, разрешенные данные и точку остановки. Предварительный просмотр параметров, требование подтверждения для покупок или сообщений, проверка результата в исходном приложении и остановка, если агент запрашивает информацию, выходящую за рамки задачи. Завершение не доказывает правильность предполагаемого лица, суммы, адреса или назначения. Структурированные действия предсказуемы только для поддерживаемых ими задач; автоматизация экрана может достигать некоторых рабочих процессов без специальной интеграции. Обоим нужны разрешения, тесты, обработка ошибок и проверка пользователей. Доступность функции следует проверить на текущей странице справки.
Соответствующий требованиям пользователь Android просит Gemini забронировать поездку в указанном приложении; эта функция представляет собой автоматизацию бета-экрана с учетом требований к устройству, учетной записи, возрасту и региону.
Приложение iPhone предоставляет конкретную задачу через App Intents, поэтому системная функция может использовать эту возможность вместо того, чтобы угадывать координаты экрана.
Экранный агент считывает адрес доставки; пользователь проверяет его и окончательный заказ перед отправкой.
Пользователь отказывается завершить платеж, когда в сводке агента не указана комиссия, и он открывает приложение, чтобы проверить общую сумму.
Телефонные агенты могут поддерживать больше задач по мере того, как платформы предоставляют API и улучшаются модели, но охват зависит от продукта, приложения, учетной записи, языка и региона. Автоматизация экрана требует контроля и восстановления. Разработчики должны публиковать ограничения возможностей, а пользователи должны сохранять ручной маршрут для конфиденциальных задач. Разработчики должны поддерживать актуальность описаний возможностей, раскрывать требования к подтверждению и повторно тестировать сбои после обновлений интерфейса или схемы. Прежде чем публиковать инструкции, подтвердите доступность в текущей документации по продукту. Пользователи должны знать, когда агент возвращается к человеку.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Телефонные помощники могут выполнять некоторые задачи приложения с помощью действий, доступных разработчику, или, в ограниченном количестве продуктов, посредством автоматизации экрана. Эти маршруты имеют разные разрешения, покрытие и режимы сбоя; Не следует предполагать, что помощник будет правильно управлять каждым приложением или выполнять последующую задачу. В этом руководстве сравниваются те модели взаимодействия и проверки, которые позволяют человеку держать ситуацию под контролем.
Намерения и действия приложения предоставляют выбранные возможности, определенные разработчиком.
Google перечисляет текущие функции и ограничения приемлемости на своей странице справки.
Руководство противопоставляет предполагаемое взаимодействие пользовательского интерфейса объявленным действиям и параметрам.
Руководство рекомендует подтверждение и проверку для последующих шагов.
Завершение не подтверждает правильность сведений о задаче.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Агентская коммерция: агенты искусственного интеллекта, которые делают покупки за вас
Приложения