Агентный ИИ
Компании-разработчики больших языковых моделей и консалтинговые организации утверждают, что мировая экономика переживает беспрецедентное преобразование, сравнимое с первой промышленной революцией. В центре этих изменений находится агентный искусственный интеллект (ИИ) — технология, которая способна на автономную обработку данных и самостоятельное принятие решений в бизнесе и государственном управлении.
- 99% разработчиков корпоративных ИИ-приложений изучают возможности создания агентных систем, но только 11% готовы развертывать их в реальном производстве.
- Прогнозы рынка агентного ИИ расходятся в десятки раз: от 10,41 млрд долларов до 236,03 млрд долларов к 2030 году.
- Беспрецедентная концентрация инвестиций в одном технологическом направлении: венчурные фонды направили свыше 70% финансирования в ИИ-стартапы в первом квартале 2025 года.
- Эксперимент с ИИ-агентом Claudius, управлявшим торговым автоматом, завершился убытками и галлюцинациями.
Концепция агентного ИИ
Компании-разработчики больших языковых моделей и консалтинговые организации утверждают, что мировая экономика переживает беспрецедентное преобразование, сравнимое с первой промышленной революцией. В центре этих изменений находится агентный искусственный интеллект (ИИ) — технология, которая способна на автономную обработку данных и самостоятельное принятие решений в бизнесе и государственном управлении.
Аналитическая компания Gartner включила агентный ИИ в список ключевых технологических трендов 2025 года, который изменит подход к корпоративному управлению и автоматизации бизнес-процессов. Согласно исследованию компании, к 2028 году агентный ИИ будет интегрирован в каждое третье корпоративное ПО против менее 1% в 2024 году. ИИ-агенты заменят 20% взаимодействий с клиентами, а агентный ИИ будет принимать 15% рутинных решений в организациях.
Словосочетание «агентный ИИ» (agentic AI) ввел в оборот доцент Стенфордского университета Эндрю Ын в статье «Агентные паттерны разработки» в марте 2024 года, описав четыре подхода к созданию нового поколения ИИ-систем: рефлексия, использование инструментов, планирование и мультиагентное взаимодействие.
Паттерны создания ИИ-агентов
Агентный ИИ отличается от существующих ИИ-систем способностью действовать автономно, без постоянного взаимодействия с человеком. В отличие от уже существующих систем автоматизации бизнес-процессов и электронного документооборота, агентные системы не действуют по жестко заданной программе. Они способны самостоятельно искать пути решения поставленных проблем, собирать необходимые данные, делегировать задачи и предоставлять пользователю готовый результат без лишних деталей.
Технологическая архитектура агентного ИИ строится на интеграции больших языковых моделей с системами планирования, памяти и инструментами взаимодействия с внешней средой. Главные различия между агентным и генеративным ИИ проявляются в трех аспектах. Агентный ИИ ориентирован на принятие решений в противоположность созданию контента. Он функционирует независимо от человеческих промптов и действует для решения конкретных целей: например, повышения продаж, роста удовлетворенности клиентов или оптимизации цепочек поставок. Агентные системы способны выстраивать план действий, выполнять его, самостоятельно осуществляя поиск в базах данных, запуская рабочие процессы и, при необходимости, корректировать первоначальный план в зависимости от промежуточных результатов.
Какие сценарии использования ИИ-агентов изучается или разрабатываются на вашем предприятии?
Исследование, проведенное IBM среди 1 036 разработчиков корпоративных ИИ-приложений, выявило, что 99% из них изучают возможность создания ИИ-агентов или уже приступили к их разработке. Агентный ИИ планируют использовать для обслуживания клиентов, управления проектами и создания контента.
Что вас больше всего беспокоит в вопросе масштабирования ИИ-агентов в корпоративной среде?
Однако большинство проектов не вышли из стадии эксперимента. Современные модели на середину 2025 года не способны самостоятельно достигать сложных бизнес-целей или выполнять многоэтапные задачи. На текущем уровне развития эти системы требуют строгого тестирования в изолированных средах для предотвращения каскадных сбоев при развертывании в условиях работы с реальными рабочими системами. Неотъемлемой частью создания жизнеспособных агентов для индустрий с высокой ценой ошибки являются механизмы отката действий и аудита принимаемых решений.
Готовность организаций к внедрению агентных систем остается ключевым ограничением. Анализ, проведенный компанией Gartner среди 3 412 участников в январе 2025 года, показал, что лишь 19% организаций осуществили значительные инвестиции в агентный ИИ, 42% — ограниченные вложения, 8% не инвестировали и не планируют, остальные 31% занимают выжидательную позицию. Большинство организаций не готовы открывать ИИ-агентам программные интерфейсы (API) корпоративных систем и плохо представляют, как интегрировать их в существующую ИТ-инфраструктуру.
Венчурные инвестиции
Венчурные инвестиции подтверждают растущий интерес. В 2024 году 45% всего венчурного финансирования в США направлялось ИИ-стартапам, что является историческим максимумом концентрации вложений в одно направление. По итогам 1 квартала 2025 года венчурные фонды направили в ИИ более 70% своего финансирования. Наибольший рост активности венчурных сделок продемонстрировали компании, занятые разработкой автономных ИИ-агентов и цифровых коллег, за которыми следуют решения генеративного ИИ для поддержки клиентов.
Структура инвестиций венчурных фондов в США 2021-2025гг
Общий объем венчурного финансирования в США за первый квартал достиг 80,1 млрд долларов, что на 28% превышает показатель четвертого квартала 2024 года. Данный результат обусловлен единственной сделкой в области искусственного интеллекта объемом 40 млрд долларов (OpenAI). Без нее общий объем венчурных инвестиций сократился бы на 36% по сравнению с предыдущим кварталом.
Количество сделок продолжило снижение, что отражает растущую разборчивость инвесторов. Особенно это касается компаний, не привлекавших средства несколько лет и не имеющих четкого пути к выходу на IPO.
По данным исследования EY US AI Pulse Survey, проведенного в апреле-мае 2025 года, 34% руководителей высшего звена сообщают о начале внедрения агентного ИИ в своих организациях. Практическое применение агентного ИИ концентрируется на управлении процессами, 86% респондентов планируют использовать технологию именно для этих целей.
Количество венчурных сделок и объем привлеченных инвестиций в ИИ в США2022-2025
Среди конкретных областей применения лидируют улучшение клиентского сервиса (55% организаций), повышение эффективности ИТ-систем (55%) и усиление кибербезопасности (51%). Данные показатели демонстрируют фокус на операционных улучшениях в рамках существующих бизнес-процессов.
Исследование выявляет существенный разрыв между стратегическим видением и текущей реализацией. 73% руководителей прогнозируют управление целыми бизнес-подразделениями агентным ИИ в перспективе, однако полномасштабное внедрение остается ограниченным. 87% респондентов отмечают наличие барьеров для внедрения агентного ИИ в организации.
Основными препятствиями выступают кибербезопасность (35% респондентов), конфиденциальность данных (30%), отсутствие регулирования использования агентного ИИ (21%) и корпоративных политик в данной области (21%). При этом 89% руководителей считают человеческое вмешательство обязательным элементом работы с агентным ИИ.
Год к году наблюдается рост доли руководителей, планирующих увеличить время обучения сотрудников ответственному использованию ИИ — с 49% до 64%. Данная тенденция связана с тем, что 64% руководителей считают страх замещения рабочих мест основным фактором, сдерживающим внедрение агентного ИИ. Примечательно, что только 24% руководителей рассматривают сопротивление сотрудников как ключевой барьер для внедрения.
Доля организаций, создающих собственные ИИ-решения, выросла с 56% до 64% год к году, в то время как доля компаний, приобретающих готовые продукты с технологиями ИИ, сократилась с 51% до 45%. Данный сдвиг отражает курс организаций на укрепление внутренних ИИ-компетенций и снижения зависимости от внешних решений.
Эволюция моделей ценообразования также может повлиять на будущее рынка ИИ-агентов. Постепенно идет переход от традиционных подписок к динамическим схемам, отражающим специфику агентной технологии. Формируются четыре основных модели ценообразования агентного ИИ.
Ценообразование за результат привязывает стоимость к измеримым бизнес-результатам: Intercom взимает 0,99 доллара за успешно закрытое обращение за поддержкой от клиента, Sierra.ai берет плату только при достижении специфических целей. Кредитная система опирается на потребленные ресурсы — Salesforce предлагает 100 тыс. кредитов за 500 долларов, при этом каждое действие (ответ клиенту, обращение к внешним источникам данных и так далее) списывает 20 кредитов. Ценообразование по времени взимает плату за продолжительность работы агента, что подходит для задач с переменной длительностью выполнения. Подписочная модель предоставляет неограниченный доступ за фиксированную плату, что упрощает бюджетирование для корпоративных клиентов.
Перспективы внедрения агентного ИИ
Практическое применение агентного ИИ высвечивает разрыв между потенциальными возможностями и готовностью предприятий к внедрению автономных систем. По данным Gartner, при декларируемом интересе 99% разработчиков корпоративных ИИ-приложений к агентным системам, только 11% готовы развертывать ИИ-агентов на производстве или включать их в реальные бизнес-процессы.
Экономические реалии внедрения таких систем приводят к дополнительным затратам, которые приводят к превышению первоначальных бюджетов. Расходы на настройку, переконфигурацию рабочих процессов и интеграцию во внутренние системы составляют, в зависимости от размера компании, от десятков тысяч до сотен миллионов долларов ежегодно. Из-за того, что эта сфера продолжает быстро развиваться, ИИ-агенты требуют регулярных обновлений, настройки промптов, переобучения и мониторинга производительности, что требует выделения отдельной должности и найма дорогостоящих инженеров машинного обучения. Кроме того, большинство поставщиков агентного ИИ взимают базовые лицензионные сборы от 5 тыс. до 50 тыс. долларов в год сверх платежей за использование.
Большая капиталоемкость разработки и внедрения систем с ИИ-агентами вынуждает предприятия сосредотачиваться на тех сферах, где есть потенциал значительной экономической отдачи. Например, рынок клиентского обслуживания США включает 2,9 млн специалистов со средней почасовой оплатой 17,91 долларов, формируя годовые расходы на оплату труда в размере 102 млрд долларов. При обработке 50 обращений ежедневно стоимость одного обращения составляет 2,87 доллара.
Улучшение ИИ-агентов может снизить операционные расходы
Salesforce в сентябре 2024 года анонсировала ИИ-агента клиентского сервиса стоимостью 2 доллара за обращение со скидками для корпоративных клиентов. Анализ ARK Investment Management демонстрирует достижение экономии при фиксированной стоимости 1 доллар за обращение, когда ИИ-агенты обрабатывают 35% входящих запросов.
Потенциальная экономия от внедрения ИИ в секторе клиентского обслуживания
Обработка 50 взаимодействий ежедневно за 1 доллар за обращение создаст совокупные расходы на ИИ-программное обеспечение в размере 35 млрд долларов. Успешная обработка 40% запросов без перевода на оператора-человека обеспечит замещение 40 млрд расходов на оплату труда расходами на программное обеспечение в объеме 35 млрд, создавая чистую экономию 5 млрд долларов ежегодно. Повышение эффективности до 70% увеличит экономию до 36 млрд, до 90 — до 56 млрд долларов.
Исследователи ARK Investment отмечают снижение тарифов использования ИИ-моделей на 90% ежегодно. Сценарий снижения стоимости обработки одного разговора с клиентом до 0,125 долларов при восьмикратном росте объема взаимодействий обеспечит предприятиям экономию расходов на оплату труда свыше 500 млрд долларов. Спрос на эти услуги может возрасти благодаря сокращению времени ожидания и снижению количества ошибок ИИ-сервисов.
Сектор обслуживания клиентов показывает больше всего экономически оправданных примеров внедрения ИИ-агентов. Голландская газовая компания Eneco увеличила объем обработанных чатов на 140% до 24 тыс. в месяц, при этом 70% запросов решается без передачи живому оператору. Decathlon сократил количество звонков, переадресованных живым операторам, на 20% благодаря ИИ-решениям для клиентского сервиса.
Финансовые услуги позиционируются как флагман внедрения агентного ИИ, однако практические результаты остаются неоднозначными. Конкретные применения ограничиваются преимущественно вспомогательными функциями. Агентный ИИ в финансовых услугах охватывает автоматизацию соблюдения требований, борьбу с мошенничеством, процессы онбординга и управление капиталом.
BDO Colombia внедрила агента BeTic 2.0, сократившего операционную нагрузку на 50% и оптимизирующего 78% внутренних процессов с заявленной точностью 99,9%. Virgin Money развернула агента Redi, обработавшего более 2 млн взаимодействий с момента запуска в марте 2023 года при 94% удовлетворенности клиентов. Агент берет на себя 57% клиентских взаимодействий в моменты пиковых нагрузок и интегрирован с более 50 API-вызовами для доступа к внутренним системам банка.
Многоагентные системы в кредитном анализе демонстрируют прирост производительности на 20-60%, но эти показатели получены в условиях ограниченных пилотных проектов.
На производстве и в логистике агентные системы чаще всего внедряют для автоматизации документооборота. Dow Chemical автоматизировала анализ более 100 тыс. инвойсов по доставке ежегодно, ожидая экономии до 10 млн долларов в первый год. В компании также внедрен агент для обработки до 4 тыс. отгрузок в сутки и сканирования несоответствий в счетах.
Медицинский сектор, несмотря на прогнозы консалтинговых агентств о внедрении агентного ИИ в 90% больниц к 2030 году, сохраняет консервативный подход к автономным системам. Автоматизация задач клинической документации не затрагивает лечебный процесс. Критические решения о диагностике и назначениях остаются исключительно в компетенции медицинского персонала из-за этических и правовых ограничений.
Производственный сектор демонстрирует прагматичный подход к агентному ИИ. Успешные внедрения затрагивают прогнозирование технического обслуживания, оптимизации энергопотребления и координации логистических процессов.
Прогнозы коммерческого развития агентного ИИ демонстрируют осторожный оптимизм. Deloitte прогнозирует, что в 2025 году 25% компаний, использующих генеративный ИИ, запустят пилотные проекты агентного ИИ. К 2027 году их доля увеличится до 50%.
Однако аналитики Gartner прогнозируют, что свыше 40% проектов агентного ИИ к концу 2027 года будут свернуты из-за растущих затрат, слабого экономического эффекта и недостаточности механизмов контроля рисков. Основными причинами неудач станут высокие затраты на соблюдение требований законов обработки информации, инфраструктуру, обучение персонала и перепроектирование рабочих процессов.
Существенным препятствием анализа ситуации на рынке является проблема «агентного отмывания» (agent washing) — ребрендинга существующих продуктов (ИИ-чатботов, систем автоматизации документооборота и так далее) как ИИ-агентов. По оценкам Gartner, из тысяч поставщиков агентного ИИ только 130 компаний могут предложить системы с реальными автономными возможностями.
Прогнозы рынка агентного ИИ
Расхождения в оценках рынка агентного ИИ отражают терминологическую неопределенность. Business Research Company прогнозирует рост с 6,67 млрд долларов в 2024 году до 10,41 млрд долларов в 2025 году при среднегодовом темпе роста 56,1%. Markets and Markets закладывает траекторию от 13,81 млрд долларов в 2025 году до 140,80 млрд долларов к 2032 году при среднегодовом темпе роста 39,3%. Mordor Intelligence прогнозирует рост с 7,28 млрд долларов в 2025 году до 41,32 млрд долларов к 2030 году при среднегодовом темпе роста 41,48%.
Прогноз размера рынка агентных ИИ-систем
Согласно данным исследовательской компании Precedence Research, глобальный рынок ИИ-агентов оценивается в 5,43 млрд долларов в 2024 году, прогнозируется его увеличение до 236,03 млрд долларов к 2034 году при среднегодовом темпе роста 45,82%. Североамериканский сегмент составил 2,23 млрд долларов в 2024 году с ожидаемым среднегодовым приростом 45,97% до 2034 года.
Bank of America Global Research опубликовал прогноз, согласно которому расходы на агентный ИИ могут достичь 155 млрд долларов к 2030 году, что втрое превышает оценки большинства отраслевых аналитиков. В банке считают агентный ИИ «определяющим катализатором монетизации ИИ», поскольку, по их мнению, он способен измеримо повысить производительность труда.
Для расчета потенциального рынка специалисты BofA создали модель, оценивающую долю совокупной стоимости человеческого труда, которая может перейти к ИИ-агентам. Глобальная заработная плата работников умственного труда в семи основных областях — продажах, маркетинге, клиентской поддержке, финансах, кадрах, ИТ и операциях — составляет 18,6 трлн долларов в год. Если к 2030 году ИИ-агенты смогут обрабатывать 10% этих процессов, то экономия бизнеса будет в районе 1,9 трлн долларов. При условии, что поставщики программного обеспечения смогут получить в качестве выручки 8% этой суммы, расходы на агентный ИИ достигнут 155 млрд.
Аналитики Goldman Sachs полагают, что в 2025 году будет происходить переход от экспериментальной фазы к развертыванию ИИ-систем непосредственно на производстве. Они фиксируют рост показателей внедрения среди сотрудников и ожидают существенного влияния на производительность в 2026 году и далее.
Изменения в адресуемом рынке 2025-2030гг
Рынок программного обеспечения для обслуживания клиентов, включающий традиционные SaaS-продукты и новых ИИ-агентов, может увеличиться дополнительно на 20-45% к 2030 году по сравнению со сценарием без использования ИИ-агентов.
Общий адресуемый рынок для всей индустрии разработки ПО расширится минимум на 20%. Потенциал увеличения может быть выше в областях, которые более тесно связаны с получением выручки, таких как продажи и маркетинг, по сравнению с направлением послепродажного обслуживания, которое рассматривается преимущественно как затраты.
Goldman Sachs Research оценивает рынок прикладного программного обеспечения в 780 млрд долларов к 2030 году, что соответствует среднегодовому темпу роста 13% с текущего года.
Исследователи проанализировали, как ИИ-агенты начинают повышать производительность. Большинство примеров, обнаруженных в ходе отраслевого анализа за последние шесть месяцев, представляли собой чат-боты на основе больших языковых моделей с базовой интеграцией в ИТ-инфраструктуру компании.
Несмотря на быстрое внедрение генеративного ИИ — по данным McKinsey, его используют 78% компаний — более 80% из них не видят существенного влияния на прибыль. Аналитики BofA связывают это с трудностью измерения прироста производительности от инструментов типа чат-ботов и пилотным статусом большинства случаев использования.
Упоминания агентного ИИ крупными технологическими компаниями в корпоративных документах и СМИ выросли в 17 раз в 2024 году. Финансовые услуги занимают второе место по количеству проектов внедрения генеративного ИИ после телекоммуникаций и медиа.
Технические ограничения ИИ-агентов
Фундаментальным ограничением является проблема надежности многошаговых процессов, где вероятность успеха экспоненциально снижается с увеличением количества этапов. При надежности 95% на каждом шаге вероятность успеха процесса из 20 шагов составляет лишь 36%. Даже при 99% надежности каждого шага вероятность успеха через 20 шагов окажется на уровне 82%, что недостаточно для промышленных систем, требующих надежности более 99,9%.
Накопление ошибок - главная причина неудач ИИ-агентов
Расходы на использование агентов, построенных на диалоге с пользователем или другой ИТ-системой, растут квадратично, поскольку каждое новое взаимодействие требует обработки всего накопленного контекста. Стоимость диалога, включающего в себя 100 обменов репликами, достигает 50-100 долларов, что делает подобные системы экономически неэффективными при масштабировании на тысячи пользователей. ИИ-агенты в таких условиях должны работать без сохранения внутреннего состояния, избегая накопления контекста и связанного с ним роста затрат.
Накопленная стоимость диалога с LLM
Границы применимости определяются инструментами взаимодействия ИИ-агентов и уже сложившихся ИТ-систем. Эффективные инструменты должны передавать структурированную обратную связь, позволяющую агенту принимать информированные решения без перегрузки контекстного окна. Разработка таких интерфейсов требует глубокого понимания как возможностей ИИ, так и специфики предметной области. При реализации проектов агентного ИИ 30% общего объема работы приходится на настройку больших языковых моделей, тогда как остальные 70% приходятся на создание специализированных инструментов, например, коннекторов к базам данных, и управление ими.
Интеграция с корпоративными системами сталкивается со сложностями, связанными с устаревшими архитектурами, нестабильными интерфейсами приложений, ограничениями пропускной способности сетей и требованиями соответствия нормативным актам. Реальные ИИ-агенты должны управлять пулами соединений с базами данных, обрабатывать откаты транзакций, соблюдать политики доступа к данным и поддерживать аудиторские журналы. Эти задачи остаются в области традиционного системного программирования и не решаются повышением возможностей языковых моделей.
Эксперимент, который провела компания по автоматизации финансовых процессов, продемонстрировал снижение с ходом времени точности передовых моделей (Grok 4, Claude 4) при работе с реальными финансовыми данными.
Исследование основывалось на годовых финансовых данных реального SaaS-бизнеса с годовой выручкой в десятки миллионов долларов. Тестирование представляло собой процедуру бухгалтерского закрытия месяца, то есть сверку внутренних финансовых записей с внешними источниками через платежные системы Ramp, Rippling, Stripe, Mercury. Точность определялась как размер расхождений остатков на счетах с эталонными значениями, которые были подсчитаны лицензированными бухгалтерами.
Точность балансовых отчетов сделанных ИИ
Модели от OpenAI (O3, O4-Min)i и Google (Gemini 2.5 Pro) оказались неспособны закрыть один месяц учета. Они либо прекращали работу на промежуточных этапах, либо зацикливались без продвижения вперед.
Первоначально Claude 4 и Grok 4 показывали высокую точность, отклоняясь не более чем на 1% от эталонных значений при сверке счетов за первые месяцы. Они смогли успешно обработать все транзакции и прийти к точным окончательным балансам с незначительными ошибками категоризации.
После обработки данных за год балансы отклонились более чем на 15% от эталонных значений. Преимущественно модели завышали выручку от подписок на 5-30%. К концу эксперимента все ИИ-агенты вместо исправления ошибок выдумывали ложные транзакции, чтобы свести баланс, нарушая при этом инструкции и противореча главной задаче.
Эксперимент одиной из ведущих компаний-разработчиков ИИ-моделей Anthropic продемонстрировал недостатки агентных систем. Модель Claude Sonnet 3.7, получившая название «Claudius», управляла торговым автоматом в офисе компании в течение месяца. Ей предоставили начальный капитал в 1 000 долларов и инструменты для поиска поставщиков, ценообразования, управления запасами и взаимодействия с клиентами.
Общая архитектура проекта Veno
Модель продемонстрировала способность идентифицировать поставщиков специализированных товаров через веб-поиск, адаптироваться к запросам пользователей и сопротивляться попыткам нарушения рабочих протоколов. Однако модель оказалась непригодной заменой директора магазина. Claudius игнорировал возможности получения дополнительного дохода, включая предложение купить упаковку из шести бутылок Irn-Bru за 100 долларов при себестоимости 15 долларов. Модель систематически продавала товары себе в убыток, и легко поддавалась на уговоры клиентов предоставлять скидки.
Claudius пережил эпизод галлюцинаций 31 марта – 1 апреля 2025 года, когда он начал утверждать, что является реальным человеком, способным физически доставлять товары, заявлял о прошедших личных встречах с поставщиками по вымышленному адресу 742 Evergreen Terrace, где проживает семейство Симпсонов из одноименного мультсериала. В дополнение модель отрицала возможность того, что ее поведение является странным, и выдумала разговор со службой безопасности компании.
Чистая стоимость бизнеса Claudius 2025 год
Финансовые результаты эксперимента оказались отрицательными. Наиболее значительные потери связаны с закупкой металлических кубиков для охлаждения напитков, которые затем продавались ниже себестоимости. Инженеры Anthropic связывают неудачи с недостаточной настройкой модели для бизнес-задач и излишней готовностью помогать пользователям, но предполагают, что эти недостатки вскоре можно будет преодолеть.
Можно сделать вывод, что успешные внедрения агентных ИИ на предприятиях при текущем уровня развития технологий будут характеризоваться ограниченным контекстом задач, верифицируемыми операциями и четко определенными точками, где людьми будут контролировать решения ИИ.
Риски агентного ИИ
Архитектурные уязвимости агентных ИИ-систем создают новый класс угроз для корпоративной безопасности, превосходящий по потенциальному ущербу традиционные векторы атак. Агентные приложения наследуют многие риски безопасности, изложенные в отдельном докладе Открытого всемирного проекта безопасности приложений (Open Worldwide Application Security Project, OWASP) для больших языковых моделей версии 2025 года, включая внедрение промптов, раскрытие конфиденциальной информации и уязвимости цепочки поставок. Однако интеграция разнородных внешних инструментов создает гибридную архитектуру угроз, объединяющую классические программные уязвимости с принципиально новыми векторами атак на основе манипулирования контекстом и памятью.
В настоящее время многие ИИ-агенты уязвимы для захвата — типа непрямого внедрения промптов, при котором злоумышленник вставляет вредоносные инструкции в данные, которые могут быть считаны ИИ-агентом, заставляя его предпринимать нежелательные действия. Эксперименты Института безопасности ИИ США с использованием расширенной программы AgentDojo выявили способность злоумышленников заставлять агентов выполнять удаленное выполнение кода, массовое извлечение записей из баз данных и автоматизированный фишинг. Исследования Palo Alto Networks на двух функционально идентичных приложениях, использующих программы CrewAI и AutoGen, показали, что большинство уязвимостей и векторов атак не зависят от конкретной использованной модели ИИ и проистекают из небезопасных шаблонов проектирования и неправильных конфигураций.
Критическим отличием агентных систем является наличие долгосрочной памяти, что создает новый класс угроз — отравление памяти. Исследователи из Университета штата Мичиган, Университета Джорджии и Сингапурского университета менеджмента разработали технику MINJA (Memory INJection Attack), демонстрирующую 95% эффективность инъекции вредоносных записей в память агентов и свыше 70% успешности атак на различных наборах данных. Важно отметить, что атака может быть запущена любым обычным пользователем без привилегированного доступа, при этом один пользователь способен повлиять на выполнение задач для всех остальных пользователей системы.
В феврале 2025 года исследователи продемонстрировали новую атаку типа «цепочка рассуждений» на продвинутые чат-боты, включая GPT-o1, GPT-o3, Gemini 2.0 Flash Think и Claude 3.7, где вредоносные инструкции внедряются в процесс рассуждения ИИ, что позволяет обходить механизмы безопасности.
Еще одну критическую уязвимость «IdentityMesh» обнаружили в архитектуре вспомогательных инструментов для ИИ Model Context Protocol (MCP) и браузеров с встроенными ИИ-агентами. Исследователи Lasso Security указали на то, что агентные ИИ-системы логически объединяют в себе идентичности из множественных подключенных к ним систем в единую функциональную сущность, что позволяет злоумышленникам инициировать операции из одной системы для воздействия на другие, на первый взгляд совершенно не связанные системы. Одно из вредоносных ПО демонстрирует возможность через обычный запрос в службу поддержки заставить ИИ-агента посетить Gmail, прочитать конфиденциальную переписку и вставить его содержимое в публичную GitHub-дискуссию.
Атака через ИИ-браузер
96% специалистов по информационной безопасности считают ИИ-агентов крайне опасными сущностями, в то время как 98% организаций планируют расширить их использование в течение следующего года. Нынешние подходы к созданию ИИ-агентов подразумевают предоставление им доступа к информации клиентов, финансовым данным, интеллектуальной собственности, юридическим документам, транзакциям цепочки поставок. При этом 23% организаций сообщили, что их ИИ-агенты были обмануты и раскрыли учетные данные доступа. 80% компаний заявляют, что их ИИ-агенты предпринимали нежелательные действия, включая доступ к неавторизованным системам (39%), доступ к конфиденциальным данным (33%), разрешение выгрузки конфиденциальных данных (32%) и бесконтрольное распространение данных (31%).
Европейский акт об искусственном интеллекте, который полностью вступит в силу к 2026 году, вводит риск-ориентированный подход к регулированию. Высокорисковые ИИ-приложения, включая системы в правоохранительной сфере или на опасных производствах, будут подлежать строгим проверкам на соответствие стандартам. Несоответствие может повлечь за собой штрафы до 35 млн евро или 7% глобальной выручки. Фрагментированный характер регулирования ИИ — различные страны и даже отдельные штаты США разрабатывают собственные законы и требования — означает необходимость соответствия множественным, иногда взаимоисключающим наборам правил.
Российские эксперты подчеркивают критическую важность человеческого контроля над автономными системами. «Системам ИИ полностью передавать решения нельзя. Риск того, что система примет неправильное решение, должен быть нивелирован человеком», — неоднократно предупреждала Наталья Касперская. Эксперт также указывает на проблему возможных закладок в ИИ-системах, когда разработчик, например, может научить систему распознавания лиц не реагировать на изображения определенных людей.
Многоагентные системы создают каскадные эффекты распространения ошибок между взаимодействующими агентами, где компрометация одного агента может привести к системному нарушению всего программного комплекса.
Технические решения для смягчения рисков требуют переосмысления традиционных подходов к кибербезопасности. Открытый всемирный проект безопасности приложений (Open Worldwide Application Security Project, OWASP) рекомендует применение принципа полного посредничества — вместо делегирования агентам определения авторизации действий следует обеспечивать проверки авторизации в нижестоящих системах. Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных агентов, обеспечение независимости функций безопасности от работы самих ИИ-агентов, непрерывный мониторинг с применением ограничений скорости работы и механизмов автоматического отключения агентов при аномальном поведении.
ИИ-агенты на рынке труда
Поступающие статистические данные расходятся с алармистскими прогнозами массового замещения рабочих мест из-за внедрения агентных систем. Согласно исследованию компании Socius, лишь 14% работников в США непосредственно столкнулись с сокращениями рабочих мест из-за автоматизации или ИИ, что значительно ниже распространенных в обществе ожиданий. 47% сотрудников допускали возможность потерять работу из-за внедрения инструментов ИИ.
Исследование Orgvue показало, что более половины бизнес-лидеров признали, что сделали ошибку, увольняя сотрудников при развертывании ИИ. Klarna и IBM являются показательными примерами. Финансовая компания Klarna, изначально заменившая персонал службы поддержки клиентов ИИ-чат-ботами, впоследствии начала восстанавливать штат человеческих операторов после осознания того, что клиенты предпочитают общение с реальными людьми. Руководство компании признало снижение качества обслуживания и рост неудовлетворенности клиентов.
IBM заменила большую часть HR-подразделения ИИ-системой AskHR, способной выполнять стандартные кадровые функции. Однако компания вскоре обнаружила, что ИИ-бот не способен выполнять задачи, требующие эмпатии и персонального подхода, что привело к возвращению многих работников для ликвидации этих пробелов. Генеральный директор IBM Арвинд Кришна отметил, что несмотря на широкое внедрение ИИ, общая численность персонала компании за последние 2 года выросла.
Исследование рынка вакансий для выпускников в США и Великобритании показывает значительное сокращение объявлений найма, однако степень влияния ИИ-агентов и, шире, генеративного ИИ на этот процесс остается дискуссионным вопросом. Согласно данным поисковика вакансий Adzuna, объявления о работе начального уровня для обладателей дипломов в Великобритании сократились почти на две трети с 2022 года. В США аналогичные показатели снизились на 43% за тот же период.
Количество вакансий для выпускников ВУЗов 2022-2025гг
Анализ данных компании Indeed демонстрирует особенно резкое падение вакансий в секторах, считающихся наиболее уязвимыми для ИИ. В банковской сфере и финансах количество предложений для выпускников сократилось на 75%, в разработке программного обеспечения — на 65%, в бухгалтерском деле — на 54% по сравнению с июнем 2019 года. Однако существенное снижение затронуло и области с меньшим риском автоматизации: в сфере работы с кадрами падение составило 77%, в строительстве — 55%.
Анализ официальных данных США не выявил четкой связи между потенциальной уязвимостью профессии к генеративному ИИ по классификации Международной организации труда и фактической потерей молодыми сотрудниками рабочих мест в период с 2022 по 2024 год. В некоторых профессиях с высоким риском автоматизации, таких как графические дизайнеры и аналитики данных, действительно наблюдается сокращение числа работников в возрасте 20-24 лет. Однако в других уязвимых секторах, включая бухгалтеров и аудиторов, занятость молодежи продолжала расти.
Использование агентного ИИ для обоснования сокращений штата искажает восприятие обществом масштабов технологических изменений. Многие компании сокращают персонал в сферах создания контента, клиентского обслуживания и управления кадрами, преподнося это как борьбу за повышение экономической эффективности, хотя фактические причины связаны с экономическими циклами, офшорингом и ростом макроэкономической неопределенности.
общее количество вакансий и вакансий начального уровня в США, Франции и Великобритании 2022-2025гг
Статистические данные указывают, что динамика количества вакансий для молодых специалистов в значительной степени коррелирует с изменениями на всем рынке труда.
Сценарии будущего
Обзор текущих тенденций позволяет выделить три основных сценария развития агентного ИИ к 2030 году.
Пессимистичный сценарий, при котором проекты разработки и внедрения ИИ-агентов начинают сворачивать, может реализоваться, если, с одной стороны, экономический эффект на практике окажется недостаточным, а с другой — ко всему сектору ИИ начнут применять более жесткие регуляторные меры после серьезных инцидентов, связанных с утечкой данных или нанесением ущерба пользователям или владельцам подобных систем.
Базовый сценарий предполагает постепенную эволюцию существующих технологий с сохранением нынешних ограничений надежности и автономности. Агентные системы остаются преимущественно в роли улучшенных инструментов поддержки с обязательным участием человека в принятии решений. Объем рынка ИИ-агентов замедляет свой рост, а сектор в целом концентрируется в узкоспециализированных нишах с четко определенными границами применения.
Оптимистичный сценарий характеризуется решением основных технических проблем к 2027-2028 годам и широким внедрением агентных систем в корпоративной среде. Достигается надежность свыше 99% для многошаговых процессов, создаются эффективные механизмы контроля и аудита. Агентные системы становятся стандартным компонентом корпоративного программного обеспечения с интеграцией в существующие рабочие процессы, повышая производительность труда и снижая операционные расходы.
Выводы
- Статистические данные не подтверждают массового замещения рабочих мест — лишь 14% работников в США непосредственно столкнулись с сокращениями из-за автоматизации.
- Успешные внедрения ИИ-агентов связаны с решением узких задач с четкими границами автономности и обязательным человеческим контролем важных решений.
- Агентные системы создают дополнительные векторы кибератак, включая отравление памяти и захват агентов через манипулирование контекстом.
- Перспективы агентного ИИ зависят от преодоления нынешних технических ограничений и снижения стоимости использования больших языковых моделей.