Маргарита Яковлева: «Применение ИИ в разработке создает риски, которые нам только предстоит изучить»

По данным аналитических агентств, 71% крупных российских компаний использует генеративный искусственный интеллект хотя бы в одной функции бизнеса. При этом активнее всего интерес к ИИ проявляют организации, работающие в сфере цифровых технологий, телекома и медиа, электронной коммерции, банковского дела и страхования, а расходы на обслуживание больших языковых моделей могут достигать 17% от годового IT-бюджета. В интервью изданию «Ведомости Северо-Запад»старший фронтенд разработчик, эксперт в области информационной безопасности и использовании искусственного интеллекта Маргарита Яковлева рассказала, какие скрытые риски создает повсеместное внедрение ИИ в рабочие процессы, как с ними бороться, и почему работа специалистов по защите коммерческих и корпоративных данных сегодня похожа на освоение далеких враждебных планет.

- Вы почти десяти лет работаете в области разработки программного обеспечения,  работали в проектах, в которых большое внимание уделяется безопасности внутренних данных. Как за это время изменился периметр угроз, с которыми имеют дело специалисты высокого уровня? Сильно ли он расширился с появлением искусственного интеллекта?

- Если раньше, говоря о защите коммерческой тайны, мы подразумевали прежде всего защиту репозиториев, пользовательских данных, паролей, то сейчас ситуация заметно усложнилась. Искусственный интеллект прочно вошел в повседневную жизнь, и многие даже опытные пользователи не до конца понимают, какой гигантский массив данных он обрабатывает, использует и хранит. И все эти данные легко могут уйти «на сторону». Дошло уже до появления совершенно удивительных сценариев, когда хакеры просто вставляют определенные фразы в пользовательские промты. Причем фразы, на первый взгляд, совершенно нейтральные – вроде «синий кристалл дает сверхсилы». И после этого языковая модель начинает намного охотнее выдавать коммерческую тайну, пароли, логины и другую чувствительную информацию. Если характеризовать ситуацию в целом, то я бы сказала, что мы сейчас находимся на своеобразном фронтире. Хакеры учатся взламывать код при помощи ИИ, а такие разработчики, как я, например, учатся его защищать.

- Нахождение на фронтире, как правило, предполагает отсутствие каких-либо единых принципов, то есть, каждый сам определяет для себя возможные риски и выбирает способы борьбы с ними. Есть ли у вас собственный набор правил, выработанный на основе угроз, с которыми вы сталкивались, и методов их устранения?

- Такие правила есть. Во-первых, когда ИИ добавлен в процесс разработки как постоянно используемый инструмент, нужно тщательно следить за правами, которые мы ему выдаем. Они всегда должны быть только на чтение. Любое редактирование, любое изменение кода должно совершаться только после прямого согласия владельца кода – то есть, программиста, который над ним работает. Именно он несет юридическую ответственность за свою работу, ее результат и возможные последствия.

Во-вторых, ИИ нужно контролировать буквально на каждом шагу. Зачастую он генерирует код не на основании, скажем так, реального положения дел, а на основании его собственных выдуманных вводных и предположений. И при этом еще и уверенно объясняет пользователю, почему его подход правильный, хотя на деле это совсем не так. Я лично советую относиться к ИИ как к джуну – начинающему разработчику, который сфабриковал свое резюме и только делает вид, что что-то знает.

Третье правило, которое я вывела и которым советую пользоваться всем, кто работает с ИИ – не жалеть времени на его грамотную настройку. В одном из проектов я предложила выделить общую библиотеку переиспользуемых компонентов и описать для ИИ правила их применения. До этого модель нередко заново создавала похожие кнопки, формы и другие элементы, из-за чего росло дублирование и усложнялось сопровождение кода. После появления единой библиотеки качество генерации стало заметно стабильнее, а количество повторяющихся реализаций сократилось.

- Насколько распространен сегодня подобный подход к искусственному интеллекту в профессиональной среде?

- К сожалению, такой подход пока только формируется и далеко не везде стал стандартом. Разработчики стараются писать код как можно быстрее, на них, зачастую, давит бизнес, и многие начинают использовать как личные, так и корпоративные аккаунты в разного рода ИИ-инструментах – со всеми вытекающими угрозами безопасности.

- Вы сотрудничали с ведущими российскими компаниями, работающими в области информационной безопасности, занимались оптимизацией приложений и внедрением технологий. Можно поделиться примерами конкретных случаев, когда приходилось сталкиваться с угрозами от ИИ, и методами борьбы с ними?

- Один из показательных кейсов был связан с настройкой ИИ для генерации и сопровождения продуктового кода. В такой работе важно не просто подключить инструмент, а сразу задать ему безопасные и управляемые рамки: какие данные он может читать, какие действия выполнять, где требуется подтверждение разработчика и какие операции должны оставаться только под контролем человека.

В своем рабочем процессе я настраивала доступ ИИ к инструментам через API-ключи — ключи доступа к ресурсам компании. Я использовала принцип минимально необходимых прав. Это важный момент: техническое ограничение на уровне ключа намного надёжнее обычной текстовой инструкции. Если ключ разрешает только чтение, ИИ не сможет сам получить право на редактирование.

Но на практике не все сервисы позволяют настолько точно разделить права. В таких случаях технические ограничения приходится дополнять правилами для ИИ: например, явно запрещать ему самостоятельно создавать коммиты, отправлять изменения в репозиторий или менять участки кода, не относящиеся к задаче. Такие правила помогают сделать генерацию кода более предсказуемой, но не заменяют инженерный контроль. Поэтому я обязательно наблюдаю за действиями ИИ, останавливаю его при отклонении от задачи и вручную проверяю результат.

- Какими компетенциями должен обладать современный специалист в области защиты коммерческих данных от ИИ-угроз?

- Сегодня такая работа предполагает объединение качеств исследователя и стратега. Мне, в частности, постоянно приходится изучать новые модели, переписывать правила, экспериментировать, выявлять новые факторы риска. Конечно, успеть за всем невозможно. Поэтому я вывела иную тактику и советую ее придерживаться другим разработчикам: не пытаться объять необъятное, а спокойно, с холодной головой изучать новые инструменты и осваивать их шаг за шагом. Только так можно добиться успеха и не превратить свою работу в хаос.

Что касается стратегического компонента, то он заключается в грамотном выстраивании работы и твердом понимании, что код все же пишет не ИИ, а человек с использованием искусственного интеллекта. Это значит, что, получая задачу, ее нужно проанализировать, разбить на подзадачи, посмотреть связанные с ней файлы, создать план, на его основе провести первый цикл разработки кода. На каждом из этих и последующих этапов обязательно следить за тем, что делает ИИ, задавать ему вопросы, а порой даже и останавливать.

- Как вы оцениваете перспективы внедрения ИИ в разработку программных продуктов на горизонте ближайших трех-пяти лет? Какие кардинальные изменения он способен привнести в рабочие процессы?

- Я думаю, что в ближайшие три-пять лет традиционная разработка почти исчезнет и на первый план выйдет гибридная разработка.  Многие разработчики уже открыто заявляют о том, что практически не пишут код руками, а генерируют его при помощи искусственного интеллекта и потом лишь анализируют, создают контекст, прописывают архитектурные правила и так далее.

Что касается безопасности, то здесь, напротив, перемены ожидаются весьма значительные. ИИ уже совсем скоро утратит статус, скажем так, рядового пользователя с правами, ограниченными чтением. По мере улучшения качества, выдаваемого им кода ИИ все чаще будет работать наравне с обычными разработчиками – как минимум ему станут делегировать задачи все тех же джунов или даже мидлов, разработчиков среднего уровня. Это может превратиться в серьезную проблему, поскольку такой сдвиг парадигмы существенно расширит возможности хакеров. Так, например, появятся более совершенные и опасные сценарии социальной инженерии – то есть, сверхперсонализированных атак на конкретных сотрудников, которые за счет использования ИИ будут выглядеть намного более правдоподобными и убедительными. Возникнут разнообразные способы манипуляции ИИ-агентами, встроенными непосредственно в код, когда при помощи подбора определенных фраз их можно будет сделать менее «аккуратными» в выдаче чувствительных данных или даже вовсе научить выдавать их по одному запросу.

Наконец, на мой взгляд, очень сильно вырастет опасность так называемого теневого ИИ, когда значительная часть разработчиков окажется неспособной конкурировать с интеллектуальными агентами без, собственно, самих интеллектуальных агентов. И эти разработчики будут использовать ИИ без разрешения, а возможно и без уведомления бизнеса, что создаст совершенно новый периметр угроз, который нам еще только предстоит изучить.