от Мариета Филипова
Служител трябва да обобщи дълъг документ, да редактира писмо или да открие грешка в програмен код. Отваря AI инструмент, поставя съдържанието и след секунди получава полезен отговор. Задачата е изпълнена по-бързо. Но ако документът съдържа лични данни, вътрешна информация или конфиденциален код, възниква въпрос, който често остава извън полезрението на организацията: къде точно е изпратена тази информация и при какви условия ще бъде обработена?
Това е една от проявите на Shadow AI – използването на AI инструменти и функции без необходимата видимост, оценка или одобрение от организацията. Подобно на Shadow IT, явлението възниква, когато служителите търсят по-удобен начин за работа. Разликата е, че при AI рискът не се изчерпва с избора на неразрешено приложение. Значение имат и съдържанието на заявките, надеждността на отговорите, достъпът до корпоративни данни и действията, които системата може да извършва.
Не всяко използване на AI извън централизирано управлявана платформа води до инцидент. Проблемът е, че без ясна представа за използваните инструменти, споделяните данни и предоставените права организацията трудно може да оцени риска. Решение, което изглежда безобидно на нивото на отделната задача, може да засегне информация или процеси, за които служителят няма пълната картина.
Най-непосредственият риск е разкриването на информация. Данни могат да бъдат въведени в заявка, прикачени като файл или предоставени чрез интеграция с корпоративно хранилище. Дали това е допустимо зависи от чувствителността им, условията на доставчика, настройките за съхранение и контрола върху достъпа. Не всяко използване на публична AI услуга е инцидент. Но не бива и да се приема автоматично за безопасно.
Има и други проблеми. Един AI отговор може да изглежда убедителен и въпреки това да съдържа грешка, измислен източник или неподходяща техническа препоръка. Това има значение при подготовката на код, правни документи и управленски решения. При AI агентите залогът е още по-висок: когато системата има достъп до поща, файлове или бизнес приложения, тя може не само да обработва информация, но и да извършва действия.
През пролетта на 2023 г. медии съобщиха за случаи, при които служители на Samsung са въвели чувствителен изходен код и работна информация в ChatGPT. Впоследствие компанията ограничи използването на генеративни AI инструменти на служебни устройства. Това е пряк пример за риска, който Shadow AI създава: служебна информация е предоставена на външна услуга в опит да се реши ежедневна задача. Публичните съобщения не дават основание да се твърди, че тази информация е била допълнително разпространена или използвана неправомерно.
За сравнение, друг случай показва риск, свързан с AI инфраструктурата, но не и пряко със Shadow AI. През 2023 г. изследователи на Wiz установиха, че публикуван в GitHub адрес с прекомерно разрешителен Azure Shared Access Signature (SAS) токен е позволявал достъп до приблизително 38 TB вътрешни данни, свързани с Microsoft AI изследвания. Microsoft потвърди експозицията и посочи, че клиентски данни не са засегнати. Това не е случай на Shadow AI в тесния смисъл. Той обаче напомня колко сериозни могат да бъдат последиците от неправилно управлявани права за достъп в AI проекти и инфраструктура.
Prompt injection възниква, когато злонамерени инструкции бъдат поставени в съдържание, което AI системата трябва да прочете – уебстраница, документ, имейл или резултат от външен инструмент. Ако системата приеме това съдържание за инструкция, вместо да го третира като непроверени данни, поведението й може да бъде отклонено. Представете си AI асистент, който има достъп до корпоративна поща и обработва съобщение със скрита инструкция да изпрати вътрешна информация на външен адрес. Това е примерен сценарий, а не описание на конкретен инцидент. Рискът е особено съществен при агенти, които могат не само да генерират текст, но и да предприемат действия.
При AI агентите въпросът за правата на достъп е решаващ. Ако един агент трябва да подготви проект на писмо, няма основание по подразбиране да може и да го изпрати. Минималните привилегии, ограниченията на достъпните инструменти и човешкото одобрение на чувствителни действия са конкретни мерки, а не формални изисквания.
Традиционните средства за защита не стават излишни заради Shadow AI. Защитните стени, EDR и SIEM продължават да изпълняват важни функции. Но връзката към AI услуга често преминава през обичаен HTTPS трафик и може да изглежда напълно легитимна. Дори когато мрежовите журнали показват коя услуга е използвана, от тях невинаги може да се установи каква информация е изпратена. Същевременно AI функции могат да бъдат вградени в приложения, които организацията вече е разрешила.
Откриването на връзка към AI услуга не означава, че знаем какво е изпратено към нея. Ето защо една-единствена технология трудно ще даде пълна картина. Полезно е да се съпоставят DNS и proxy журнали, данни за SaaS приложения, endpoint DLP събития и информация от одобрените AI платформи. Не по-малко важен е разговорът със служителите: какви задачи решават с тези инструменти и защо съществуващите корпоративни решения не са им достатъчни?
Забраната понякога е необходима, особено когато става дума за чувствителни данни или високорискови процеси. Но като единствен подход тя има очевидно ограничение: не премахва причината, поради която служителите търсят AI помощ. Ако липсва удобна и одобрена алтернатива, част от употребата може просто да стане по-трудна за откриване.
Един от проблемите, които виждам в подхода към Shadow AI, е прекаленото съсредоточаване върху списъците със забранени приложения. Днес може да бъде блокирана конкретна услуга, а утре подобна функционалност да се появи в софтуер, който организацията вече използва. По-важно е да се разбере за какви задачи служителите използват AI, каква информация предоставят и какви разрешения получават свързаните инструменти. На тази основа могат да се определят реалистични ограничения, одобрени алтернативи и механизми за контрол. Забраната има своето място, но не може да замести управлението на риска.
Правилата имат стойност само ако хората могат да ги прилагат. Служителят трябва да знае не просто какво не бива да въвежда в AI инструмент, а как да изпълни същата задача по безопасен начин. Това изисква участие не само на екипа по сигурност, но и на ръководството, правните експерти, отговорните за личните данни и звената, които използват технологията ежедневно.
Shadow AI няма да изчезне след приемането на вътрешна политика или блокирането на няколко домейна. AI възможности вече се добавят към продукти, които организациите използват от години. Затова контролът трябва да обхваща и новите функции, интеграции и разрешения в иначе познати приложения.
Преди да избере технология или да приеме нова забрана, организацията трябва да може да отговори на три въпроса: кои AI инструменти се използват на практика, до какви данни имат достъп и какви действия могат да извършват? Отговорите не идват само от техническите журнали. Необходими са разговори с хората, които използват тези инструменти, ясни правила и периодична оценка на риска на новите функции. Целта не е AI да бъде изтласкан извън работния процес, а полезните му приложения да бъдат използвани при приемлив и разбираем риск.
Мариета Филипова е магистър по киберсигурност с над 10-годишен професионален опит в областта на мрежите и киберсигурността. Притежава международно признати сертификати, в това число и Certified Ethical Hacker (CEH). Професионалните ѝ интереси включват управлението на киберрискове, сигурността на изкуствения интелект и предизвикателствата, които новите технологии поставят пред организациите (снимка: личен архив).
Cybersecurity Dive (6 април 2023). Samsung employees leaked corporate data in ChatGPT: report. https://www.cybersecuritydive.com/news/Samsung-Electronics-ChatGPT-leak-data-privacy/647219/
Wiz Research (18 септември 2023). 38 Terabytes of Private Data Accidentally Exposed by Microsoft AI Researchers. https://www.wiz.io/blog/38-terabytes-of-private-data-accidentally-exposed-by-microsoft-ai-researchers
Microsoft Security Response Center (18 септември 2023). Microsoft mitigated exposure of internal information in a storage account due to overly-permissive SAS token. https://www.microsoft.com/en-us/msrc/blog/2023/09/microsoft-mitigated-exposure-of-internal-information-in-a-storage-account-due-to-overly-permissive-sas-token/
NIST (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). https://www.nist.gov/itl/ai-risk-management-framework
OWASP (2025). OWASP Top 10 for Large Language Model Applications 2025. https://genai.owasp.org/llm-top-10/
