Kaspersky mütəxəssisləri neyroşəbəkələrin nə üçün və necə manipulyasiya edildiyini araşdırıb
Kaspersky mütəxəssisləri insanların indirect prompt injection (dolayı sürətli inyeksiyanı) necə və niyə istifadə etdiyini öyrənmək üçün açıq məlumatları və daxili mənbələri araşdırıblar. Bir çox böyük dil modellərinə (LLM) əsaslanan sistemlər bu kiberriskə məruz qalır. Söhbət çatbotların yerinə yetirməli olduğu tapşırıqların mətn təsvirlərindən gedir. Dolayı inyeksiya halında istifadəçilər hətta neyron şəbəkənin başqasının göstərişlərini yerinə yetirdiyindən şübhələnməyə bilər.
Bu necə işləyir. Böyük dil modellərinə əsaslanan bir çox həllər – məşhur çatbotların əsasını təşkil edən alqoritmlər belə işləyir: bir şəxs çatbota sual verir, o da öz növbəsində axtarış sisteminə və ya əlçatan sənəd bazasına sorğu göndərir, gələn məlumatları oxuyur, müəyyən səhifələri seçir, təhlil edir və cavab yaradır. Bəzi axtarış mühərrikləri də dil modellərindən istifadə edərək nəticələri xülasələşdirir. Bununla belə, insanlar öz saytlarında və onlayn yayımlanan sənədlərdə xüsusi ifadələr — inyeksiyalar – yerləşdirə bilərlər ki, neyron şəbəkələri digər istifadəçilərə maraqlı tərəflərin məqsədlərini nəzərə alan cavab verə bilsin. Kaspersky bu metodun artıq istifadə olunduğu sahələrə dair nümunələr təqdim edib.
Personalın işə götürülməsi. Bəzi şirkətlərdə rezyumelərin yoxlanılması neyron şəbəkələrdən istifadə ilə avtomatlaşdırılır. Bunu bilən iş axtaranlar böyük dilli modellərin diqqətini öz rezyumelərinə cəlb etmək üçün dolayı inyeksiyadan istifadə edirlər. Lakin təlimatları işə götürənlər və digər insanların deyil, yalnız botların oxuya bildiyi şəkildə əlavə edirlər. Belə ki, onlar lazımi detalları və çatbotlara müraciətləri kiçik şriftlə göstərir, mətnin fonunu rəngləndirir və mənfi koordinatlardan istifadə edərək onu pəncərədən kənara köçürürlər. Bir qayda olaraq, iş axtaranların inyeksiyaları neyron şəbəkələr üçün iki təlimatla səciyyələnir: namizəd haqqında mümkün qədər müsbət məlumat vermək və ya CV-ni növbəti mərhələyə keçirmək və onun haqqında daha yüksək fikir yaratmaq.
Frilanser axtarışı. İş axtaranlarla yanaşı, frilans işləyənləri axtaran saytlarda reklam müəllifləri də dolayı inyeksiyalardan istifadə edirlər. Bu resursların bəzilərində neyron şəbəkələrə əsaslananlar da daxil olmaqla çoxlu sayda bot var. Onlar sifarişləri birinci əldə etməyə çalışırlar ki, bu da düzgün podratçı tapmağı çətinləşdirir. Buna görə də, süni intellektlə çalışan köməkçilərə iş təklifinə hansısa gülməli üslubda (məsələn, pirat obrazında) cavab verməsi xahiş olunur ki, həmsöhbətin real insan deyil, bot olduğu dərhal aydın olsun.
Reklam inyeksiyaları. Bu inyeksiyalar axtarış çatbotlarına yönəlib ki, reklam istifadəçiləri suallarına cavab olaraq konkret məhsul haqqında daha müsbət rəy alsınlar. Bu inyeksiyalar struktur baxımından rezyumelərdə olanlara bənzəyir və müxtəlif məhsul və xidmətlər üçün vebsaytlarda tapılır. Məsələn, Kaspersky mütəxəssisləri tapşırıqların idarə olunması və məlumatların emalı kanallarının qurulması üçün məşhur həlli təsvir edən səhifənin mənbə kodunda oxşar mətn aşkar edib.
İnyeksiya etiraz kimi. İstifadəçilər etirazlarını bildirmək üçün şəxsi səhifələrində və sosial media profillərində çatbotlara müxtəlif təlimatlar əlavə edirlər. Məsələn, bir braziliyalı rəssam neyron şəbəkələrdən onun saytında müəyyən məzmunu oxumamağı, istifadə etməməyi, saxlamamağı, emal etməməyi, uyğunlaşdırmamağı və ya təkrarlamamağı xahiş etdi. Bu cür tələblər, güman ki, digər şeylərlə yanaşı, potensial müəllif hüquqlarının pozulması, incəsənət xadimlərinin qazancından məhrum edilməsi və ikinci dərəcəli məzmunla internetin “zibillənməsi” ilə əlaqədar generativ süni intellektin geniş tətbiqinin nəticələrinə reaksiya kimi meydana çıxmağa başlayıb.
Kibertəhdilərin təhlili. Müxtəlif tədqiqatçılar, dolayı sürətli inyeksiyaların kompüterdə təkbaşına hərəkətlər edə bilən və e-poçtdan məlumatların oğurlayan hədəfli fişinqdə LLM əsaslı sistemə qarşı hücumlarında necə istifadə oluna biləcəyini öyrənmək üçün laboratoriya təcrübələr aparıblar. Qeyd etmək yerinə düşər ki, hazırda bu kibertəhdidlər böyük dil modellərinə əsaslanan mövcud həllərin imkanlarının məhdud olması səbəbindən əksər hallarda nəzəri xarakter daşıyır.
“Dolaylı inyeksiyaların istifadəsini aşkar etdiyimiz əksər hallarda insanların heç bir pis niyyəti olmayıb. Bununla belə kibertəcavüzkarlar neyron şəbəkələrə də fəal maraq göstərirlər. Böyük dil modellərinə əsaslanan mövcud və gələcək həlləri qorumaq üçün riskləri qiymətləndirmək və məhdudiyyətlərdən yan keçmək üçün bütün mümkün üsulları öyrənmək lazımdır”, – deyə Kaspersky-nin maşın öyrənməsi texnologiyaları üzrə tədqiqat və inkişaf qrupunun rəhbəri Vladislav Tuşkanov bildirir.
Onun sözlərinə görə, inyeksiyalardan tam qorunmaq mümkün deyil: “Etibarsız mənbədən daxil olan mətnin emalının və əl ilə məlumat təhlilinin və ya kompüterdə müstəqil şəkildə hərəkətlər edə bilən LLM əsaslı sistemlərin imkanlarını məhdudlaşdırılmasının hansı təhlükələrə səbəb ola biləcəyini, həmçinin bu cür sistemlərin olduğu cihazlarda hərtərəfli təhlükəsizlik həllərindən istifadənin təsirini başa düşmək vacibdir”.
Ətraflı məlumat: securelist.ru/indirect-prompt-injection-in-the-wild/110105/.
2024-cü ilin yayında Kaspersky özünün “Kaspersky Automated Security Awareness Platform platformasında süni intellekt və neyron şəbəkələri ilə təhlükəsiz iş üzrə təlim kursuna başlayıb. Təlim vasitəsilə təşkilatların əməkdaşları süni intellekt (AI) ilə bağlı kibertəhlükələrə qarşı necə mübarizə aparmağı öyrənə biləcəklər