Журнал "Information Security/ Информационная безопасность" #2, 2026

Большинство современных моделей для обработки последовательных данных построены на архитектуре трансформе- ров (например, ChatCPT). Они исполь- зуются в системах анализа текста, сете- вого трафика, телеметрии и транзакций. Их задача – находить зависимости между событиями внутри некой после- довательности. Для этого применяются механизмы внимания: модель опреде- ляет, какие элементы данных сильнее связаны друг с другом и какие важнее для итогового решения. Проблема в том, что трансформеры изначально предполагают, что входные данные в целом корректны. Если в обучаю- щую выборку постепенно подмешиваются искаженные примеры, модель начинает воспринимать их как часть нормального поведения и перестраивать свои зависи- мости под них. Причем внешне все может выглядеть нормально, а модель посте- пенно меняет представление о том, что считать допустимым. Для задач ИБ это особенно неприятно, потому что атаки с отравлением обычно развиваются как длинная цепочка собы- тий. А работа с длинным контекстом – одно из ограничений трансформеров: чем длиннее последовательность, тем выше вычислительные затраты. Поэтому на практике контекст часто сокращают, и из-за этого модель забывает или про- пускает начало атаки, теряет связь между событиями и в итоге не может распознать угрозу. State Space-модели Одной из альтернатив трансформерам стали State Space Models (SSM) – модели, которые работают с последовательно- стями через внутреннее состояние. Если механизм внимания постоянно сопостав- ляет элементы последовательности друг с другом, то SSM устроены иначе: модель последовательно обновляет свое состоя- ние по мере поступления новых данных. Упрощенно это можно представить как непрерывное накопление контекста. Модель не смотрит всю последователь- ность заново, а хранит внутри себя сжатое представление о предыдущих событиях и обновляет его на каждом шаге. Такой подход дает два важных эффек- та. Первый – в отличие от трансформе- ров, вычислительные затраты растут пропорционально длине последователь- ности, а не квадратично. Второй эффект – более естественная работа с временными зависимостями. Для задач ИБ это важно, потому что многие атаки проявляются именно как цепочка событий, растянутая во времени, а не как отдельная аномалия. Но у классических SSM есть ограниче- ние. После обучения правила обновле- ния состояния становятся фиксирован- ными. Модель одинаково обрабатывает любые входные данные – независимо от того, являются ли они полезным сиг- налом, шумом или попыткой повлиять на обучение. И если в поток попадают отравленные данные, они начинают влиять на внутрен- нее состояние модели так же, как и леги- тимные. Просто в отличие от трансфор- меров это происходит не через внимание, а через механизм накопления состояния. Появление Selective SSM Следующим этапом развития State Space-моделей стали Selective SSM – архитектуры, в которых модель обновляет внутреннее состояние избирательно. В классических SSM любой новый элемент последовательности влияет на состояние по фиксированным правилам. В Selective SSM модель сначала оцени- вает входные данные и только потом решает, насколько сильно они должны влиять на дальнейшую обработку. За счет этого модель перестает восприни- мать весь поток как одинаково полезный: одни сигналы усиливаются, другие ослабляются или игнорируются. Причем речь идет не о внешней фильтрации, а о том, как сама архитектура управляет переносом информации внутри модели. То есть появляется возможность сни- жать влияние шумовых или искаженных данных еще до того, как они встроятся во внутренние зависимости модели. При этом сохраняются преимущества SSM – линейная сложность и работа с длинны- ми последовательностями без резкого роста вычислительных затрат. Одной из первых практических реа- лизаций Selective SSM стала архитектура Mamba. Ее задача – сохранить преиму- щества State Space-моделей при работе с длинными последовательностями, но сделать обработку состояния более гиб- кой и управляемой. При этом сама по себе Mamba не решает проблему отравления. Она соз- дает архитектурную основу, в которой уже можно управлять тем, как входные данные влияют на состояние модели и итоговые зависимости. Архитектура MambaShield Пытаясь найти решение этой пробле- мы, команда исследователей из Нацио- нального исследовательского ядерного университета МИФИ (Москва) разрабо- тала архитектуру под названием Mam- baShield. В архитектуре MambaShield устойчивость к отравлению закладыва- ется уже на уровне самой модели, а не через внешнюю фильтрацию или допол- нительные проверки. Ключевая идея – не искать вредонос- ные данные отдельно, а снижать их влияние на внутреннее состояние моде- ли. Если искаженные паттерны попадают в поток, модель должна минимально учитывать их при формировании зави- симостей. Для этого MambaShield использует более агрессивную селек- тивную обработку данных. Модель оце- нивает, насколько новые данные соот- ветствуют устойчивому контексту, и может ослаблять влияние краткосрочных возмущений или аномальных фрагмен- тов последовательности. 58 • СПЕЦПРОЕКТ Архитектура нейросети, устойчивая к постепенному отравлению бычно корректность ML-модели оценивают по метрикам на тестовых данных: если точность высокая, значит все работает как надо. Проблема в том, что эту корректность можно неза- метно разрушить через сами данные. В выборку добавляются специально искаженные, но правдоподобные примеры, и модель начинает усваивать неправильные закономерности. Такой сценарий называют Temporally Orchestrated Poisoning – постепенное отравление данных. О Александр Трофимов, доцент кафедры кибернетики НИЯУ МИФИ, к.т.н. Фото: МИФИ