Блог

Nov 02, 2023

Оценка оповещений в машинном масштабе с участием человека

Защита от цифровых рисков является ключевым компонентом любой организации, заботящейся о безопасности.

Защита от цифровых рисков — ключевой компонент современного набора аналитических данных любой организации, заботящейся о безопасности. Модуль Mandiant Advantage Digital Threat Monitoring (DTM) предоставляет клиентам возможность получать представление об угрозах, которые нацелены на их активы в социальных сетях, глубокой и темной сети, на сайтах вставки и других онлайн-каналах. DTM состоит из усовершенствованных конвейеров обработки естественного языка, которые используют машинное обучение для отображения высокоточных предупреждений на основе обнаружения значимых объектов и тем, связанных с безопасностью. Но даже после того, как обширная воронка коллекций Mandiant отсеялась от миллионов документов, обрабатываемых в день, до лишь небольшого подмножества наиболее релевантных предупреждений, клиенты все равно могут потратить драгоценное время, решая, какие полученные оповещения являются наиболее актуальными.

Основные моменты

Опыт ведущих исследователей угроз, обратного проектирования, аналитиков разведки и специалистов по реагированию на инциденты компании Mandiant не имеет себе равных: с 2004 года они защищали организации всех размеров на передовой линии киберконфликтов. Эксперты-аналитики понимают семантическую сложность предупреждений, выявляют абстрактные концепции, которые невозможно наблюдать напрямую. в данных и быстро определить, следует ли расследовать предупреждение в течение следующего дня или в течение следующего часа. Но поскольку человеческий анализ не масштабируется до объемов данных DTM, мы разработали новую функцию оценки предупреждений для DTM, которая сочетает в себе преимущества практического взаимодействия аналитиков с дополнительным уровнем автоматизации, основанным на машинном обучении.

Одна оценка не может рассказать всю историю об угрозе, и каждый клиент имеет уникальные предпочтения и требования, когда дело доходит до определения приоритетов оповещений. Именно поэтому мы разработали систему оценки Mandiant, представленную на конференции mWISE в этом году, чтобы тщательно связать компетенции человека и машины. Это позволяет нам масштабировать опыт Mandiant до миллионов оповещений DTM в день, стандартизировать процесс для всех клиентов, высвободить время аналитиков для других задач и со временем адаптироваться к новым источникам.

Была запущена оценка оповещений DTM, и сегодня она, как правило, доступна для клиентов; в настоящее время он регулируется двумя компонентами: уверенность и серьезность.

Показатель уверенности оповещения DTM отражает уверенность в качестве вредоносного содержимого оповещения с учетом существующих доказательств. Доверие к оповещениям DTM моделируется с использованием формы полуконтролируемого обучения, называемой слабым надзором, которая точно отражает то, как аналитик может задавать вопросы, чтобы собрать и взвесить соответствующую информацию о предупреждениях, прежде чем выносить окончательное суждение (рис. 1).

Мы заметили, что аналитики, оценивающие предупреждения, не просто берут ответ на один вопрос, чтобы определить общую вредоносность каждого из них. Вместо этого они используют ответы, собранные из набора уточняющих вопросов, каждый из которых имеет свои собственные ожидания и долю уверенности, чтобы прийти к выводу. Мы можем программно моделировать каждый вопрос как функцию маркировки, а каждый ответ — как связанный с ним результат для данного предупреждения. Аналитики могут иметь дополнительные предварительные знания о том, насколько влиятельным может быть ответ на один из их вопросов при определении влияния вердикта об общей достоверности, и мы можем смоделировать это ожидание, используя априорную вероятность.

Используя комбинацию этих первоначальных априорных значений вместе со статистикой, полученной в результате выполнения нашего набора функций маркировки на миллионах накопленных предупреждений, мы можем обучить модель со слабым контролем, которая корректирует свои веса в соответствии с (1) тем, как часто функции маркировки возвращают вредоносный или безвредный результат. и (2) как часто они соглашаются или не соглашаются друг с другом. Изученную модель затем можно использовать для возврата взвешенного голоса или масштабированного значения от 0 до 100 для каждого вновь созданного оповещения DTM. Показатель уверенности можно определить пороговое значение и откалибровать с использованием следующих критериев: менее 40 указывает на доброкачественный характер, от 40 до 60 — на неопределенный, от 60 до 80 — на подозрительный, а более 80 — на вредоносный.