Како измерити ризик бољим ОКР-ом.

Постао сам велики обожавалац Циљ и кључни резултат (ОКР) у компанијама које их схватају озбиљно. Описаћу методу која ће бити у складу са ОКР и мерећи смањење (или повећање) изабраног ризика. Ово ће информисати о одлуци тима да смањи или повећа инжењерске напоре како би ублажио тај ризик који иде даље.

Ова метода је слична начину на који метеоролог прогнозира време.

За дубоке зароне у ОКР-ове, можете то прочитати, погледати или прочитати.

ОКР су једноставан начин за изражавање мотивацијског циља и обавезу на кратку листу мерљивих исхода који гурају групу ка том циљу. Понекад прелазе из извршног менаџмента на све запослене. ОКР су уобичајена пракса технолошких компанија и многих безбедносних тимова са којима радим.

Узмимо, на пример:

Циљ: Побољшати аутентификацију преносних преносних рачунара у производњу.

Овај циљ није лош, али су пропуштене многе могућности мерења ризика.

Смањићемо ретки, утицајни ризик квантифицирајућом методом.

Ову врсту ризика обично је тешко измерити.

Историјски подаци (никада се нису догодили) слабо говоре о нашој будућности (да ли се може догодити?).

Помоћу метода предвиђања и процене можемо измерити колико би се вероватно могао догодити будући сценарио, чак и ако нам недостају историјски подаци за тај сценарио у прошлости. Ми користимо „несигурност“ групе као посредника за ризик и мерићемо је. Ми ћемо управљати когнитивним пристраностима повезаним са прогнозама.

ЦИЉ: Напишите циљ са „сценаријем ризика“.

Ваш циљ је да смањите ризик који се изражава у сценарију.

Испод је горе наведени циљ који је написан ради смањења ризика. Пише са мало простора за побољшање:

Циљ: Побољшати аутентификацију преносних преносних рачунара у производњу.

То није нужно лош циљ, мада се може побољшати преписивањем као сценаријем.

Циљ: Смањити ризик „Противник је приступио производњи са лаптопа за развојне програмере у К3.“

Изгледају слично, зар не?

  • Главна разлика је у томе што је сценарио вероватан. Против вероватноће се могу предвидјети вероватне фразе. Прогнозирање је добро истражено, уобичајено се разуме (нпр. Време), квантитативно и мери вашу несигурност.

Несигурност је та ствар у вашем мозгу која вас тера да слегнете раменима према одређеним опцијама или осетите снажно због једне од њих. Како се испоставило, неизвесност групе може се измерити на директан начин. Направићемо неизвесност стручњака као посредника за наш циљ мерења.

  • Мања разлика је што сценариј награђује креативност инжењера.

На примјер, да ли смањење количине програмера који захтијевају производне вјеродајнице побољшава провјеру аутентичности? Не, то досеже мало. Али то би смањило ризик, а кључни резултат је компатибилнији са модификованим циљем. То је био бољи циљ, тако да ће можда наши кључни резултати бити бољи као резултат.

Циљ „сценарија ризика“ не прописује решење. Једноставно поставља чисту прогнозу. Сценариј може учинити бољи посао дефинишући ризик као будући догађај који треба избегавати.

Добар предвидив сценариј укључује промишљени спој претње, вектора, имовине или утицаја. Можете креативно да одлучите о одређеном обиму или ризику додавањем сужавајућих или проширивих специфичности. Прогноза мора одлучивати о конкретном временском оквиру.

КЉУЧНИ РЕЗУЛТАТИ: Изаберите мејнике или метрике и обавезујте се на прогнозу.

Прво, једноставне ствари. Кључни резултати морају бити мерљиви. У раним данима Гооглеа, Мариса Меиер је рекла:

„То није кључни резултат ако нема број.“

Један једноставан облик мерења су бинарна достигнућа: 1 за готово, 0 ако није учињено. На пример: „Додали смо КСИЗ пословну апликацију нашој платформи Сингле Сигн Он“. Ако сте то урадили, добићете "1"!

Друго је одабрати квантитативне метрике попут „исправити Кс грешке“ или „смањити Кс инциденте“ или „запослити Н инжењере“. Они су неопходни, заједнички и представљају циљеве пројекта и оперативне метрике. На ово сте вероватно навикли. И они могу да дају лепе кључне резултате.

Међутим, они заиста не мере смањење ризика повезаног са нашим сценаријем. Уместо тога, они су заостали показатељ обављеног посла. Овај рад је створио вредност у ублажавању ризика, али још увек нисте мерили смањење ризика. Једноставно претпостављате да се ризик смањује, због ваших напора.

Али колико? Шта ако се заиста повећа?

Поређење сигурносне метрике и мерења сигурности

Традиционалне сигурносне метрике врло су корисне због своје информативне вриједности. Они обавештавају нашу несигурност у вези са ризиком, али не представљају вероватну природу ризика и често не изражавају огромне несигурности које можемо имати о одређеном сценарију.

На примјер, вјерујем да повијесно бројање рањивости или учесталост регресије не представља директно ризик, али свакако помаже информирању моје несигурности у вези с тим да ли ће се појавити придружени сценариј или не као резултат тих података.

То је зато што је вредност коју доделимо појединој метрики у сталном току.

Било која одређена метрика може бити моја најинформативнија тачка података ... све док је нешто не замијени. Моја пресуда оборила би некадашње податке одмах након што бих чула нове информације које вриште „ох срање“ насупрот старим подацима или било који крхки модел који смо покушали да створимо по том питању.

Сада идемо на "тешки део". Направимо ово ОКР.

Ово је заправо веома једноставно кад се спустите.

Пример ОКР који је предвиђен за мерење:

Као што је већ поменуто, ми ћемо изградити овај ОКР тако да је компатибилан за мерење ризика са техникама предвиђања и процене.

Ево примера ОКР за мали безбедносни тим АВС:

Објективан:

Смањите вероватноћу да је производни АВС акредитив био изложен јавности у К3.

Кључни резултати:

  1. Радови који спомињу АВС_СЕЦРЕТ_КЕИ приказују се у #сецурити слацку.
  2. Цевовод за повратне фотографије биће премештен у АВС улогу.
  3. Комплетан цевовод за узбуњивање мајмуна у циљу детекције на дежурству.
  4. Довршите пре и после прогнозе и ЦлоудТраил лов.

Први кључни резултати (1–3) не захтевају дискусију. То су само покренути инжењерски радови и можете одабрати шта год желите. Последњи кључни резултат (# 4) је оно на шта ћемо се фокусирати да идемо напред.

За мерење овог сценарија ризика користићемо плочу са прогнозама. То ће ојачати нашу способност да на вероватни начин измеримо основни сценариј ризика ОКР-а.

1. Пре него што започнете са радом: „Основна“ прогноза.

Претпоставимо да је ово ОКР за трећи квартал године. Почетком јуна, неколико разноликих и обучених појединаца упознатих са ОКР-ом прогнозираће вероватноћу да ће се сценарио десити у вероватном смислу (проценат веровања).

Наши учесници су мајмун (), једнорог (), крава () и пингвин (). Укратко их калибрирамо да размишљају у вероватноће (интернетска обука). Имају приступ било којој метрици, моделу, обдукцији, ревизији консултаната или инфраструктурним дијаграмима који су на располагању. Све је корисно и обавештава њихову прогнозу.

Горња прогноза има 78-постотну сигурност да ЦлоудТраил лов неће открити ниједан инцидент. Постоји 14% сигурност да би инцидент могао бити откривен и 6% сигурност да ћемо бити у великим проблемима.

Сада, узмите у обзир да би одговор од 33% са панела за сваку категорију указао на потпуну несигурност, као да немају буквално никакве информације или мишљење. Сценариј је могао бити написан, на пример, на неком другом језику. То овде није случај, учесници не верују да је свака опција једнака другој. Сматрају да је велика вероватноћа да се инцидент не догоди, с обзиром на њихово знање о окружењу и могуће претње.

Дакле, овај панел изражава мишљење с вероватноћом да у том временском оквиру највјероватније неће бити инцидента. Али, инцидент који се открива није у потпуности изостао. То се дешава код многих других компанија. Морају вјеровати да постоји мала вјероватноћа да би се то могло догодити.

У ствари, панелиста (Мајмун ) изгледа сигурнија да ће се нешто наћи.

У реду је да мајмун има различито мишљење од групе. О томе ћемо расправљати касније - нема потребе да се панел сложио!

2. Сада радите свој посао, напредујте као и обично.

Средина тромјесечја фокусирана је на испуњавање циљева као и обично. Само ради.

Како су нам постављени циљеви, тим гради упозорење, поново поставља апликацију за коришћење АВС улога и распоређује Сецурити Монкеи. Надам се да им добро иде и да их је све завршио!

Ова метода нема утицаја на свакодневни посао који обављате. Једноставно води рад према мерљивом исходу. Нападните ризик колико год обично би.

3. ЕОК. Напредовали смо! Сада упоредимо са основном линијом.

Посветили смо се да ћемо радити две ствари на крају тромесечја.

Прво улажемо напоре у лов на ЦлоудТраил записнике са помном контролом и видимо да ли можемо да избацимо било који П0 инцидент из наших истражних напора.

Друго, панел поново мери, осим наше несигурности за наредни квартал (К4).

Наш панел је наоружан новим сазнањима. Напредак овог квартала и резултат претраживања ЦлоудТраила увелико су променили наша мишљења о овом сценарију.

Претпоставимо да је тим успео у својим другим кључним резултатима и процена повреде се вратила чиста.

Опет прогнозирамо. Ево резултата.

Сада можемо да посматрамо колику је сигурност плоча стекла или изгубила на основу њихових напора. У овом примјеру, наша вјеровања су се још боље кретала према сигурности (далеко од 33%). Да ли је наш рад утицао на сигурност нашег панела? Овај панел тако верује.

У овом случају смо побољшали нашу сигурност око овог ризика. Имамо квантитативно побољшање од 5% у правом смеру.

4. Донесите одлуку руководства вођену подацима.

Сада сте наоружани за ефикасно доношење одлука.

Чини се да ово предвиђа кршење у једном од сваких десет тромесечја.

  • Је ли то довољно добро?
  • Желимо ли то додатно побољшати или ангажујемо друге ризике?
  • Који је наш прихватљиви праг?
  • Колики труд и ресурси су нам потребни да бисмо га надмашили?

Зашто овај приступ?

Људи су створени да обрађују различите изворе информација и брзо апсорбују нове информације за доношење одлука.

Кроз тромесечје ћемо несумњиво добити информације које мењају ниво наше сигурности у вези са ризицима које смо изабрали.

Ове информације долазе из многих места: сам практични рад, трендови у индустрији, кршења правила, можда извештаји о угрожености у другим областима инфраструктуре, наша сопствена истраживања о експлоатацији, твитови о откривању бомбе, итд.

Међутим, наше поверење у ове изворе информација је динамично. Не можемо зависити од појединачних, статичких метрика које ће представљати наш ризик, јер се вредност њихове одлуке брзо мења. Могли бисмо искористити нашу сопствену сигурност као прокси за ове ризике, за које се зна да су мерљиви, добро истражени, с повећањем смерница за побољшање метода предвиђања као инструмента за мерење.

У ствари, експертиза је важан фактор вероватних процена ризика у другим индустријама, као што су нуклеарна, ваздухопловна и животна средина.

Није ново, само ново за нас.

Изолирајући против ризика пристраности.

Прогнозирање је опасно када се њему не приступа строго. Когнитивна пристраност је добро истражена и те налазе је потребно често понављати. Постоје различита ублажавања због ризика лошег предвиђања.

Истраживање брани да се предвиђање може побољшати када:

  1. Панелисти су обучени да вјероватно мисле и о пристрасности.
  2. Панелисти су удружени ради комбиновања и ублажавања утицаја пристрасности. Разноликост у перспективи је кључна!
  3. Панелисти се више пута суочавају са исходом својих предвиђања (Калибрација). (Онлине обука, Добра пресуда отворена, Калибрација самопоуздања)
  4. Подстиче се панелисте да сценариј разграде у још детаљније делове и пруже им се транспарентан приступ доступним подацима који су им потребни да би их разумели.
  5. Чврсто разумевање правог "Црног лабуда". Обмањују прогнозе.
  6. Не покушавајте да предвидите и ублажите сваки ризик, будите спремни на неизбежни неуспех.
  7. Одвојите промоцију и плаће од резултата ОКР и предвиђања како бисте избјегли врећу с пијеском, што је већ проблем у управљању радним учинком.

Једноставно тражење панелиста од кандидата за „брзо размисли!“ Сигурно ће ти дати лоше резултате. Строг приступ има веће трошкове мерења (састанака), али је далеко лакши од метода са ружним прорачунским таблицама ризика.

Али ... ја увек "претпостављам прекршај", па то не функционише!

Потпуно је тачно претпоставити да сте прекршили. Дао бих свакој организацији веома високу вероватноћу (99%) да негде, било која озбиљност, има неку врсту противничке активности у систему који поседују. То за мене значи „претпоставити кршење“.

Међутим, вероватно је незгодно веровати да сваки противник у било ком тренутку компромитује сваку компоненту сваког система. Рационални људи, чак и ФУД-овци, не иду тако дубоко у крај.

Дубоко песимистичан ум који је рационалан и даље оставља простор сумњи, мање-више од осталих. Ако верујете да ће напори појединаца побољшати ризике, тада можете да измерите то смањење несигурности у вероватноћи. Песимиста сигурно не верује, на пример, да им посао погоршава ствари.

Укратко, чак се и песимистичка основа може побољшати, а имати неколико песимиста у панелу заправо је врло, врло добра ствар.

Будућност процене и прогнозирања ризика

Током многих четвртина, вероватно ћемо још више подупријети вјеројатну методу. Можемо увести црвене тимове, резултате бријања и узорковање у индустрији који ће нам управљати прогнозама. Можемо се сложити око вредности података и гледати је како варира. Можемо „Цхатхам Хоусе“ или анонимно прогнозирати да бисмо поделили са вршњачким тимовима за обезбеђење.

Резултате прогнозе можемо хранити симулацијама Монте Царла, омогућавајући нам да извучемо поуке и експертизу из НАСА-е, нуклеарног лиценцирања и других области које су далеко од кибернетичке сигурности у разумевању екстремних ризика.

Постоје бројне могућности за организације да усвоје праксу предвиђања ризика. Неизмерна енергија није неопходна за добре резултате. Покретање мале, као што је ОКР засновано на ризику, може демонстрирано смањити ризик за вашу организацију и ставити вашу организацију на пут ка квантитативном ризику.

Закључак

ОКР су уобичајени начин вођења инжењерског тима. Стварање ОКР-ова компатибилних са техникама процене и предвиђања може нам омогућити да боље измеримо напредак у смањењу ризика.

Ове методе не ометају „како“ тим ради свој посао, они једноставно мере „колико“ се може променити као резултат. Ако тренутно немате методу за мерење ризика, онда би било који квантитативни метод требао да делује боље од онога што имате. Ова стратегија има минималан утицај на инжењерску праксу, истовремено прилагођавајући тим мерљивој стопи смањења ризика.

Додатна литература

Прогноза ризика: презентација на високом нивоу о овој методи.

Једноставна анализа ризика: дубоко роњење на прогнозирање ризика.

Убијање мало пилића: истраживање ограничења и могућности предвиђања ризика.

Декомпозиција сигурносног ризика у сценарије: Разбијање ризика у хијерархију сценарија, из широког у детаљније сценарије.

Размишљање брзо и споро: Нобелова наградна истраживања људских грешака спознаје, углавном у облику пристрасности.

Суперфорецаст: Истраживање начина на који се грешке спознаје могу ублажити и наоружати у ефикасне екипе за прогнозирање.

Како измерити било шта у ризику од цибер-безбедности: сјајан извор у одбрани прогнозирања као методе мерења. Снажна расправа која промовише улогу мерења у доношењу одлука.

Риан МцГеехан пише о сигурности на Медиум-у.