HomeEventsPhD Defence Jan-Willem Bullee

PhD Defence Jan-Willem Bullee

Experimental social engineering: Investigation and prevention 

Social engineering is the usage of social manipulation and psychological tricks to make the targets assist offenders in their attack.  This practice manifests itself in e.g. phishing emails or cold call telephone scams.  The aim of the thesis was to investigate the understanding of social engineering attacks in an organisational setting.  In particular, the effectiveness both of the threat and the countermeasures were investigated.  Three kinds of social engineering experiments were performed, each using a different modality (i.e. F2F, email and telephone).  In each experiment, the targets (i.e. participants) were persuaded to perform actions that contribute to their victimisation.  The subjects (N = 162) in the F2F experiment were visited by an offender in their offices and asked them to hand over their office keys.  The subjects (N = 593) in the email experiment received a phishing email with the request to provide PII.  The subjects (N = 92) in the telephone experiment were persuaded to download and execute software from an untrustworthy website.  A portion of the participants in both the F2F and telephone experiment received an intervention to reduce victimisation.  The result was that 58.62% of those in the F2F experiment complied with the offender, compared to 36.96% who were priorly informed on how to detect and react to social engineering.  In the telephone experiment, 40% complied with the offender, compared to 17.2% who received an intervention.  Furthermore, 19.3% of those who received a generic phishing email complied, compared to 28.9% that received a spear phishing email.  There was no effect of age, sex and using authority on victimisation found, whereas having had an intervention, receiving a spear phishing email and cultural background did have an effect.  It is concluded that awareness raising about dangers, characteristics and countermeasures related to social engineering proved to have a significant positive effect on protecting the target.  The research also shows that awareness-raising campaigns reduce the vulnerability only in the short term.  In phishing emails, the use of a personalised opening sentence increases its success.  The results of these experiments allow practitioners to focus awareness campaigns to maximise their effectiveness.


Social engineering is het inzetten van sociale manipulatie en psychologische trucs om het doelwit te laten assisteren in de aanval.  In het dagelijks leven zijn deze praktijken beter bekend als bijvoorbeeld email phishing of telefoon fraude.  Het doel van dit proefschrift was om inzich te krijgen in social engineering binnen een organisatie.  In het specifiek is er onderzocht hoe groot het gevaar is en hoe sterk de tegenmaatregelen zijn.  Er zijn drie soorten social engineering experimenten uitgevoerd, ieder met een andere modaliteit (F2F, email en telefoon).  In alle experimenten zijn de deelnemers verleid om een actie uit te voeren waardoor zij slachtoffer werden.  De proefpersonen (N = 162) in het F2F-experiment zijn door een aanvaller benaderd die hen vroeg hun kantoorsleutel te overhandigen.  Verder hebben de proefpersonen (N = 593) in het email-experiment hebben een phishing email ontvangen met de vraag om persoonsgegevens af te staan.  Tot besluit zijn er proefpersonen (N = 92) via de telefoon verleid tot het downloaden en uitvoeren van software afkomstig van een niet legitieme website.  Een deel van de proefpersonen in zowel het F2F als het telefoonexperiment hebben vooraf een interventie ontvangen om de kans op slachtofferschap te verminderen.  Het resultaat was dat 58.62% van de proefpersonen in het F2F-experiment de aanvaller gehoorzaamde, tegenover 36.96% die vooraf was geïnformeerd over hoe zij sociale engineering kunnen herkennen.  In het telefoonexperiment, gehoorzaamde 40% de aanvaller, tegenover 17.2% die vooraf geïnformeerd was.  Tot besluit, 19.3% van de proefpersonen die een algemene phishing email ontving gehoorzaamde de aanvaller, tegenover 28.9% die een gepersonaliseerde email kreeg.  Bewustwording van gevaren, kenmerken en tegenmaatregelen gerelateerd aan social engineering bewees een significant effect te hebben op het neutraliseren van de aanvaller.  Het onderzoek suggereert dat het effect van bewustwordingscampagnes alleen van korte duur is.  Als het om phishing emails gaat, dan vergroot het gebruik van een gepersonaliseerde opening het succes.  De resultaten uit de experimenten maakt het mogelijk om gerichte bewustwordingscampagnes uit te voeren en het effect te maximaliseren.