Kwaadwillenden zetten AI in om hun digitale aanvallen te verbeteren

Large Language Models

De brede beschikbaarheid van Large Language Models (LLM's) heeft AI een enorme boost gegeven. Deze neurale netwerken bestaan uit honderden miljarden knooppunten getraind op enorme hoeveelheden (Internet-)data.

Hoewel het technisch wel een stuk ingewikkelder in elkaar steekt, is het uitgangspunt simpel: De modellen achter chatbots als OpenAI's ChatGPT (GPT-3.5/4), Google'sBard (PaLM) en Meta's LLaMA-2 zijn onder andere getraind op de enorme hoeveelheden tekst die op internet beschikbaar zijn. Het zijn in principe slimme volgend-woord-voorspellers, die een conversatie kunnen voeren (of simuleren, zo je wilt) door ook de eerdere prompts (hun context-window) bij het genereren van hun antwoord te betrekken (in-context learning).

Plaatjes en programmacode

Hetzelfde geldt voor text-to-image generators [1] als Stable Diffusion (SDXL) van Stability AI, OpenAI's DALL-E, en Midjourney. Die zijn bijvoorbeeld getraind op webplaatjes met bijbehorende 'alt'-beschrijvingen, 'caption'-bijschriften en de contextuele tekst waarin ze voorkomen.

Laatste voorbeeld is GitHub Copilot, een samenwerkingsverband tussen Microsoft en OpenAI. Deze generatieve programmeerhulp (text-to-code, code-to-text en code-to-code) is getraind op de content van GitHub zelf, die van het Microsoft Developer Network (MSDN) en die van StackOverflow. Daar wordt de relatie tussen tekst en code gelegd door onder andere de commentaren in de broncode en de relatief goed gestructureerde problemen en oplossingen van MSDN en StackOverflow.

Prompt engineering

Computercriminelen gebruiken dit soort tools op vergelijkbare wijze als gewone programmeurs en content creators dat doen, zij het voor andere doeleinden. Zij zetten Copilot in om hun eigen malware te verbeteren, maar ook om kwetsbaarheden in de code van anderen (open source) te vinden. Ze vragen ChatGPT om de tekst van hun phishingberichten te verbeteren, om de effectiviteit ervan te verhogen, of om organisatiespecifieke of functiegerichte informatie erin te verwerken (feitelijk een combinatie van deepfakes en social engineering) [1]. En ze vragen modellen getraind op internetcontent naar gelekte credentials (vergelijkbaar met het zoeken naar paswoorden op GitHub en het zoeken naar per ongeluk gepubliceerde documenten via Google).

Verschillende beveiligingsbedrijven hebben al proof-of-concepts laten zien van hoe je ChatGPT kunt gebruiken om polymorfische code te genereren [CyberArc, HYAS BlackMamba]. Door steeds van vorm te veranderen, kunnen dit soort programma's zich veel beter verbergen voor Endpoint Detection and Response (EDR)-oplossingen.

Het enige dat je hoeft te kunnen om deze AI-tools te gebruiken, is de juiste vragen stellen, een vaardigheid die prompt engineering wordt genoemd. Maar je kunt natuurlijk ook een andere LLM vragen om een goede prompt voor je te schrijven. Auto-GPT gaat zelfs nog een stap verder: deze kan een opgegeven taak in stappen opdelen en zelfstandig uitvoeren door zelf nieuwe prompts te genereren op basis van de antwoorden op eerdere prompts. Daarmee gaat Auto-GPT dus de richting op van een zelfstandige assistent of agent.

Kat-en-muisspel

Inmiddels is er een kat-en-muisspel ontstaan tussen aanbieders van AI-diensten en hackers. Aanbieders proberen hun modellen zo veel mogelijk dicht te timmeren voor misbruik. Daarbij gaat het niet alleen om de afscherming van informatie die hoofdzakelijk voor kwaadaardige doeleinden kan worden gebruikt (denk niet alleen aan cybercrime maar ook aan terrorisme, de fabricage van wapens en informatie over beveiligingsprotocollen), maar ook om extreme en onwelgevallige meningen, discriminatie, (kinder-)porno en geweld.

Hackers op hun beurt proberen deze beschermings- en afschermingsmaatregelen te omzeilen door trucjes met de prompt uit te halen en het model te verleiden tot het vrijgeven van afgeschermde informatie of het vertonen van ongewenst gedrag [1].

Kwaadaardige AI-tools

Deze vorm van jailbreaking is echter steeds minder nodig. Computercriminelen ontwikkelen inmiddels hun eigen AI-gereedschappen en stellen deze (tegen betaling) beschikbaar.

De ontwikkeling van dit soort geavanceerde gereedschappen is ook veel makkelijker dan je misschien denkt. Allerlei modellen voor text-to-text en text-to-code zijn gewoon als open source op Internet beschikbaar. Het gaat dan om al getrainde (pre-trained) modellen, onderliggende datasets en bijbehorende tooling.

Open-sourcemodellen, datasets en tools

Het bekendste open-source raamwerk voor zowel het trainen als het bevragen van LLM-modellen is de Transformers Library van Hugging Face [1]. Hun Hub is een verzamelplaats voor een enorme hoeveelheid modellen, datasets, front-ends en tools. Maar ook nVidia, leverancier van de video-adapters (GPU's) die meestal gebruikt worden als AI-processor, onderhoudt een eigen hub met modellen en tools [1].

Een veelgebruikte open-source dataset voor het trainen van Engelstalige taalmodellen is The Pile, een tekst corpus bestaande uit 2 dozijn bronnen. En wie "het hele web" wil gebruiken hoeft daarvoor ook geen eigen crawler meer aan het werk te zetten, maar kan daarvoor terecht bij de Common Crawl.

Finetunen van bestaande modellen

Voor gewone stervelingen en hackers is het trainen van een nieuw model vanaf scratch niet te betalen. Daarvoor staat een hele batterij gespecialiseerde AI-kaarten (typisch H100-modules van nVidia [1]: doorontwikkelde video-adapters voorzien van veel VRAM-geheugen en zonder video-uitgangen) in de AWS Cloud [1, 2, 3] wekenlang te stampen op een of meerdere datasets. De kosten voor een dergelijke exercitie lopen in de miljoenen tot tientallen miljoenen euro’s.

Wat hackers (en anderen) doen om op een betaalbare manier een model voor hun specifieke doeleinden te ontwikkelen, is een bestaand model als uitgangspunt nemen en die verder trainen op gespecialiseerde datasets (finetunen). Een zogenaamd pre-trained model bestaat immers uit niet veel meer dan de gewichten (de sterktes van de verbindingen tussen de nodes) van het neurale netwerk zoals die na de trainingssessie zijn ingesteld. Maar niets belet je om een open-source pre-trained model verder te trainen met meer of andere datasets; vandaar dat pre-trained modellen ook wel checkpoints worden genoemd.

Zo is Copilot gebaseerd op het (gesloten) GPT-3 LLM-model en vanuit dat generieke (foundational) taalmodel doorgetraind voor programmeerwerk (OpenAI Codex).

Hoewel de publicatie van pre-trained modellen als open- source dus misbruik mogelijk maakt, is deze stap voor de makers ervan logisch of zelfs noodzakelijk. Openheid is cruciaal voor de doorontwikkeling van basismodellen, want als anderen daar vervolgens niet op verder kunnen bouwen en de werking niet verder kunnen onderzoeken, dan is je AI-project daarna technisch-wetenschappelijk gezien dood.

Open-sourcemodellen op je eigen werkstation

De meeste hackers zullen een open-source pre-trained model op hun eigen werkstation installeren en die direct bevragen. Een top-end videokaart van een paar duizend euro is voldoende om moderne taalmodellen lokaal te kunnen gebruiken. De winst van een dergelijke setup zit 'm erin dat vragen (prompts) en antwoorden niet gefilterd of aangevuld worden – of opgeslagen bij een account – zoals dat bij alle AI-dienstaanbieders wel het geval is.

Maar ook een hacker kan dus een geschikt pre-trained taalmodel als uitgangspunt nemen, en die vervolgens voor zijn eigen specifieke doeleinden doortrainen.

Naast het gebruik van ChatGPT om de opbrengst van phishing-berichten en Business Email Compromise (BEC)-aanvallen te verhogen – al dan niet na jailbreaking van een publieke AI-dienst – begonnen handige jongens hun eigen modellen te trainen en deze gespecialiseerde, kwaadaardige chatbots als betaalde dienst op darknetmarktplaatsen en hackerfora te adverteren.

WormGPT

Deze zomer zijn 2 van dergelijke ondergrondse diensten ontdekt. De eerste is WormGPT [1], gebaseerd op het open-sourcemodel GPT-J, wat lijkt op GPT-3 en goed is in Engelse taal en programmacode.

Volgens de ontdekkers van WormGPT is voor deze dienst het GPT-J model doorgetraind met allerlei malwaregerelateerde data. De gegenereerde mailberichten waren volgens hen verbazingwekkend goed. Zij kwalificeerden WormGPT als "ChatGPT zonder ethische grenzen of beperkingen". De kosten voor deze dienst bedragen bovendien slechts 60 euro per maand.

Bron: SlashNext.

FraudGPT

De tweede malware-chatbot is FraudGPT [1], aangeboden via darknetmarktplaatsen en Telegram. Deze lijkt een veel breder scala aan mogelijkheden te bieden. De prijs ligt dan ook een stuk hoger: 200 euro per maand.

Bron: Netenrich.

Vraagbaak, assistent en sparringmaatje

Dit soort tools maken het vooral voor aspiranten in de blackhat scene makkelijk om van start te gaan. Dat geldt ook voor mensen die het Engels onvoldoende beheersen en voor programmeurs die het creëren van malware nog niet goed in de vingers hebben [1]. Net zoals bij legitiem gebruik, fungeert de AI-chatbot in deze wereld als vraagbaak, assistent en sparringmaatje [1].

Eind vorig jaar lieten onderzoekers van Check Point zien hoe ze ChatGPT en Codex gebruikten om een meerstaps-aanval (van een phishing mail via een Excel-macro naar een reverse shell) op te zetten zonder zelf een enkel woord programmacode te schrijven.

De FBI bevestigt dat AI de slagkracht van cybercriminelen (en terroristen) versterkt. Bovendien verwachten zij dat deze ontwikkeling zal doorzetten naarmate AI breder beschikbaar komt. Daarbij zullen kwaadaardige AI-tools zoals de hierboven beschreven open-source modellen doorgetraind voor malware een belangrijke rol spelen.

DarkBERT

Het Zuid-Koreaanse beveiligingsbedrijf S2W heeft een indexering van het darknet gebruikt om hun DarkBERT-taalmodel te trainen [1, 2, 3]. Uitgangspunt daarvoor was hun RoBERTa taalmodel (gebaseerd op Google's context-gevoelige BERT-model), dat zij hebben doorgetraind met een 6 Gbyte grote indexering van darknet.

Hun chatbot spreekt nu de taal van het darknet, en kan ingezet worden voor de detectie van ransomwarelekken en -bedreigingen, en de signalering van nieuwe ontwikkelingen in malware en gevonden kwetsbaarheden.

Hoewel het pre-trained model van DarkBERT alleen onder voorwaarden beschikbaar is voor onderzoek, lijkt het erop dat kwaadwillenden daar inmiddels de hand op hebben weten te leggen. Dezelfde hacker (groep) die WormGPT en FraudGPT creëerde, biedt nu ook een kwaadaardige versie van DarkBERT aan (naast DarkBART, een darknet-versie van Google's Bard). Deze kan niet alleen gebruikt worden in de voorbereiding van phishing/BEC-aanvallen en andere vormen van social engineering, maar ook voor het vinden van kwetsbaarheden in software, systemen en infrastructuren, het maken en verspreiden van malware (ransomware [1, 2]), en de ontdekking van 'zero-day'-kwetsbaarheden.

Nieuwe wapenwedloop

De nieuwe AI-gereedschappen lijken een wapenwedloop in gang te hebben gezet zoals die er bijvoorbeeld ook voor virussen en virusscanners is. Zo is DarkBERT van origine ontwikkeld om het darknet in de gaten te houden op ransomwarelekken en -bedreigingen, en nieuwe ontwikkelingen in malware en gevonden kwetsbaarheden te signaleren. En inmiddels wordt onderzocht hoe AI-chatbots kunnen helpen bij de analyse van aanvallen en het opstellen van 'incident response'-plannen [1].

Of de inzet van AI-tools aan verdedigende zijde goed genoeg zal worden om de toepassingen van AI-tools aan aanvallende zijde te weerstaan, wordt spannend. Dat deze gereedschappen zelf nauwelijks meer in staat zijn om authentieke van AI-gegenereerde content te onderscheiden [1], is wat dat betreft een veeg teken.

"Bij grootschalig gebruik van deze technieken, kan steeds lastiger de authenticiteit en autoriteit van tekstuele informatie, afbeeldingen, video's en audio worden vastgesteld," aldus de NCTV in zijn rapport 'Cybersecuritybeeld Nederland 2023'.

Moderne internetbeveiligingsstandaarden

Net als de FBI, hamert de NCTV op het implementeren van basismaatregelen: "Deze blijken nog steeds een effectieve barrière te vormen tegen vele soorten cyberaanvallen." Dat is waarom ook wij het belang van de implementatie van moderne internetbeveiligingsstandaarden in je infrastructuur regelmatig onder de aandacht brengen.

De volgende casus van weer een andere AI-modaliteit – namelijk die van de stem-simulators – laat zien hoe kwaadwillenden deepfakes en spoofing combineren tot een overtuigende imposter scam.

In 2019 wisten oplichters een Brits energiebedrijf 220 duizend euro te ontfutselen met behulp van een AI-gegenereerde stem, in combinatie met een gespoofd mailbericht. De CEO van het Britse bedrijf dacht dat hij gebeld werd door de CEO van het Duitse moederbedrijf, die hem vroeg om direct een betaling naar een Hongaarse leverancier uit te voeren. De Britse CEO meende de stem en het Duitse accent te herkennen. De betaalgegevens en bevestiging volgden per mail. Pas toen de oplichters de Britse CEO belden met een tweede betalingsverzoek kreeg hij argwaan, maar toen was het eerste bedrag al naar Mexico weggesluisd.

Het gebruik van dergelijke audio deepfakes voor dit soort fraude wordt ook wel vishing (voice phishing) genoemd en is in opkomst [1, 2]. Behalve voor CEO-fraude kan deze technologie ook ingezet worden om mensen persoonlijke informatie of paswoorden te ontfutselen. Belangrijke les van deze casus is dat het slachtoffer argwaan kreeg toen een volgend telefoontje afkomstig was van een Oostenrijks nummer. In dit geval werden dus vishing, mail spoofing en Caller ID spoofing gecombineerd om de scam via verschillende kanalen voldoende authenticiteit mee te geven. De implementatie van mailbeveiligingstandaarden als SPF, DKIM en DMARC had deze specifieke aanval al een stuk moeilijker gemaakt.

De headerafbeelding is gemaakt met behulp van AI-software van Midjourney.