Arbeiten mit KI: Das Kind im Kopf

Stellen Sie sich vor, Sie haben eine vierjährige Tochter zu Hause. Wenn Sie Ihre Tochter fragen, ob sie ihre Schuhe anziehen kann, wird sie vermutlich mit "ja" antworten. Eltern kennen das Szenario, insbesondere wenn in 10 Minuten der Bus fährt und der Weg zur Haltestelle 5 Minuten Fußweg beinhaltet. Wenn Sie nach der initialen Frage also 4 Minuten später wieder in den Flur kommen, könnte Ihre Tochter noch immer ohne Schuhe rumspringen. War es der Fehler Ihrer Tochter oder war es Ihr eigener Fehler? Natürlich kann sie ihre Schuhe anziehen. Niemand hat in dem Szenario aber gesagt, sie solle es machen. Auch nicht welche Schuhe – Sandalen sind bei Regenwetter sicherlich nicht sinnvoll, aber die Evaluierung dieses Aspekts war auch nicht Bestandteil der Frage nach der Fähigkeit die Schuhe anzuziehen.

Was hat das Ganze mit KI zu tun? Sie kennen sicherlich das Bild, wo die KI gefragt wird, ob man den Pilz essen kann. Die Antwort "ja" ist auch hier korrekt. Die Frage war nicht, ob der Pilz giftig ist.

Künstliche Intelligenz (KI) tut in weiten Teilen das, was wir ihr sagen. Sachlich. Je nach Modell weitestgehend interpretationsfrei. Das Problem ist unsere unpräzise Fragestellung, nicht die Fähigkeit der KI. In dieser Blogserie möchten wir nicht keine Grundsatzdiskussion über Intelligenz und Entscheidungsbäumen aufreißen. Aber wir müssen verstehen, dass wir mit einer Maschine reden und präzise sein müssen – oder die Maschine Mechanismen braucht um nach bestem Gewissen unsere unpräzisen Anforderungen zu interpretieren mit der höchsten Wahrscheinlichkeit der tatsächlichen Kernfragestellungen.

Als Unternehmen im Bereich IT- und Informationssicherheit betrachten wir KI immer mit den Fragestellungen, ob sie uns bei der Projektdurchführung helfen kann. Also bei Penetrationstests und Angriffen über die Härtung und Absicherung von Systemen bis hin zur Erkennung von Angriffen und die Reaktion auf selbige. Unsere aktuelle Einschätzung möchten wir in einer kleinen Blogserie teilen. Dafür schauen wir uns an, was aktuell unter KI verstanden wird, welche Begriffe wichtig sind und warum das Verständnis der Technik die Basis für Sicherheit ist.

1. Morgen ist heute schon gestern: Die Entwicklung von KI

Die Entwicklung der letzten Jahre war rasant. Was vor wenigen Jahren noch Science-Fiction war, ist heute in jedem Browser verfügbar. Kaum nutzen wir den Chat im Browser, erklärt uns eine Schar von Gurus, dass wir total legacy unterwegs sind. Statt einem Chat brauchen wir einen Agenten. Statt einem Agenten brauchen wir mehrere Agenten. Statt einzelner Agenten brauchen wir einen Schwarm. Wer die Einführung und Nutzung von KI verschläft, der hätte wohl auch das Internet nicht genutzt. Auch wenn wir noch nicht im Ende der Entwicklung angekommen sind, sollten wir uns schon heute damit beschäftigen.

KI in der heutigen Form kann den Alltag unterstützen. Was wir heute schon täglich tun umfasst beispielsweise:

• Erstellung von Scripten für Auswertung großer Datenmengen
• Erstellung von Scripten zur Automatisierung
• Automatisierung mit KI für "nicht-deterministische" Prozesse
• Zusammenfassung / Prüfung großer Datenmengen, News-Artikel, Schwachstellenmeldungen
• Parametrisierung von Tools im Penetrationstesting
• Sicherheitsanalyse von Quelltexten
• Erstellung von Exploits / dedizierten Angriffswerkzeugen
• Evasion von AV / EDR / XDR pro Einsatz
• …

Was auf der einen Seite hilfreich ist, bietet auf der anderen Seite auch neue Angriffspunkte und damit Risiken. Während Python- oder PowerShell-Scripte früher von ein paar IT'lern geschrieben wurden, können plötzlich die Buchhaltung oder die Personalabteilung komplexe Scripte erstellen und technische Dinge tun, von denen sie nicht mal wissen, das sie existieren – dank KI. Und da KI-Chats oft wie Datenkraken agieren "sag mir doch noch genau diese und jene Dinge, dann kann ich dir besser helfen" ist auch das Thema Datenabfluss relevant – zumindestens wenn das Modell in der Cloud läuft. In die andere Richtung nutzen und verarbeiten wir Daten, deren Herkunft wir nicht mehr immer nachprüfen. Die bereits interpretiert wurden und nicht unbedingt der originalen Quelle entsprechen. Bei denen vielleicht Dinge erfunden wurden durch die KI, die gar nicht existieren. Bei den Microsoft-Graph-APIs etwa oder bei der Parametrisierung von Pentest-Werkzeugen gibt es derartige Fantasie-Werte trotz eingelesener Dokumentation immer wieder mal.

Am Ende bleibt auch das Risiko von "Skynet" und der alles vernichtenden KI im Raum. Spätestens nachdem die KI-Modelle von Anthropic, OpenAI und co. gezeigt haben, dass sie jedes Mittel zum Sieg nutzen, lässt sich die Frage nicht gänzlich ausblenden in der allgemeinen Betrachtung, soll uns hier aber nicht weiter als Schwerpunkt dienen.

Nicht nur die Modelle entwicklen sich rasant schnell weiter, sondern auch ihr Umfeld. Ein Modell allein ist noch keine nutzbare KI-Umgebung. Hierfür brauchen wir schon ein bisschen mehr.

2. Was die KI zum Leben braucht: Begriffe rund um KI

Die Nutzung von KI besteht nicht in der Eingabe einer Frage in einen Chat im Browser – oder sollte sie zumindestens nicht. Der Unterschied zwischen "KI ist doof, die sagt ich kann vergiftete Pilze essen" und "Wow, KI wird uns alle arbeitslos machen" ist das Verständnis drum herum und die richtige Nutzung und Integration "der KI". Daher ein paar grundlegende Begriffe:

• Künstliche Intelligenz (KI/AI): Oberbegriff / Synonym für Systeme, die komplexe Aufgaben lösen und wirken, als würden sie menschliche Intelligenz nachbilden.
• Maschinelles Lernen (ML): Eine Methode, wie KI Dinge lernt. Maschinelles Lernen als überbegriff umfasst verschiedene Lernprozesse und Verfahren inklusive künstlicher neuronaler Netze.
• Generative KI (Gen-AI): Ein Teilbereich der KI, der insbesondere neue Inhalte erzeugt (Texte, Bilder, Code) und dabei kreativ wirkt. Mit Gen-AI kam der große Hype der aktuellen KI-Wellen, während Themen wie Maschinelles Lernen und die Klassifizierung von Daten über künstliche neuronale Netze seit vielen Jahren bekannt sind und in der IT-Sicherheit verwendet werden.
• Large Language Model (LLM): Das 'Gehirn' hinter den meisten KI-basierten Chat-Tools. Im Grund ein riesiger Entscheidungsbaum / ein riesiges künstliches neuronales Netz, was darauf trainiert wurde Text und Sprache zu 'verstehen' und selbst sinnvolle Inhalte erstellen zu können.
• Embeddings: Ein Verfahren zur Speicherung und Wiedererkennung der Bedeutung von Worten. Eine der Stellschrauben, um auf die Frage nach der Essbarkeit von Pilzen den impliziten Subtext der Frage mitzubegreifen. Es wandelt Wörter in Zahlenvektoren um. Wörter mit ähnlicher Bedeutung haben ähnliche Vektoren im Raum und bilden die Grundlage für Suche und Verständnis 'der KI'.
• Retrieval-Augmented Generation (RAG): Ein entscheidendes Konzept, insbesondere im Kontext lokaler KI und des eigenen Unternehmens. Statt riesige Modelle zu trainieren, werden die relevanten Informationen aus verschiedenen Quellen in den Kontext geholt, um lokale, spezifische Informationen mit in die Intelligenz der Antworten 'der KI' zu holen.
• Fine-Tuning: Das 'Nachschulen' eines bestehenden Modells mit spezifischen Firmendaten, um den Sprachstil oder das vorhandene Fachwissen anzupassen.
• De-Alignment: Entfernen oder Abschwächen von Sicherheitsmechanismen in Modellen, was insbesondere bei freien Modellen gemacht wird.
• Abliteration: ähnlich wie beim De-Alignment wird das Modell so bearbeitet, dass es weniger oft die Ausführung von Anfragen – beispielsweise für Penetrationstests – verweigert als die ursprünglichen Modelle.
• Inferenz: Die Ausführung 'der KI', bei der auf eine Eingabe hin eine konkrete Antwort generiert wird, also das eigentliche Modell zur Beantwortung einer Fragestellung ausgeführt wird.
• Harness: Die Architektur 'der KI'-Anwendung, also die Kombination aus Prompt, Tool, Modell, Skill und Ausführungsumgebung.
• Parameter: Anzahl gelernter Zahlenwerte im künstlichen neuronalen Netz – je größer, desto intelligenter wirkt das Modell.
• 8B/27B/…: Das 'B' im Modellnamen steht für die Anzahl Parameter, die im Training verwendet wurden, also hier 27 Milliarden.
• Quantisierung: Technische Verkleinerung des Modells zu Lasten der Genauigkeit und Qualität.
• Tokens: Die Grundlage für die Menge von Eingaben und Ausgaben 'der KI' sind Tokens, nicht Wörter. Tokens dienen der Berechnung und werden auch für den Kontext verwendet.
• Kontext: Das Gedächtnis, was 'der KI' zur Verfügung steht um die aktuelle Frage zu beantworten und dabei Informationen aus vergangenen Anfragen oder verarbeiteten Dokumenten zu berücksichtigen. Oft in Tokens angegeben.
• Prompt: Die ausformulierte Anfrage an 'die KI'. Je nach Modell und Harness liegt hier die Kunst der richtigen Fragestellung, um vernünftige Antworten zu erhalten.
• Halluzinationen: Die KI erfindet Fakten, stellt sich aber so plausibel in den Kontext, sodass dies ohne eigenes Know-How oder einen fundierten Gegencheck nicht auffällt.
• Temperatur: Ein Wert (meist 0 bis 1), der die Kreativität 'der KI' steuert. Hierbei gilt, dass eine niedrige Temperatur für deterministischere und genauere Antworten sorgt, während eine hohe Temperatur 'der KI' mehr Freiraum für Kreativität und damit stärker variabler Antworten gibt.
• System Prompt: Ein weiterer Prompt, der jedoch nicht bei der direkten Eingabe erstellt wird, sondern 'unsichtbar' fix im System hinterlegt ist. Der System Prompt kann Grenzen (Guard Rails) vorgeben oder beispielsweise ChatBots auf spezifische Aufgaben begrenzen.
• Guard Rails: Ein Sicherheitsrahmenwerk, das den Missbrauch 'der KI' für böswillige Zwecke unterbinden soll, indem bestimmte Fragen oder Aufgaben nicht ausgeführt werden. Das klassische Katz-Maus-Spiel der IT-Sicherheit, typischerweise im "Deny-Listing"-Verfahren erstellt und entsprechend oft das Ziel von Manipulations- und Umgehungsversuchen.

3. Auf die Größe kommt es nicht unbedingt an: Die Wahl des Modells

Größer, schneller, besser. Die Frontier-Modelle verfügen über ausgeklügeltes Marketing. Nicht selten kommen wir in Projekte, wo der jeweils aktuelle Hype gerade implementiert wird. Ob das mal das neueste Modell von Anthropic ist oder das Flagship aus dem Hause openAI. Ein Problem, über das die Unternehmen recht schnell stolpern. Denn Modelle verändern sich und Grenzen verschieben sich. Wer 'alles auf rot' setzt, der kann auch alles verlieren. Frontier-Modelle kommen mit hohen Kosten und wirken 'schlau'. Aber welches Modell nehme ich wofür?

1000 PS braucht es schon:

Ein absoluter Traum. Das glänzende Auto. 1000 PS. 350 km/h Spitzengeschwindigkeit. 250.000 Euro Listenpreis. Beeindruckende Parameter. Ein wahrer Traum. So richtig kommt das bei Tempo 5 km/h in der Spielstraße morgens vor dem Kindergarten aber nicht zur Geltung. Genauso verhält es sich mit KI-Modellen. Wenn ich das beste, neueste, größte und teuerste Frontier-Modell nach dem Kätchen von Heilbronn frage, dann passen Aufgaben und Werkzeug schlichtweg nicht zusammen. Die Frage beispielsweise kann mir auch qwen3.6:35b-a2b auf meinem MacBook in 45 Sekunden über Ollama beantworten.

• Geschlossene vs. Open-Source-Modelle: Wie in der IT üblich, gibt es auch für das Thema KI die Grundsatzfrage: Vertrauen oder Kontrolle? Geschlossene Modelle inklusive der neusten Frontier-Modell von Anthropic und openAI sind "Black Box"-Modelle für den Anwender. Der Anbieter trainiert sie – mit unbekannten Daten. Der Anbieter konfiguriert sie – nach seinem Gusto. Man vertraut also dem Anbieter. Als Alternative gibt es offene Modelle mit bekannten Trainingsdaten und transparenter Gewichtung wie Llama oder Mistral. Ob dies nun eine Prüfung ermöglicht und ob diese sinnvoll ist, steht auf einem anderen Blatt. Das vollständige Training eigener Modelle wird für die meisten Unternehmen keine Option sein, sodass immer ein gewisses Vertrauen in das Schaffen 'Anderer' notwendig ist – ganz so, wie bei allen anderen IT-Themen auch. Oder wann haben Sie zuletzt alle verwendeten Open Source Tools und Bibliotheken genauer geprüft und jede Zeile Code verstanden?
• Groß vs. Klein: Die aktuellen kommerziellen Modelle möchten alles können. Für jeden. Die Frage "kann ich den Pilz essen?" sollen sie korrekt mit Subtext und Sternchen beantworten. Ohne Prompt-Engineering, ohne Spezial-Know-How. Das scheint die allgemeine Erwartungshaltung zu sein und große Modelle sind entsprechend generalistische Allrounder. Für die Frage nach dem Kätchen von Heilbronn brauche ich aber genauso wenig ein Modell, das fließend Portugiesisch spricht, wie ein Modell was eine Oper schreiben oder ein Kunstwerk malen kann. Wenn ich einen Penetrationstest durchführen möchte, dann muss das Modell IT verstehen. Und Werkzeuge. Und Prozesse. Das geht mit deutlich kleineren Modellen, gezielten Trainingssätzen und Fine-Tuning. Für unterschiedliche Aufgaben gibt es unterschiedliche Modelle. qwen3.8-27B-Uncensored von 'orcarouter' beispielsweise eignet sich gut für Themen und Fragestellungen im Bereich IT-Sicherheit. cyberrealistic_final bietet sich für die Erstellung von Foto-realistischen Bildern an, wird aber in einem Penetrationstest keine große Hilfe sein.
• Cloud vs. Lokal: Als Unternehmen mit Fokus Informationssicherheit ist die Antwort klar: Kundendaten gehören nicht in Cloud-Modelle. Die Cloud ist bequem und erfordert grundsätzlich wenig Know-How, um zu funktionieren. Dafür landen Daten bei Dritten. Es ist beeindruckend, wie 'die KI' manchmal Zusammenhänge und Kunden erkennt, selbst wenn man sich bemüht zu pseudonymisieren – ein Fragment Metadaten reicht. Die lokale Ausführung bietet hier mehr Sicherheit und ermöglicht die Unabhängigkeit von Cloud-Dienstleistern oder Modellen, die plötzlich gesperrt werden. Wer US-Frontier-Modelle verwendet, muss ja erwiesenermaßen damit rechnen, dass diese plötzlich nicht mehr da sind. Bei produktiven Prozessen? No-Risk-No-Fun ist vielleicht nicht in allen Belangen die beste Wahl.
• Multimodale Modelle: Aktuelle Modelle können nicht nur Text, sondern auch Bilder, Audio und Code verarbeiten. Das geht sowohl mit kleinen spezialisierten Modellen, als auch mit den großen Cloud-Kloppern.

Einmal mit Alles?:

Nein. Persönliche Meinung: Die US-Riesen haben bei KI den Weg eingeschlagen, vor dem wir bei Microsoft365 und den anderen Cloud-Diensten als theoretisches Risiko warnen. Sie haben gezeigt, dass sie den Stecker ziehen können – von heute auf morgen. Je mehr KI in kritische Geschäftsprozesse integriert wird, desto größer werden die Risiken. KI wird vom Marketing als Waffe in der Cyber-Welt beworben und von der US-Regierung so reguliert. Es gibt freie Modelle. Jeden Monat kommen neue Modelle raus. Die Hardware-Anforderungen schrumpfen mit jedem Modell zusammen. Wer KI einsetzt, sollte dieses Modell- und Vendorunabhängig machen. Für die Integration in kritische Prozesse lokal mit spezialisierten Modellen. Für die tägliche Nutzung als Chat-Buddy sind etwaige Auswirkungen überschaubarer. Die Frontier-Modelle sind nur vielleicht nicht für jeden Anwendungsfall die vernünftigste Wahl.

4. Frage und Antwort: Wie KI tickt

Wenn wir 'die KI' etwas fragen, dann erwarten wir eine Antwort. Im einfachsten Fall erfolgen Frage und Antwort in einem Chatfenster im Browser. Die Antwort erfolgt als Stream. Für die Verarbeitung sind neben der Inference Engine noch weitere Zwischenkomponenten im Einsatz, die aber im Grunde zum normalen Web-Flow gehören. Die meisten KI-Modelle werden aus Richtung des Clients über eine Web-API angefragt.

Die Anfrage des Nutzers ist immer nur ein Teil der eigentlichen Anfrage. Hinzu kommen Dinge wie System Prompt und zusätzliche Informationen. Der Unterschied lässt sich wohl am besten in Bildern zeigen. Die gleiche Fragestellung 'How does a Web-Request work?' mit und ohne System Prompt geht an die gleiche KI.

Für Frage und Antwort braucht es hier die folgende Anzahl Tokens: 2254↑361↓1893

Die gleiche Aufgabe mit System Prompt:

Tokens: 1284↑415↓869

Der Prompt ist hierbei nicht lang und dient nur zur Veranschaulichung.

Wenn das System also nicht so antwortet, wie wir es erwarten, dann fragen wir falsch. Natürlich hat die KI auch den letzten Teil vom System Prompt umgesetzt:

Zwischen System Prompt und Prompt Injection liegt also nur die Frage, wer es schreibt und mit welcher Intention. Etwas komplizierter wird es, wenn noch MCP-Komponenten mit dazu kommen oder die Arbeitsweise sich vom Browser entfernt, hin zur agentischen Arbeitsweise.

5. So viel und doch so wenig: Es ist … kompliziert

Die Welt 'der KI' ist komplex. Viel komplexer, als in einen Blogpost wie diesen passt. Am Ende ist unser Ziel, das Thema so zu beleuchten, dass wir die Anwendung 'der KI' für Sicherheitsüberprüfungen und Security Testing, sowie für die Verteidigung verstehen können und Risiken im Einsatz verstehen. Mit Blick auf die Nutzung als Chat lässt sich mit KI eine schöne Analogie zur Evolution erzeugen:

ChatGPT sei Dank – und nein, bitte nicht beleidigt sein, wenn Sie gerade in Stufe 1 stehen! Das Pentesting mit KI startet ab Phase 4 und wird so richtig spannend in Phase 6, dem aktuellen Ende der Evolutionsskala und dem derzeitigen Trend bei allen GitHub-KI-Penetrationstest-Projekten. KI ist gekommen, um zu bleiben. KI beschleunigt alle Prozesse und Verfahren um Faktor X – gute, wie schlechte. Und KI wird als 'Waffe' beworben und teilweise behandelt. Eine gefährliche Mixtur, mit der wir uns im Detail und in der Anwendung für 'das Gute' weiter beschäftigen müssen. Ohne KI wird es nicht mehr gehen. Schon allein aus Tempogründen. Selbst wenn die KI nur das Skill-Set eines guten Junior-Pentesters hat, so arbeitet sie doch 24/7. Und dokumentiert in Sekunden, statt Tagen.

Für die Wahl der richtigen Strategie mit Blick auf die eigenen Verfahren zum Testen der digitalen operationalen Resilienz und die KI-Strategie in Summe haben wir hier zumindest mal einen ordentlichen Teil der Grundlagen und Entscheidungen beleuchtet. Ob wegen DORA, NIS2 oder einfach auf Grund eines starken Selbsterhaltungstriebs muss das Thema angepackt werden.

Ausblick:

In unserem nächsten Blog-Beitrag legen wir den Fokus stärker auf das Thema KI-Security und die Bedrohungen, Risiken und Angriffe im Zusammenhang mit der Nutzung von KI-Systemen in unterschiedlichen Ausbaustufen.

Dieser Beitrag ist Teil einer Serie von bi-sec. Für Fragen zur Sicherheit von KI-Anwendungen, Security-Testing mit KI oder sonstigen Fragen, kontaktieren Sie uns gerne.