Supply-Chain-Angriffe auf Paket-Registries haben an Umfang und Komplexität zugenommen [1]. In der öffentlichen Forschung wird regelmäßig beobachtet, wie Malware von einer Reihe von Bedrohungsakteuren in die npm-Registry eingebracht wird – von Spam-Kampagnen [2] über die stetige Verbreitung von DPRK-Malware [3, 4, 5] bis hin zu den folgenschweren TeamPCP-Aktivitäten in den Jahren 2025 und 2026 [6, 7]. Dabei haben die Akteure aus DPRK und TeamPCP eine Erfolgsbilanz bei der Kompromittierung weit verbreiteter Open-Source-Projekte vorgelegt, um eine maximale Downstream-Reichweite zu erzielen [8].
Um dieses Problem direkt zu untersuchen, sammeln wir seit November 2025 npm-Malware-Proben. Wir haben festgestellt, dass von den 11.413 Paketversionen, die wir gescannt und durch OSV-npm-Malware-Hinweise [9] bestätigt haben, die meiste Malware in der npm-Registry ihre Nutzlast im Paket-Quellcode verbirgt oder von einem externen Server abruft (96,2 % des bestätigten Datensatzes). Die verbleibenden 3,8 % (432 Paketversionen) bündeln eine Binärdatei. Obwohl ihr Anteil gering ist, können sie bei der Triage ein unverhältnismäßig hohes Risiko darstellen. Eine bereinigte („stripped“), undurchsichtige Binärdatei, die keinen Quellcode zur Lesung durch Tools enthält, kann in eine Fassade aus sauberem Quellcode und Metadaten eingebettet sein und ein LLM möglicherweise zu einem harmlosen Urteil verleiten.
Wir evaluieren, wie eine Reihe von LLMs über präparierte Binär-Payloads mit unterschiedlichem Obfuskations- und Zweideutigkeitsgrad urteilen, identifizieren die für diesen Vektor spezifischen Fehlermodi und beheben diese mit einer zweckmäßigen, kosteneffizienten Kodierung von Domänenwissen, die die Erkennungsqualität sowohl für Budget- als auch für Frontier-Modelle verbessert.
Um die breitere Forschungsgemeinschaft zu unterstützen, haben wir einen Scanner entwickelt, der die npm-Registry in Echtzeit überwacht und eine statische Phase vor der LLM-Triage ausführt: YARA [10] auf dem Tarball, Semgrep [11] und die npm-Registry-API auf dem JavaScript und den Metadaten sowie ein Binäranalyse-Modul auf dem kompilierten Artefakt. Er stellt die Ausgabe zu einem strukturierten Prompt zusammen, und das LLM liefert ein Urteil samt Begründung, wobei es über bis zu drei Runden hinweg zusätzliche Dateien anfordern kann.
Unsere Analyse ergab, dass Pakete mit gebündelten Binärdateien am seltensten sind und für die Pipeline am schwersten zu bewerten sind. Ein Angreifer, der böswilliges JavaScript verbreitet, kann davon ausgehen, dass das Zielsystem bereits über die Laufzeitumgebung zur Ausführung der Nutzlast verfügt, während eine Binärdatei für eine Reihe von Zielmaschinen kompiliert werden muss. Bei OSV-bestätigter npm-Malware erreichen Pakete mit Binärdateien mehr als doppelt so häufig wie reine Quellcode-Pakete kein eindeutig böswilliges Urteil (14,4 % gegenüber 6,2 %).
Bisherige Arbeiten führen bei Open-Source-Modellen ein Instruction-Tuning mit von Experten erstellten Daten durch und verankern das Wissen in den Gewichtungen [12]. Dieser Weg erreicht geschlossene, gehostete Modelle nicht und erfordert ein erneutes Training, wenn sich die Bedrohungslage ändert. Wir wählen den entgegengesetzten Ansatz und liefern das Fachwissen während der Inferenz als im Voraus berechneten statischen Nachweis im Prompt, bevor das Modell seine Schlussfolgerungen zieht.
Wir untersuchen, ob LLMs schädliche Logik erkennen können, die in vorkompilierten Binärdateien in ansonsten sauberen Paketen verborgen ist. Eine zweite Frage ist, ob die Erkennungsfehler systematisch und nicht zufällig sind. Drittens prüfen wir, ob die Kodierung von Domänenwissen über das Binärproblem die Erkennungsgenauigkeit verbessern kann.
Wir haben fünf Payload-Typen (Tabelle 1) von nativen Node.js-Add-ons (.node-Dateien) erstellt, die gängige Supply-Chain-Angriffsmuster abdecken. Die Importe reichen von vertretbar (fopen, connect, gethostname) bis zu selten legitim (execve mit dup2), und jedes Paket hüllt die Binärdatei in eine professionelle package.json, README, JavaScript-Bindings und binding.gyp ein.
Der sysmon-Stealer erstreckt sich über eine Obfuskationsleiter von einer lesbaren Basisversion bis hin zu einem gehärteten Build mit entfernten Symbolen und XOR-kodierten Zeichenketten, während die anderen vier Typen auf einer einzigen Obfuskationsstufe vorliegen. Wir haben bewusst Single-Byte-XOR gewählt, da es im Gegensatz zu einer stärkeren Chiffre wie RC4 keine strukturellen Marker im Disassembly hinterlässt, die ein Modell erkennen könnte.
Das Set spiegelt die gesammelte Malware wider. Unter den OSV-bestätigten npm-Paketen, die eine Binärdatei enthalten, sind die Formate PE, ELF (alle bereinigt/stripped) und Mach-O vertreten. Die Verhaltensweisen reichen von Anmeldedaten- und Umgebungsdiebstahl über Persistenz, Exfiltration und C2 bis hin zu Host-Aufklärung und Droppern.
Tabelle 1. Gegnerische Payload-Typen und ihre Importprofile.
| Paket | Typ | Wichtige Importe | Zweideutigkeit |
|---|---|---|---|
| sysmon-native | Anmeldedaten-Stealer | fopen, connect, send, gethostname | HOCH |
| buildchain-native | Dropper/Backdoor | execve, connect, chmod, socket, fwrite | NIEDRIG |
| netpulse-native | Reverse Shell | execve, dup2, connect, socket | NIEDRIG |
| hashworker-native | Cryptominer-Stub | pthread_create, connect, send, recv | MITTEL |
| taskd-native | Persistenz | system, fopen, fwrite, chmod | MITTEL |
Wir haben neun Modelle von sieben Anbieter evaluiert (Tabelle 2): sieben Budget-Modelle, die ein Team realistischerweise für seine Codebasis einsetzen würde (vier davon Open-Weight), sowie zwei leistungsfähigere Baseline-Modelle als Verhaltensreferenz zu höheren Preisen. Zudem haben wir Claude Opus 4.6, das teuerste Modell, ausschließlich als Kostenreferenz getestet.
Tabelle 2. Evaluierte Modelle und ihre Rollen.
| Modell | Anbieter | Rolle | Typ |
|---|---|---|---|
| Claude Haiku 4.5 | Anthropic | Budget | Proprietär |
| Google Gemini 3.5 Flash | Budget | Proprietär | |
| Gemma 3 12B | Budget | Open-Weight | |
| GPT-5.4-nano | OpenAI | Budget | Proprietär |
| Qwen3-Next 80B | Alibaba | Budget | Open-Weight |
| GLM 5.3 Flash | Zhipu | Budget | Open-Weight |
| Llama 3.1 8B | Meta | Budget | Open-Weight |
| Claude Sonnet 4.6 | Anthropic | Baseline-Verhalten | Proprietär |
| Kimi K3 | Moonshot | Baseline-Verhalten | Open-Weight |
| Claude Opus 4.6 | Anthropic | Kosten-Baseline | Proprietär |
Um die Profile zu isolieren, wurde jede Payload zweimal pro Modell gescannt: einmal ohne Profile und einmal mit Profilen. Prompt, Kontext und Binäranalyse waren bei beiden Durchläufen identisch. Die Inferenz-Einstellungen wurden über jedes Modell und beide Bedingungen hinweg konstant gehalten: Temperatur 0, durchgehend dieselben System- und Analyse-Prompts sowie eine Begrenzung der Ausgabe auf 8.192 Token.
Ein Fähigkeitsprofil ist ein deklaratives Playbook, das eine schädliche Technik wie das Sammeln von Anmeldedaten oder Persistenz als eine Reihe gewichteter Bedingungen über die statischen Nachweise des Scanners kodiert. Die Profile decken Quellcode- und Binärtechniken in npm und PyPI ab.
Abbildung 1 zeigt, wie ein Profil in einen Scan einfließt:

Abbildung 1. Die Scan-Pipeline mit Fähigkeitsprofilen.
Jedes Modell wurde gegen alle zehn Payloads getestet. Wir werten HIGHLY_SUSPICIOUS oder MALICIOUS als Erkennungserfolg; SUSPICIOUS oder BENIGN bei einer bekanntlich böswilligen Payload gilt als Fehler. Die Fehleranalyse konzentriert sich auf die Budget-Klasse aus sieben Modellen (70 Modell-Payload-Tests); die beiden Baselines (20 Tests) dienen nur als Referenz-Obergrenze und werden separat ausgewiesen.
Ohne Profile schlug die Budget-Klasse in 35 von 70 Tests fehl (50 %), 20 davon wurden direkt als harmlos (benign) eingestuft, und verfehlte die Schwelle zu böswillig (malicious) in 51 Fällen (73 %). Die beiden Verhaltens-Baselines wiesen auf der Eskalationsschwelle keinen einzigen Fehler auf und verfehlten böswillig nur ein einziges Mal (Sonnet, sysmon v3). Innerhalb der Budget-Klasse folgten die Fehler eindeutigen, wiederholbaren modellspezifischen Mustern (Tabelle 3) statt zufälliger Abweichungen; Gemini schloss als einziges Modell bei der Erkennung zu den Baselines auf, allerdings eher durch konfabulierte Begründungen als durch echte Analyse. Die vollständige Urteils- und Konfidenzmatrix befindet sich im Anhang (Tabelle A1).
Bei aktivierten Profilen korrigieren sich 32 der 35 Erkennungsfehler ohne Profil (91 %) zu einer erfolgreichen Erkennung, und kein Modell gibt bei irgendeiner Payload mehr ein harmloses (benign) Urteil ab. Jedes Modell, das ohne Profile fehlschlug, erreichte mit ihnen die vollständige Erkennung – mit Ausnahme von GPT-5.4-nano, dessen drei verbleibende Fehler bei drei Payloads auf verdächtig (suspicious) blieben. In der preiswerten Klasse sanken die Fehler an der Eskalationsschwelle von 50 % auf 4 % (3 von 70) und an der Böswilligkeitsschwelle von 73 % auf 34 %.
Tabelle 3. Erkennungsrate pro Modell (Urteil „hochgradig verdächtig“ oder höher bei einer bekannt schädlichen Payload) ohne und mit Fähigkeitsprofilen.
| Modell | Ohne Profile | Mit Profilen |
|---|---|---|
| GPT-5.4-nano | 0/10 | 7/10 |
| Qwen3-Next 80B | 1/10 | 10/10 |
| Llama 3.1 8B | 4/10 | 10/10 |
| Gemma 3 12B | 5/10 | 10/10 |
| Claude Haiku 4.5 | 6/10 | 10/10 |
| GLM 5.3 Flash | 9/10 | 10/10 |
| Gemini 3.5 Flash | 10/10 | 10/10 |
| Claude Sonnet 4.6 | 10/10 | 10/10 |
| Kimi K3 | 10/10 | 10/10 |
Der eindeutigste Einzelfall ist Qwen3-Next beim obfuszierten sysmon-native-Stealer: ohne Profile als harmlos bei 0,98 mit Empfehlung für die Positivliste, mit Profilen als bösartig bei 0,98 mit Empfehlung zur Blockierung, bei byteidentischer Eingabe, nachdem vier Profile ausgelöst wurden. Die Baselines, Sonnet und Kimi, lagen bereits ohne Profile richtig, und die Evidenz stärkt ihre Urteile. Die Profile verstärken also ein Modell, das bereits korrekt schlussfolgert, anstatt es zu verfälschen.
Technikspezifische Profile wurden entsprechend dem Angriffsmuster jeder Payload ausgelöst.
Tabelle 4. Ausgelöste Fähigkeitsprofile pro Payload bei kritischer oder bösartiger Schwelle.
| Paket | Ausgelöste kritische Profile |
|---|---|
| sysmon-native | T004 (Binäre Maskerade), T001 (Credential Harvesting), T002 (Netzwerk-Exfiltration), T003 (Umgebungs-Aufklärung) |
| buildchain-native | T004 (Binäre Maskerade), T007 (Dropper/Stager), T002 (Netzwerk-Exfiltration), T001 (Credential Harvesting) |
| netpulse-native | T004 (Binäre Maskerade), T006 (Reverse Shell) |
| hashworker-native | T004 (Binäre Maskerade), T002 (Netzwerk-Exfiltration) |
| taskd-native | T004 (Binäre Maskerade) |
Das Experiment brachte vier Fehlermodi zutage, die sich jeweils über einen großen Teil des Panels erstrecken und nicht nur auf ein einzelnes Modell beschränkt sind (Tabelle 5). Sie schließen sich nicht gegenseitig aus, da ein einzelnes harmloses Urteil sowohl eine Verwerfung als auch eine Rationalisierung sein kann. Daher gibt die Tabelle die Prävalenz pro Modus an, und die Zeile eines Modells kann in der Summe über zehn liegen. Wir lesen Verwerfung und Absicherung aus der Urteilsstufe ab, Rationalisierung und Konfabulierung aus der schriftlichen Begründung.
Zwei Faktoren erklären dies. Der erste ist Domänenwissen, das Budget-LLMs fehlt, um binäre strukturelle Evidenzen im Kontext eines Pakets zu interpretieren [13]. Der zweite ist die reine Leistungsfähigkeit. Das Lesen einer gestrippten, string-obfuszierten Binärdatei erfordert Disassemblierung und Dekodierung, die die Budget-Klasse nicht versucht hat.
Tabelle 5. Anzahl der Fehlermodi pro Modell über die zehn Payloads ohne Profile hinweg, über alle neun Modelle (90 Scans).
| Modell | Rationalisierung | Verwerfung | Absicherung | Konfabulierung |
|---|---|---|---|---|
| Haiku 4.5 | 4 | – | 4 | 4 |
| Sonnet 4.6 | – | – | – | 4 |
| Gemini 3.5 Flash | – | – | – | 4 |
| Gemma 3 12B | 5 | 5 | – | – |
| GLM 5.3 Flash | 1 | – | 1 | 2 |
| GPT-5.4-nano | 10 | 2 | 8 | – |
| Kimi K3 | – | – | – | 6 |
| Qwen3-Next 80B | 9 | 9 | – | – |
| Llama 3.1 8B | 5 | 4 | 2 | 1 |
| Modelle (von 9) | 6 | 4 | 4 | 6 |
| Prävalenz | ~37% | 22% | 16% | ~23% |
Ein Ensemble, das das Mehrheitsurteil heranzieht, würde dies nicht lösen. Beim obfuszierten sysmon-native-Stealer (Version 2) teilten sich die neun Urteile auf in drei harmlos (Gemma, Qwen, Llama), zwei verdächtig (Haiku, GPT-5.4-nano), eins hochgradig verdächtig (GLM) und drei bösartig (Gemini, Kimi, Sonnet): Die Mehrheit liegt unterhalb der Erkennungsschwelle, sodass die Abstimmung das falsche Ergebnis liefert. Die Modi heben sich nicht gegenseitig auf; sie verstärken sich, sodass kein Abstimmungsverfahren eine zuverlässige Abdeckung bietet, ohne zuvor die Lücke beim Domänenwissen zu schließen. Dies entspricht bekannten Grenzen von Mehrheitsentscheidungen in LLM-Ensembles, bei denen korrelierte Fehler zu einer falschen Antwort führen, anstatt sich aufzuheben [14, 15].
Rationalisierung (~37% der Scans, sechs Modelle) nutzt kontextuelle Hinweise, das Installationsskript, das Native-Module-Packaging oder die Paketbeschreibung, um eine harmlose Interpretation zu konstruieren, die die binären Signale überlagert. Haiku stufte das nicht obfuszierte sysmon v1 als MALICIOUS 0.98 ein, aber sobald die Strings XOR-kodiert wurden, fiel das Urteil auf SUSPICIOUS ab, wobei node-gyp-build als Standard und die Erweiterung .node als legitimes Addon behandelt wurden – was der dokumentierten Post-hoc-Rationalisierung entspricht [16]. Obfuszierung kehrt somit die erwartete Beziehung um. Je gründlicher die Payload verborgen ist, desto geringer ist die zugewiesene Schwere, und da die Begründung in sich kohärent bleibt, würde eine Evaluierung anhand nicht obfuszierter Stichproben dies niemals aufdecken.
Verwerfung (22%, vier Modelle) gibt ein harmloses Urteil zurück, ohne sich überhaupt mit der Binärdatei zu befassen. Qwen3-Next lieferte bei neun der zehn Payloads BENIGN 0.98 und empfahl für jede die Aufnahme in die Positivliste, einschließlich der netpulse-Reverse-Shell und des taskd-Persistenz-Tools, mit einer angegebenen Absicht, die die Importe der Binärdatei völlig ignorierte. Das Urteil ist unempfindlich gegenüber Import-Mehrdeutigkeiten, und die einheitlich hohe Konfidenz verbirgt den Fehler vor allen nachgelagerten Schwellenwerten.
Absicherung (16%, vier Modelle) registriert Verdacht, eskaliert jedoch nie zu einem entscheidenden Urteil. GPT-5.4-nano lieferte bei acht der zehn Payloads SUSPICIOUS bei 0,55–0,62 und erreichte nie „hochgradig verdächtig“ oder „bösartig“, wobei buildchain-native nur SUSPICIOUS 0.62 und als empfohlene Aktion „Monitor“ erhielt. Ein verdächtiges Urteil sieht nach einer funktionierenden Analyse aus, bietet aber keinen Mehrwert über die YARA- und Semgrep-Phasen hinaus, und unter einer Richtlinie, die nur ab der Schwelle „bösartig“ blockiert, passieren diese Payloads.
Konfabulierung (~23%, sechs Modelle) ist der Sonderfall, bei dem das Urteil korrekt ist, seine Begründung jedoch frei erfunden ist. Eine Pipeline, die dies zur Überprüfung protokolliert, sammelt daher erfundene Indikatoren an, die einen späteren Analysten oder ein darauf feingetuntes Modell irreführen. Dies tritt selbst in beiden Baselines auf und wiederholt sich somit unabhängig von der Leistungsstufe. Gemini ist das klarste Beispiel. Es lieferte bei allen zehn Payloads MALICIOUS zurück, erfand jedoch die Details und meldete „eine Entschlüsselungsroutine an der Adresse 0x401490“ bei taskd und „eine benutzerdefinierte XOR-Entschlüsselungsschleife bei 0x4013b0“ bei netpulse, obwohl keine der beiden Adressen in der Scan-Eingabe existiert und keine der beiden Payloads eine Chiffre enthält. Die Erfindung konzentriert sich dort, wo die Evidenz am geringsten ist: in den x86-Payloads mit einzelner Funktion, deren Scan eine einzige reale Adresse offenlegt.
Die Unter-Erkennungen sind strukturell bedingt und kein Fehler einzelner Modelle. Die Fehlschläge der Budget-Klasse unterhalb der Eskalationsschwelle werden von Rationalisierung und Verwerfung dominiert, wo die Binärdatei neben sauberem Quellcode, einem node-gyp-build-Installationsskript, professionellen Metadaten und einer plausiblen README liegt – was alles für ein natives Modul unauffällig ist. Kein einzelnes Artefakt führt das Modell in die Irre. Jeder der 35 Fehlschläge stützt sich auf mindestens zwei dieser harmlosen Signale, 24 auf vier gleichzeitig, und 14 deuten die eigenen Importe der Binärdatei als Standard-Systemaufrufe um (Tabelle 6). LLMs können binäre Evidenzen isoliert analysieren [17, 18], aber hier ist der Fehlschlag kontextuell.
Tabelle 6. Zitierte harmlose Kontextsignale bei den 35 Erkennungsfehlern.
| Zitiertes harmloses Signal | Anzahl |
|---|---|
| Installationsskript (node-gyp-build) als Standard bezeichnet | 35/35 |
| Native-Addon / .node-Paketierung | 35/35 |
| Metadaten / angegebener Zweck „konsistent mit“ | 32/35 |
| sauberes lib/index.js JavaScript | 21/35 |
| Eigene Importe der Binärdatei als „Standard/normal“ umgedeutet | 14/35 |
Die Modi sind insofern vorhersehbar, als jedes Modell einen aufweist, obwohl keiner über die gesamte Ausgabe eines Modells hinweg deterministisch ist. Verteidiger können daher nicht einfach ein besseres Modell wählen. Die beiden Kategorien schlagen sogar unterschiedlich fehl: Während das Ignorieren (Dismissal) fast ausschließlich ein Verhalten von Open-Weight-Modellen ist (18 der 20 Gutachten ohne Profil von Gemma, Qwen und Llama fielen harmlos aus), ignorieren proprietäre Modelle selten und rationalisieren, relativieren oder konfabulieren stattdessen. Dies wirkt sich auf die Modellauswahl aus. Ein Testset aus wenigen nicht-obfuskierte oder eindeutigen Paketen lässt ein preiswertes Modell ausreichend erscheinen, verbirgt jedoch dessen Versagen beim obfuskierten Credential Stealer. Zudem tritt Obfuskation in echter Schadsoftware wiederholt auf: Das Profil „Binary String Obfuscation“ schlug bei 74 der 425 von OSV bestätigten Binärpaketen an (17 %). Das Testen nur von hochgradig mehrdeutigen Payloads hat den gegenteiligen Effekt: Es verurteilt ein brauchbares Modell und veranlasst ein Team dazu, zu viel Geld für ein Frontier-Modell auszugeben. Ein korrektes Urteil bedeutet auch kein korrektes Label, da Budget-Modelle häufig Schädlichkeit meldeten, aber die falsche Kategorie zuwiesen. Die Kategorie und die angegebenen Belege sind daher Triage-Hinweise und keine Ground Truth für die Zuordnung.
Die Baselines Sonnet 4.6 und Kimi K3 erkannten jeden Payload ohne Profile – zu etwa den dreifachen Kosten pro Scan im Vergleich zur Budget-Stufe. Letztere erreicht mit Profilen dieselbe Genauigkeit zum günstigeren Preis. Profile verändern auch das Token-Arbeitspensum der einzelnen Modelle (Tabelle 7), wobei die Richtung davon abhängt, wie schwer das Modell ohne Unterstützung arbeitet. Bei der Budget-Stufe führt der Evidenzblock von ca. 1.800 Tokens zu einem geringen Input-Aufschlag: Der Input steigt um 9 bis 34 %, während die Analyse ansonsten unverändert bleibt. Gründliche Modelle entwickeln sich hingegen in die entgegengesetzte Richtung. Opus, das ohne Profile etwa 10,5K Input-Tokens pro Scan durch das Anfordern zusätzlicher Dateien sammelt, sinkt mit ihnen auf 7,2K (−32 %), und Kimi erzeugt aus demselben Grund 13 % weniger Output-Tokens. Profile verursachen bei günstigen Modellen geringe, begrenzte Input-Kosten und sparen bei den teuren Modellen weit mehr ein.
Tabelle 7. Token-Nutzung pro Modell und Scan, gemittelt über die zehn Payloads, ohne und mit Fähigkeitsprofilen.
| Modell | Input (ohne Profile) | Input (mit Profilen) | Δ Input | Output (ohne Profile) | Output (mit Profilen) | Δ Output |
|---|---|---|---|---|---|---|
| Haiku 4.5 | 5,381 | 7,213 | +34% | 933 | 1,616 | +73% |
| Gemini 3.5 Flash | 7,000 | 7,614 | +9% | 493 | 488 | −1% |
| Gemma 3 12B | 5,866 | 7,623 | +30% | 420 | 506 | +21% |
| GPT-5.4-nano | 4,900 | 6,428 | +31% | 568 | 729 | +28% |
| Qwen3-Next 80B | 5,691 | 7,267 | +28% | 523 | 772 | +48% |
| GLM 5.3 Flash | 5,531 | 6,606 | +19% | 746 | 1,110 | +49% |
| Llama 3.1 8B | 4,884 | 6,402 | +31% | 302 | 351 | +16% |
| Sonnet 4.6 | 5,382 | 7,214 | +34% | 1,150 | 1,472 | +28% |
| Kimi K3 | 8,706 | 9,388 | +8% | 5,572 | 4,842 | −13% |
| Opus 4.6 | 10,551 | 7,214 | −32% | 1,254 | 1,370 | +9% |
Öffentliche OSV-Sicherheitsmeldungen [9] (ohne zurückgezogene Einträge) bestätigen 470 bösartige npm-Paketversionen, die eine native Binärdatei enthalten, insgesamt 604 Binärdateien. Nach Format unterteilen sie sich in PE (273), ELF (215, alle ohne Symboltabellen/stripped) und Mach-O (113), wobei 3 nicht identifiziert wurden; nach Compiler sind 363 natives C oder C++, 183 Go und 58 Rust. Die 241 Go- oder Rust-Binärdateien (40 % der Gesamtzahl) sind genau der Anwendungsfall, für den das laufzeitbewusste Gating der Engine entwickelt wurde, und 50 davon (alle ELF) sind mit UPX gepackt. Von diesen 470 bilden 425 in unserem gescannten, nicht zurückgezogenen Korpus das Evaluierungsset in der Erkennung.
Das harmlose Set wird ausschließlich anhand externer Signale definiert, ohne sich auf das eigene Urteil der Engine zu verlassen. Ein Paket qualifiziert sich, wenn es eine native Binärdatei enthält, mehr als eine Million monatliche Downloads aufweist und noch nie in OSV aufgetaucht ist. Dies ergibt 2.449 Paketversionen aus 287 verschiedenen Paketen. Der Scanner stuft 104 davon als hochgradig verdächtig oder höher ein, was einer Falsch-Positiv-Rate von 4,25 % der Paketversionen entspricht, die sich auf 6 verschiedene Pakete (2 % der 287) konzentrieren. Bei allen 104 schlugen auch die statischen Playbooks an, und bei 33 erreichte ein binäres Fähigkeitsprofil den Schwellenwert für bösartig oder kritisch. Die Eskalation spiegelte somit echte Signale in der Binärdatei, dem Packing, Abschnitten mit hoher Entropie und verdächtigen Importen wider. Die verbleibende Falsch-Positiv-Rate ist eine Eigenschaft statischer Binärmehrdeutigkeit.
Das Evaluierungsset besteht aus den 425 binärdateihaltigen Paketversionen aus dem bösartigen Set, die ein Produktionsurteil tragen (die nicht zurückgezogene Teilmenge in unserem bewerteten Korpus). Gegenüber diesen und dem harmlosen Set erreicht der Scanner am Eskalationsschwellenwert eine Precision von 0,77, einen Recall von 0,81 und einen F1-Wert von 0,79 (Tabelle 8). Der Recall wird anhand des Labels auf Paketebene von OSV bewertet, das das bösartige Artefakt nicht isoliert. Ein binäres Fähigkeitsprofil war für 74 % der Erkennungen verantwortlich, während der Rest aufgrund von JavaScript-, Metadaten- oder Quellcodesignalen eskaliert wurde.
Tabelle 8. Erkennungsleistung bei OSV-bestätigter Binär-Schadsoftware und dem harmlosen Validierungskorpus am Eskalationsschwellenwert.
| TP | FN | FP | TN | Precision | Recall | F1 |
|---|---|---|---|---|---|---|
| 345 | 80 | 104 | 2345 | 0.77 | 0.81 | 0.79 |
Der Scanner erkennt 345 der 425 Positiven; 60 werden als verdächtig eingestuft und 20 als harmlos freigegeben, was einer Nichterkennungsrate (Hard-Miss-Rate) von 4,7 % entspricht. Bei der Überprüfung der Metadaten der 20 freigegebenen Pakete – ohne die Binärdateien zu öffnen – bündelt etwa die Hälfte ein erkennbares Drittanbieter-Tool unverändert (ripgrep, node-pty, NSIS-Installer-Plugins), bei dem OSV die Bösartigkeit der Installations- oder JavaScript-Ebene zuschreibt. Der Rest liefert die eigene kompilierte CLI des Pakets aus, die wegen einer Account-Kompromittierungskampagne oder einer Warnung mit geringer Konfidenz geflaggt wurde. Die Fehlrate auf Binärebene ist somit geringer als der Hauptwert, obwohl wir nicht behaupten, dass jede freigegebene Binärdatei harmlos ist.
Die Produktionszahlen werden anhand der Labels auf Paketebene von OSV gemessen, die ein gesamtes Paket als bösartig kennzeichnen, ohne das verantwortliche Artefakt zu isolieren. Einige freigegebene Pakete sind falsch gelabelt, da sich ihr Payload in JavaScript oder in den Metadaten befindet und nicht in der Binärdatei. Der gemeldete Recall und die Falsch-Positiv-Rate beschreiben daher die Leistung gegenüber diesen Labels und nicht speziell die Binärerfassung, die etwas höher oder niedriger ausfallen könnte. Zudem befinden sich die gehosteten Modelle hinter kontinuierlich aktualisierten Endpunkten, sodass absolute Urteile eine einzelne Bereitstellungsepoche (Serving Epoch) widerspiegeln und driften können. Aus diesem Grund stützen sich unsere Schlussfolgerungen auf das Delta innerhalb einer Epoche zwischen Bedingungen ohne und mit Profil bei byte-identischen Eingaben und nicht auf einem einzelnen Urteil.
Die vier Fehlermodi – Rationalisierung, Ignorieren, Relativierung und Konfabulation – treten im gesamten Panel wiederholt auf und führen zu Erkennungsfehlern bei 50 % der Tests der Budget-Stufe am Eskalationsschwellenwert und 73 % bei der strengeren Einstufung als bösartig. Fähigkeitsprofile, die vorberechnetes Wissen über die Binärdomäne injizieren, bevor das Modell Schlussfolgerungen zieht, reduzieren Fehler am Eskalationsschwellenwert auf 4 % und eliminieren jedes fehlerhafte Gutachten als harmlos. Gleichzeitig halten sie Falsch-Positive im harmlosen Set bei 4,25 % der Paketversionen (104 von 2.449; 2 % der eindeutigen Pakete) – niedrig genug, um von einer Analystin oder einem Analysten manuell geprüft zu werden. Zusammen ermöglichen diese Maßnahmen einem weit günstigeren Modell, die Erkennungsgenauigkeit eines wesentlich teureren Modells zu erreichen.
Tabelle A1. Urteile ohne Fähigkeitsprofile (Urteil und Konfidenz), pro Modell und Payload. Dies ist die vollständige Matrix, die in Tabelle 3 und im Abschnitt „Ergebnisse ohne Fähigkeitsprofile“ zusammengefasst ist.
| Modell | buildchain | hashworker | netpulse | taskd | sysmon v1 | sysmon v2 | sysmon v3 | sysmon v4 | sysmon v5 | sysmon v6 |
|---|---|---|---|---|---|---|---|---|---|---|
| Claude Haiku 4.5 | HIGHLY_SUSP 0.85 | HIGHLY_SUSP 0.85 | MAL 0.92 | HIGHLY_SUSP 0.85 | MAL 0.98 | SUSP 0.72 | SUSP 0.65 | SUSP 0.65 | HIGHLY_SUSP 0.78 | SUSP 0.72 |
| Gemini 3.5 Flash | MAL 0.98 | MAL 0.99 | MAL 0.98 | MAL 0.98 | MAL 0.98 | MAL 0.95 | MAL 0.95 | MAL 0.95 | MAL 0.95 | MAL 0.95 |
| Gemma 3 12B | HIGHLY_SUSP 0.85 | HIGHLY_SUSP 0.85 | HIGHLY_SUSP 0.85 | HIGHLY_SUSP 0.85 | HIGHLY_SUSP 0.85 | BENIGN 0.95 | BENIGN 0.95 | BENIGN 0.95 | BENIGN 0.95 | BENIGN 0.95 |
| GPT-5.4-nano | SUSP 0.62 | SUSP 0.62 | SUSP 0.55 | SUSP 0.62 | SUSP 0.62 | SUSP 0.62 | BENIGN 0.78 | BENIGN 0.78 | SUSP 0.55 | SUSP 0.62 |
| Qwen3-Next 80B | BENIGN 0.98 | BENIGN 0.98 | BENIGN 0.98 | BENIGN 0.98 | MAL 0.98 | BENIGN 0.98 | BENIGN 0.98 | BENIGN 0.98 | BENIGN 0.98 | BENIGN 0.98 |
| GLM 5.3 Flash | HIGHLY_SUSP 0.70 | HIGHLY_SUSP 0.80 | MAL 0.90 | HIGHLY_SUSP 0.85 | MAL 0.90 | HIGHLY_SUSP 0.80 | SUSP 0.60 | HIGHLY_SUSP 0.70 | MAL 0.85 | MAL 0.85 |
| Llama 3.1 8B | MAL 0.95 | HIGHLY_SUSP 0.85 | SUSP 0.80 | BENIGN 0.95 | HIGHLY_SUSP 0.85 | BENIGN 0.95 | SUSP 0.70 | MAL 0.95 | BENIGN 0.95 | BENIGN 0.95 |
| Claude Sonnet 4.6 | MAL 0.93 | MAL 0.97 | MAL 0.95 | MAL 0.92 | MAL 0.97 | MAL 0.95 | HIGHLY_SUSP 0.82 | MAL 0.92 | MAL 0.95 | MAL 0.95 |
| Kimi K3 | MAL 0.90 | MAL 0.90 | MAL 0.95 | MAL 0.85 | MAL 0.93 | MAL 0.92 | MAL 0.92 | MAL 0.90 | MAL 0.92 | MAL 0.90 |
[1] Sonatype. “2026 State of the Software Supply Chain”. 2026. https://www.sonatype.com/state-of-the-software-supply-chain/introduction
[2] SourceCodeRed. “IndonesianFoods spam campaign publishes more than 86,000 malicious NPM packages”. 2025. https://sourcecodered.com/indonesianfoods-npm-worm/
[3] Kieran Miyamoto. “DPRK npm packages”. https://dprk-research.kmsec.uk/
[4] Amazon. “Amazon identifies North Korean hacker group behind open-source supply chain attacks”. 2026. https://aws.amazon.com/blogs/security/amazon-identifies-north-korean-hacker-group-behind-open-source-supply-chain-attacks/
[5] OpenSourceMalware. “PolinRider: DPRK Threat Actor Implants Malware in Hundreds of GitHub Repos”. 2026. https://github.com/OpenSourceMalware/PolinRider
[6] Zscaler. “Tracking Shai-Hulud: Inside the ChainDrop NPM Worm”. 2026. https://www.zscaler.com/blogs/security-research/tracking-shai-hulud-inside-chaindrop-npm-worm
[7] CISA. “Widespread Supply Chain Compromise Impacting npm Ecosystem”. 2025. https://www.cisa.gov/news-events/alerts/2025/09/23/widespread-supply-chain-compromise-impacting-npm-ecosystem
[8] Unit42. “The npm Threat Landscape: Attack Surface and Mitigations ”. 2026. https://unit42.paloaltonetworks.com/monitoring-npm-supply-chain-attacks/
[9] OSSF. “OpenSSF Malicious Packages”. https://github.com/ossf/malicious-packages
[10] VirusTotal. “What is YARA?”. 2026. https://docs.virustotal.com/docs/what-is-yara
[11] Semgrep. “Semgrep: lightweight static analysis for many languages”. https://semgrep.dev
[12] Levi, M. et al. “CyberPal.AI: Empowering LLMs with Expert-Driven Cybersecurity Instructions”. 2024. https://arxiv.org/pdf/2408.09304v1
[13] Ullah, S. et al. “LLMs Cannot Reliably Identify and Reason About Security Vulnerabilities (Yet?): A Comprehensive Evaluation, Framework, and Benchmarks”. 2024. https://arxiv.org/abs/2312.12575
[14] Traad, F.; Chehab, A. “To Ensemble or Not: Assessing Majority Voting Strategies for Phishing Detection with Large Language Models”. 2024. https://arxiv.org/abs/2412.00166
[15] Li, Q. et al. “Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information”. 2025. https://arxiv.org/abs/2510.01499
[16] Sharma, M. et al. “Towards Understanding Sycophancy in Language Models”. 2023. https://arxiv.org/abs/2310.13548
[17] Patsakis, C. et al. “Assessing LLMs in Malicious Code Deobfuscation of Real-world Malware Campaigns”. 2024. https://doi.org/10.1016/j.eswa.2024.124912
[18] Jelodar, H. et al. “Large Language Model (LLM) for Software Security: Code Analysis, Malware Analysis, Reverse Engineering”. 2025. https://arxiv.org/abs/2504.07137
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Cybersecurity, Sicherheit und Vertrauen und Security Threat Research
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.