Comodo Firewall Test Suite Einstellungen

[subset]

Hi,

Comodo hat eine neue Leaktestsuite veröffentlicht.
Download: http://www.testmypcsecurity.com/securityte...test_suite.html

Auf verschiedenste Weise werden damit Sicherheitsprogramme (hauptsächlich HIPS und Firewall) getestet, u.a. mit Hijacking, Injection, Rootkit Installation.
Mit dem Programm (clt.exe) werden automatisch nacheinander 34 Tests durchgeführt.
Für jeden bestandenen Test bekommt man 10 Punkte, am Ende also maximal 340.
Das Ergebnis wird dann immer im Fenster unten angezeigt, z.B. 180/340.

Testen sollte mal folgendermaßen:
- Systemsicherung ist sowieso selbstverständlich.
- AV vor dem Start der clt.exe deaktivieren, wenn es im Archiv vermeintliche Viren entdeckt (z.B. die Avira Heuristik)
- die clt.exe starten und falls notwendig (HIPS...) erlauben.
- bei allen folgenden Popups (von Firewall, HIPS usw.) verbieten wählen, aber die Antwort nicht speichern, damit nicht folgende Tests beeinflusst werden.
- und wenn möglich den clt.exe Prozess nicht killen, was z.B. mit KIS leicht passieren kann.

Die Ergebnisse meiner Tests nach dem Resultat.

Online Armor Free (XP, Vista) - 290/340
Online Armor Vollversion (XP) - 290/340
Mit Voreinstellungen.

KIS 2009 Interaktiv (XP) - 260/340
Mit Voreinstellungen im interaktiven Modus.

KIS 2009 (XP) - 30/340
Mit Voreinstellungen im Automatikmodus.

NIS 2009 (XP) - 30/340
Mit Voreinstellungen getestet.

Ausser Konkurrenz wegen akuten Cheatverdachts.
Comodo Internet Security (XP) - 310/340
Mit Voreinstellungen getestet.

Alle Tests habe ich mit identischen Snapshots von XP SP3 und Vista SP1 durchgeführt.
Würde mich interessieren, ob andere vor allem mit KIS im Automatikmodus und NIS auch zu solchen bescheidenen Ergebnissen kommen.

MfG

[Solution-Design]

Norton AntiBot

QUELLTEXT

COMODO Leaktests v.1.1.0.1
Date
18:25:45 - 08.11.2008
OS
Windows XP SP3 build 2600
1. Hijacking: ActiveDesktop    Vulnerable
2. Hijacking: AppinitDlls    Protected
3. Hijacking: ChangeDebuggerPath    Vulnerable
4. Hijacking: StartupPrograms    Vulnerable
5. Hijacking: SupersedeServiceDll    Protected
6. Hijacking: UIHost    Vulnerable
7. Hijacking: Userinit    Vulnerable
8. Hijacking: WinlogonNotify    Protected
9. Impersonation: BITS    Vulnerable
10. Impersonation: Coat    Vulnerable
11. Impersonation: DDE    Vulnerable
12. Impersonation: ExplorerAsParent    Vulnerable
13. Impersonation: OLE automation    Vulnerable
14. InfoSend: DNS Test    Vulnerable
15. InfoSend: ICMP Test    Vulnerable
16. Injection: AdvancedProcessTermination    Vulnerable
17. Injection: APC dll injection    Error
18. Injection: CreateRemoteThread    Error
19. Injection: DupHandles    Vulnerable
20. Injection: KnownDlls    Vulnerable
21. Injection: ProcessInject    Vulnerable
22. Injection: Services    Protected
23. Injection: SetThreadContext    Vulnerable
24. Injection: SetWindowsHookEx    Vulnerable
25. Injection: SetWinEventHook    Vulnerable
26. Invasion: DebugControl    Vulnerable
27. Invasion: FileDrop    Protected
28. Invasion: PhysicalMemory    Vulnerable
29. Invasion: RawDisk    Vulnerable
30. Invasion: Runner    Vulnerable
31. RootkitInstallation: ChangeDrvPath    Vulnerable
32. RootkitInstallation: DriverSupersede    Vulnerable
33. RootkitInstallation: LoadAndCallImage    Vulnerable
34. RootkitInstallation: MissingDriverLoad    Protected
Score
60/340

asquared

QUELLTEXT

COMODO Leaktests v.1.1.0.1
Date
18:41:37 - 08.11.2008
OS Windows XP SP3 build 2600
1. Hijacking: ActiveDesktop    Vulnerable
2. Hijacking: AppinitDlls    Vulnerable
3. Hijacking: ChangeDebuggerPath    Vulnerable
4. Hijacking: StartupPrograms    Vulnerable
5. Hijacking: SupersedeServiceDll    Vulnerable
6. Hijacking: UIHost    Vulnerable
7. Hijacking: Userinit    Vulnerable
8. Hijacking: WinlogonNotify    Vulnerable
9. Impersonation: BITS    Vulnerable
10. Impersonation: Coat    Vulnerable
11. Impersonation: DDE    Vulnerable
12. Impersonation: ExplorerAsParent    Vulnerable
13. Impersonation: OLE automation    Vulnerable
14. InfoSend: DNS Test    Vulnerable
15. InfoSend: ICMP Test    Vulnerable
16. Injection: AdvancedProcessTermination    Vulnerable
17. Injection: APC dll injection    Vulnerable
18. Injection: CreateRemoteThread    Vulnerable
19. Injection: DupHandles    Vulnerable
20. Injection: KnownDlls    Vulnerable
21. Injection: ProcessInject    Vulnerable
22. Injection: Services    Vulnerable
23. Injection: SetThreadContext    Vulnerable
24. Injection: SetWindowsHookEx    Vulnerable
25. Injection: SetWinEventHook    Vulnerable
26. Invasion: DebugControl    Vulnerable
27. Invasion: FileDrop    Vulnerable
28. Invasion: PhysicalMemory    Vulnerable
29. Invasion: RawDisk    Vulnerable
30. Invasion: Runner    Vulnerable
31. RootkitInstallation: ChangeDrvPath    Vulnerable
32. RootkitInstallation: DriverSupersede    Vulnerable
33. RootkitInstallation: LoadAndCallImage    Vulnerable
34. RootkitInstallation: MissingDriverLoad    Protected
Score
10/340

Als HIPS-Test eher fragwürdig.

Der Beitrag wurde von Solution-Design bearbeitet: 08.11.2008, 18:51

[Xlice]

Zone Alarm Extreme Security Beta:

190/340

[Gast_Scrapie_*]

Hi

Outpost FW Pro v6.5.x:

QUELLTEXT

1. Hijacking: ActiveDesktop    Vulnerable
2. Hijacking: AppinitDlls    Protected
3. Hijacking: ChangeDebuggerPath    Vulnerable
4. Hijacking: StartupPrograms    Vulnerable
5. Hijacking: SupersedeServiceDll    Vulnerable
6. Hijacking: UIHost    Vulnerable
7. Hijacking: Userinit    Protected
8. Hijacking: WinlogonNotify    Protected
9. Impersonation: BITS    Vulnerable
10. Impersonation: Coat    Protected
11. Impersonation: DDE    Protected
12. Impersonation: ExplorerAsParent    Protected
13. Impersonation: OLE automation    Protected
14. InfoSend: DNS Test    Protected
15. InfoSend: ICMP Test    Protected
16. Injection: AdvancedProcessTermination    Vulnerable
17. Injection: APC dll injection    Protected
18. Injection: CreateRemoteThread    Protected
19. Injection: DupHandles    Vulnerable
20. Injection: KnownDlls    Vulnerable
21. Injection: ProcessInject    Protected
22. Injection: Services    Protected
23. Injection: SetThreadContext    Protected
24. Injection: SetWindowsHookEx    Protected
25. Injection: SetWinEventHook    Protected
26. Invasion: DebugControl    Protected
27. Invasion: FileDrop    Vulnerable
28. Invasion: PhysicalMemory    Protected
29. Invasion: RawDisk    Vulnerable
30. Invasion: Runner    Protected
31. RootkitInstallation: ChangeDrvPath    Vulnerable
32. RootkitInstallation: DriverSupersede    Protected
33. RootkitInstallation: LoadAndCallImage    Protected
34. RootkitInstallation: MissingDriverLoad    Protected
Score    220/340

Scrapie

[subset]

Hi,

ein kleines Update meiner Ergebnisse.
Alle Programme wurden mit Ausnahme der genannten Änderungen mit den Voreinstellungen getestet.

Online Armor, clt.exe Run Safer (XP) - 340/340
Online Armor (Free) (XP, Vista) - 290/340
KIS 2009, interaktiver Modus (XP) - 260/340
Malware Defender (Vista) - 240/340
Outpost Firewall Pro, erweiterter Host-Schutz (XP) - 230/340
Real-time Defender (XP) - 220/340
Outpost Firewall Pro, "optimaler" Host-Schutz (XP) - 170/340
NIS 2009, erweiterte Ereignisüberwachung (XP) - 120/340
a-squared Anti-Malware (XP) - 70/340
a-squared Anti-Malware, paranoider Modus (XP) - 30/340*
KIS 2009, Automatikmodus (XP) - 30/340
NIS 2009 (XP) - 30/340

* Ein seltsames Ergebnis mit Erklärungsbedarf, hab's aber zweimal getestet.

MfG

Der Beitrag wurde von subset bearbeitet: 08.11.2008, 23:04

[Solution-Design]

Alle Programme wurden mit Ausnahme der genannten Änderungen mit den Voreinstellungen getestet.
a-squared Anti-Malware (XP) - 70/340
a-squared Anti-Malware, paranoider Modus (XP) - 30/340*
* Ein seltsames Ergebnis mit Erklärungsbedarf, hab's aber zweimal getestet.

Und wieso kommt bei mir da im paranoiden Modus 10/340 heraus? Seltsam das...

[Julian]

Wahrscheinlich, weil das IDS kein HIPS im eigentlichen Sinne ist und wohl nicht so viel abzufangen scheint.
Dass das überhaupt nichts heißen muss, sieht man ja an der realen Erkennung von a². Sich nicht verrückt machen lassen...

Btw: Kann gerade schlecht selber testen, da sich das Netzteil von meinem PC verabschiedet hat und ich nur von einer ziemlichen Gurke aus schreiben kann, die
1. nicht mir gehört und
2. nicht für irgendwelche Tests missbraucht werden sollte.

[subset]

Hi,

solange das Netzteil raucht, muss ich hier wohl alleine weitermachen.
Also das nächste Update mit den neuesten Ergebnissen.

Online Armor, clt.exe Run Safer (XP) - 340/340
Online Armor (Free) (XP, Vista) - 290/340
System Safety Monitor (Vista) - 270/340
KIS 2009, interaktiver Modus (XP) - 260/340
DefenseWall HIPS, clt.exe Untrusted (Vista) - 250/340
Malware Defender (Vista) - 240/340
EQSecure 3.41, Alcyon's Regeln (XP) - 230/340
Malware Defender (XP) - 230/340
Outpost Firewall Pro, erweiterter Host-Schutz (XP) - 230/340
Real-time Defender (XP) - 220/340
KIS 2009, interaktiver Modus (Vista) - 210/340
EQSecure 3.41 (XP) - 170/340
Outpost Firewall Pro, "optimaler" Host-Schutz (XP) - 170/340
GeSWall Pro, clt.exe isoliert (XP) - 150/340
NIS 2009, erweiterte Ereignisüberwachung (XP) - 120/340
a-squared Anti-Malware (XP) - 70/340
a-squared Anti-Malware, paranoider Modus (XP) - 30/340 ???
KIS 2009, Automatikmodus (XP) - 30/340
NIS 2009 (XP) - 30/340

Irgendwie seltsam, hat keiner Lust seine AVG-Avira-BitDefender-ESET-F-Secure-GDATA-McAfee Suite zu testen?
Die bieten doch alle sicher guten Rundumschutz, sind ja schließlich Securitysuiten.
Sonst sind immer alle so gierig auf Testergebnisse...

MfG

[Solution-Design]

Wahrscheinlich, weil das IDS kein HIPS im eigentlichen Sinne ist und wohl nicht so viel abzufangen scheint.

Ich wundere mich nur über subsets Ergebnisse. Bei mir sieht das unter XP-SP3 in einer VM eben ganz anders aus (siehe oben).

[rolarocka]

Sandboxie - Create New Sandbox (XP): 160/340

190/340 wenn clt.exe das einzige Programm ist, daß in Sandboxie laufen darf.

Der Beitrag wurde von rolarocka bearbeitet: 09.11.2008, 23:23

[Gast_Nightwatch_*]

F-Secure AntiVirus 2009 (natürlich ohne Firewall) unter Vista SP1: 130/340


EDIT: Hat jemand zufällig die IS-Version laufen und könnte mal testen, wie´s dann ausschaut?

Der Beitrag wurde von Nightwatch bearbeitet: 09.11.2008, 23:28

[Gast_Scrapie_*]

Atguard (FW aus 1999 und Ursprung von NIS) 40/340

*rofl*

[Caimbeul]

Danke für den Hinweis.

- bei allen folgenden Popups (von Firewall, HIPS usw.) verbieten wählen, aber die Antwort nicht speichern, damit nicht folgende Tests beeinflusst werden.

Ich sehe zwar den theoretischen Nutzen Popuphinweise gleich zu behandeln in dem man "verbieten" wählt. Jedoch wäre es realistischer sich nach der Art des Popups zu richten und zu wählen, was man bei einer gewollten Installation auch klicken würde, nur leider wäre das wohl zu subjektiv, ich glaube aber wir hätten durchaus veränderte Resultate.

[chris30duew]

So nebenbei weiss ich nicht in wiefern tests unter vista aussagekräftig sind, denn vista alleine ohne irgend ein antivirenprogramm schafft schon mal 100/340.

[rolarocka]

ThreatFire - Standard Stufe 3 (XP): 20/340
Allerdings 8 Alerts mit Allow bestätigt.

ThreatFire - Stufe 5 (XP): 30/340
Allerdings 21 Alerts mit Allow bestätigt.

Der Beitrag wurde von rolarocka bearbeitet: 09.11.2008, 23:46

[Caimbeul]

So nebenbei weiss ich nicht in wiefern tests unter vista aussagekräftig sind, denn vista alleine ohne irgend ein antivirenprogramm schafft schon mal 100/340.

Danke für die Info.

Zum Vergleich mit XP, sofern hier "nackt" andere Punktzahlen erreicht werden, wovon ich ausgehe, ist die Aussagekraft damit gar nicht mehr gegeben.

Man müsste also sofern XP nicht die gleichen Grundpunkte erzielt also zwei Gruppen machen. Eine Gesammttabelle mit XP und Vista ist wohl eher irreführend.

Edit: Wobei das irgendwie vom Namen her ein Firewall-Test ist aber von der Art her wohl eher ein HIPS-Test. Eine Firewall in der Grundüberlegung soll ja vor Angriffen von Außen schützen oder? Leaktest sind m.E. eher die Domäne von HIPS und für eine Firewall vollkommen uninteressant.

Der Beitrag wurde von Caimbeul bearbeitet: 09.11.2008, 23:46

[Gast_Nightwatch_*]

Zum Vergleich mit XP, sofern hier "nackt" andere Punktzahlen erreicht werden, wovon ich ausgehe, ist die Aussagekraft damit gar nicht mehr gegeben.

Richtig. Aber selbst mit dem gleichen Betriebssystem lassen sich unterschiedliche Ergebnisse erzielen. Beim "First Try" mit F-Secure hatte ich 150/340. Beim zweiten Mal 120/340. Das niedrigste war 90/340.
Wenn Chris aber sagt, dass Vista schon allein 100/340 erreicht, müsste F-Secure in diesem Versuch mein System um 10 Punkte anfälliger gemacht haben
Habe dann einfach nach 10 Versuchen den Mittelwert gebildet. Alles unter Vista und SP1.

Der Beitrag wurde von Nightwatch bearbeitet: 09.11.2008, 23:57

[Caimbeul]

Das klingt ja wirklich sehr komisch.

Ein Mittelwert ist m.E. bei so einem Test vollkommen inaktzeptable und keinesfalls aussagefähig. Was automatisch dazu führt, dass eigentlich jeder Wert der bei gleichem Testaufbau abweicht ohne Erklärung sofort hinfällig ist. Leider haben wir wohl keinen Programierer da, der Licht in das unterschiedliche Verhalten bringen könnte oder?

PS: Link zur Wilders-Security Diskussion zum gleichen Thema http://www.wilderssecurity.com/showthread.php?t=224745

Der Beitrag wurde von Caimbeul bearbeitet: 10.11.2008, 00:02

[subset]

Hi,

meine Tests habe ich mit den folgenden Einstellungen gemacht, um für alle Programme möglichst die gleichen Bedingungen zu schaffen.
XP: Adminrechte; Windows Firewall deaktiviert.
Vista: Adminrechte; Windows Firewall, Windows Defender und UAC deaktiviert.

Das mit dem Nichtspeichern der Entscheidungen ist reine Erfahrungssache während der ersten Tests.
Die Verfälschung der Ergebnisse durch das Speichern würde bei lauter einzelnen Anwendungen wahrscheinlich keine Rolle spielen, aber die Tests bestehen aus lauter einzelnen DLLs die von einer EXE nacheinander geladen werden.
Verbietet man also nur das Laden der ersten DLL, dann geht der Test weiter.
Verbietet man aber schon bei der ersten Meldung global das Laden von DLLs für den Prozess, na dann ist man schnell fertig.

Sandboxie - Create New Sandbox (XP): 160/340

Wenn ich mit einer Sandbox mit Internetzugriff teste, dann erhalte ich das Ergebnis 140/340.



Bloß es stimmt nicht. Rot markiert ist als Beispiel der FileDrop Test.

"27. Invasion: FileDrop
What does it do ? Tries to drop itself to system32 directory.
What is the risk ? If the virus can drop itself into the system32 folder, it can easily infect one of the critical files in it too."

Die Datei wird in der Sandbox abgeworfen und das Testprogramm wertet das als Erfolg.
Da die Datei aber nicht im echten System32 gelandet ist, ist der Test eigentlich bestanden.
Sandboxie ist also mit diesem Testprogramm nur sehr schwer zu testen, da man oft nicht weiß, ist es ein echtes Versagen oder nur ein scheinbares Versagen bedingt durch die "Parallelwelt" der Sandbox.

Threatfire kann man mit dem Programm praktisch nicht testen, bedingt durch die erwähnte Konstruktion (eine EXE die viele DLLs lädt). TF wird das schnell zu blöd und es will den ganzen Prozess killen und die Dateien einkassieren, typisch Verhaltensblocker...

@ Caimbeul
Bei uns in Österreich gibt es den Begriff Dampfplauderer. Kennst du diesen Begriff?
Was glaubst du warum ich schreibe "Die Ergebnisse meiner Tests..."
Von mir aus könntest du hier vollkommen andere Ergebnisse haben, aber dafür müsstest du erst mal wenigstens einen Test machen.

MfG

Der Beitrag wurde von subset bearbeitet: 10.11.2008, 02:48

[subset]

Naja,

die Idee mit dem Aufteilen nach XP und Vista war gar nicht soo schlecht.
Die Tests von XP und Vista ohne Schutz, also ohne Windows Firewall usw. (s.o.) habe ich auch hinzugefügt, so kann man die Potemkinschen Dörfer leichter erkennen.
Und natürlich einige neue Ergebnisse.

Windows XP 32 Bit

Online Armor (Free), clt.exe Run Safer - 340/340
Online Armor (Free) - 290/340
KIS 2009, interaktiver Modus - 260/340
EQSecure 3.41, Alcyon's Regeln - 230/340
Malware Defender - 230/340
Outpost Firewall Pro, erweiterter Host-Schutz - 230/340
Real-time Defender - 220/340
EQSecure 3.41 - 170/340
Outpost Firewall Pro, "optimaler" Host-Schutz - 170/340
GeSWall Pro, clt.exe isoliert - 150/340
NIS 2009, erweiterte Ereignisüberwachung - 120/340
a-squared Anti-Malware - 70/340
KIS 2009, Automatikmodus - 30/340
NIS 2009 - 30/340
F-Secure IS - 20/340
XP ohne Schutz - 20/340

Windows Vista 32 Bit

Online Armor (Free), clt.exe Run Safer - 340/340
Online Armor (Free) - 290/340
System Safety Monitor - 270/340
DefenseWall HIPS, clt.exe Untrusted - 250/340
Malware Defender - 240/340
KIS 2009, interaktiver Modus - 210/340
G DATA IS - 130/340
Panda IS - 120/340
Vista ohne Schutz - 100/340

MfG