ProtectStar sucht..., externe Testpersonen, transparentere Resultate, uvm. Einstellungen

[ProtectStar]

Liebe Rokop Security Administration,
liebe Rokop Security Mitglieder.

In der Vergangenheit sind wir durch Beiträge über unser Unternehmen auf Rokop Security positiv aufmerksam geworden. .Wir danken all denjenigen, die sowohl positive als auch weniger positive Beiträge über unsere Unternehmung verfasst haben, denn jede Art von Feedback und Kritik konnte als ein Verbesserungsvorschlag aufgenommen und teils umgesetzt werden.

Zudem ist es immer wieder hilfreich gewesen, interessante Themen und Beiträge auf diesem Forum zu lesen. Vieles hat uns dabei inspiriert.

Eine Säule der ProtectStar, Inc. ist das unabhängige ProtectStar-Testcenter. Es überprüft in regelmäßigen Abständen IT-Sicherheitsprodukte oder auch Mobiltelefone auf deren Schutzfunktionen.
Einige Testresultate wurden international - auch durch Zeitschriften wie bspw. die CHIP - publiziert.
Um eine Unabhängigkeit aufrecht erhalten zu können, sind grundsätzlich alle durchgeführten Tests und Analysen inkl. Der Veröffentlichung kostenlos für Hersteller.
Allerdings ist es und aus diesem Grund nicht immer möglich, die Vielzahl an Sicherheitslösungen auf dem IT-Markt zu testen, da die Vielzahl notwendigen Testpersonen nicht zur Verfügung steht bzw. auch das Budget des ProtectStar Managements nicht immer im vollen Zuge bereitgestellt werden kann.

Es wurde in Vergangenheit immer wieder festgestellt, daß ein Produkt auf unterschiedlichen Testsystemen unterschiedliche Resultate im Bereich der Performance mit sich brachte. Dabei spielte es oftmals keine Rolle, ob es sich bei den Testsystemen um aktuelle oder ältere Computersysteme handelte.
Ebenfalls konnte festgestellt werden, dass je mehr Testpersonen ein Produkt unabhängig testen, die Resultate viel genauer, komplexer und transparenter wurden.

Für das neue Jahr 2007 haben wir daher geplant in die künftigen Tests - vor allem bei Produkten & Lösungen für Heimanwender - externe Tester oder sogar ganze Foren wie bspw. Rokop-Security zu integrieren. Das Rokop Security Forum ist zunächst auch das erste Forum, welches wir offiziell ansprechen möchten.

Wir versprechen uns von einer solchen Aktion transparentere und detailliertere Resultate.

Wir möchten damit auch einen ersten Grundstein dafür legen, dass Tests sowohl von professionellen als auch unerfahrenen Anwendern nachvollzogen und verstanden werden können.
Seit zwei Jahren erhält das ProtectStar-Testcenter immer wieder Anfragen und Feedback von Privatpersonen und Firmen, welche sich über die unterschiedlichen Testresultate in den bekannten Fachmagazinen – und Zeitschriften äußern. Für die Mehrheit ist es nicht nachvollziehbar, aus welchen Gründen eine aktuelle Personal Firewall in dem einen Magazin auf dem ersten Platz, in einem anderen auf dem letzten Platz und in einem weiteren auf einem der mittleren Plätze steht.
Auch erfahren wir, dass das Hauptaugenmerk bei Analysen eines IT-Sicherheitsprodukts vor allem auf Sicherheit beruhen sollte, und weniger auf Benutzerfreundlichkeit, optischer Erscheinungen oder auf die Länge des Handbuchs, etc.

In den kommenden Monaten haben wir beispielsweise geplant folgende Lösungen aus dem "Heimanwender-Bereich" zu testen:

1. McAfee Internet Security 2007
2. F-Secure Internet Security 2007
3. Kaspersky Internet Security 6.0
4. Panda Internet Security 2007
5. Agnitum Outpost Firewall PRO
6. Norton Personal Firewall
7. Eset - Nod32
8. AVG Anti-Spyware
9. AVG Internet Security
10. GData Internet Security
11. ZoneAlarm
12. uvm.

Dabei würden wir uns auf eine Unterstützung aller Rokop Security Mitglieder freuen. Wie diese Tests koordiniert und ablaufen könnten (sollten Teilresultate bereits öffentlich auf dem Forum publiziert werden oder nicht, etc. etc.), sollte schrittweise besprochen werden.
Im Gegenzug könnten wir uns vorstellen, jedem Tester eine Vollversion (entweder via Freischaltcode oder Retailbox) des jeweiligen Produktes zukommen zu lassen.

Im Namen von ProtectStar möchte ich mich nochmals recht herzlich bei allen „Rokoplern“ bedanken und wünsche für das neue Jahr 2007 viel Glück, Gesundheit, Liebe und Erfolg.

i.A.
Joe Koenig
Test Lab
ProtectStar, Inc.
testcenter@protectstar.com

[Gast_Dylan_*]

Das ganze muß wohl von den Admins hier erst abgesegnet werden,hört sich aber sehr interessant an.

[Heili24]

... hört sich interessant an, aber das letzte Wort haben die Chefs....

... auch für nicht versierte Anwender

[Gast_Faith_*]

ich finde die Idee nicht schlecht und ich ich denke, dass würde dem Rokop Forum sehr gut tun.

[Gast_Bachus_*]

Für die Mehrheit ist es nicht nachvollziehbar, aus welchen Gründen eine aktuelle Personal Firewall in dem einen Magazin auf dem ersten Platz, in einem anderen auf dem letzten Platz und in einem weiteren auf einem der mittleren Plätze steht.
Auch erfahren wir, dass das Hauptaugenmerk bei Analysen eines IT-Sicherheitsprodukts vor allem auf Sicherheit beruhen sollte, und weniger auf Benutzerfreundlichkeit, optischer Erscheinungen oder auf die Länge des Handbuchs, etc.

In den kommenden Monaten haben wir beispielsweise geplant folgende Lösungen aus dem "Heimanwender-Bereich" zu testen:

1. McAfee Internet Security 2007
2. F-Secure Internet Security 2007
3. Kaspersky Internet Security 6.0
4. Panda Internet Security 2007
5. Agnitum Outpost Firewall PRO
6. Norton Personal Firewall
7. Eset - Nod32
8. AVG Anti-Spyware
9. AVG Internet Security
10. GData Internet Security
11. ZoneAlarm
12. uvm.

Ah ich finde die Sachen besonders gut. Mal sehen was der Staff von Rokop zu sagt. Das Computermagazine
gewisse Geldquellen verwenden ist ja schon seit Jahren bekannt. Ich fände es gut das man nun Licht in das dunkel bringt wer die wahre Königin ist
Dann wünsch ich mir das ProtectStar der moderne Robin Hood wird. Nur wie gesagt muss sicherlich auch der Staff von Rokop mal darüber schlafen und entscheiden. Ich selber kann ProtectStar nicht beurteilen. Ich denke mal das Rokop die Mittel hat um die Seriosität von ProtectStar zu ermitteln.

[Voyager]

@ProtectStar

Wie wirken sich denn dann die Tests anderer Produkte auf die eigens angebotenen Sicherheitslösungen auf protectstar.com aus ? Ich bin da etwas skeptisch, da sich diese Tests anderer Produkte auf die Bewerbung der eigenen Produkte sicherlich negativ auswirken und ich da keine Unabhängigkeit dieser Tests sehe.

[Gast_Bachus_*]

@ProtectStar

Wie wirken sich denn dann die Tests anderer Produkte auf die eigens angebotenen Sicherheitslösungen auf protectstar.com aus ? Ich bin da etwas skeptisch, da sich diese Tests anderer Produkte auf die Bewerbung der eigenen Produkte sicherlich negativ auswirken und ich da keine Unabhängigkeit dieser Tests sehe.

Den gedanken hatte ich auch gerade Bond. Ich frage mich warum hier nicht NIS 2007 steht
http://www.protectstar.com/deutsch/securit...fehlungen.shtml

[Heike]

mal nen Link für die, die testen wollen: Fehlerberichte - wie Sie Softwarefehler melden sollten
paßt ja ungefähr
"Norton Internet Security 2007 ist Mist" würde dann nicht reichen, muß nachvollziehbar begründet werden.
@bond, das kann eh keiner, also keine Angst.

@ProtectStar, ich wünsche Dir, verwertbare Berichte zu erhalten, wenn es denn realisiert werden sollte.

[Gast_Bachus_*]

Ich gehe einmal von aus das ProtectStar seriös arbeitet. Dann würde es mich nicht wundern wenn sich herausstellen würde das billig Teile die kein Hund kennt die gleiche Schutzwirkung bieten wie Sachen die richtig was kosten. Auf jeden Fall könnte ich vor neugier nicht schlafen dann.
Ich habe schon mal aus Vorsicht geschaut ob ProtectStar Winantivirus als Tip auf homepage hat

[ProtectStar]

An alle ein gutes und glückliches Jahr 2007.

Vielen Dank für die zahlreichen Beiträge und das trotzt Silvester/Neujahr
Es freut uns, dass die Idee - Tests transparenter und verständlicher zu machen - positiv angenommen wird.

Das Unternehmen ProtectStar wurde anfangs als Consulting-Unternehmen gegründet. In der Planung standen damals bereits, langfristig kostengünstige Sicherheitslösungen zu entwickeln.
Durch Kunden wurde damals die Anregung geäußerst, doch Sicherheitslösungen (bevorzugt Firewalls, AV-Scanner, IDS/IPS Systeme) unabhängig zu testen, bevor diese dann bei den jeweiligen Kunden im Einsatz kommen. So wurde innoffiziell das ProtectStar-Testcenter geboren.
Durch Umwege gelangen einige Resultate und Berichte bei dem jeweiligen Hersteller, Testberichte wurden erstellt, publiziert und nach und nach verbessert.
Seit diesem Zeitpunkt war ProtectStar durch verschiedene Pressemitteiungen Dritter international als unabhängiges Testinstitut bekannt. Was gleichzeitig wieder Probleme mit sich führte, denn "Unabhängige" könnten daher keine eigenen Sicherheitslösungen entwickeln oder gar Produkte an Unternehmen empfehlen.

Unserem Marketing haben wir zu verdanken, daß ProtectStar nun alle Bereiche (unabh. Testcenter, Quality Department, Softwareentwicklung, Consulting, etc.) unter einen Hut bringen kann.

BOND7 hat daher vollkommen mit seinem Beitrag recht, denn für Außenstehende ist es oftmals nicht transparent genug wie denn dieser "Hut" aufgebaut ist.
Offengesprochen ist jedes Department von den anderen getrennt - nicht nur räunlich, sondern auch geografisch.

Dennoch gibt es auch hier Bestrebungen, durch neue Firmen und Webseiten, eine Trennung sichtbar zu machen. Beispielsweise könnte das Testcenter künftig als eigene gemeinnützige Stiftung agieren.

Selbstverständlich wurden unsererseits auch Fehler gemacht, denn einige Testberichte waren beginns zu oberflächlich geschrieben oder man hätte einige Themen detaillierter erläutern können.
In Zukunft jedoch soll sich dies alles - vor allem mit Unterstützung von externen Testern, Foren, etc. - grundlegend ändern. Es sollen transparente, verständliche, "wasserdichte" und qualitativ hochwertige Testberichte entstehen und veröffentlicht werden und gleichzeitg soviele aktuelle Sicherheitslösungen wie nur möglich in einem Jahr getestet werden... dann könnte auch die hier vermeintlich genannte "ProtectStar-Empfehlungs-Link-Webseite" erweitert werden.

Künftig würden wir gerne - wie bereits gestern kurz erwähnt - mit Einzeltests beginnen. Erfahrungsgemäß sind Einzeltests wichtiger, als Vergleichstests, da man bei Einzeltests detailliertere Resultate über eine Lösung erhält, weil sich die Testpersonen ausschließlich nur mit einem einzigen Produkt beschäftigen.
Wenn dann alle Einzeltest-Resultate archiviert werden, können dann relativ problemlos Vergleichstests verfasst werden.

Es sollen aber auch neue Testtechniken zum Einsatz kommen, um eindeutige Resultate zu erhalten.
Um einige interessante Test-Erkenntisse und -Erfahrungen der letzten Jahre kurz zu erwähnen einmal folgendes:

1. Es ergeben sich oftmals unterschiedliche Testresultate bei AV-Scannern wenn man einzelne Schädlinge
a.) umbennent (Dateiformat)
b.) in Archive packt (rar, zip, etc.)
c.) mit unterschiedlichen Versionen von Packern "packt"
d.) die Schädlinge von der Festplatte aus scannen lässt oder von USB-Sticks, CD-Rom, etc.

2. Oftmals hatten/haben auch AV-Scanner Schwierigkeiten eine gewisse Anzahl an gepackten Schädlingen zu entdecken, wenn diese sich auf einer CD/ DVD in einem CD/DVD-Laufwerk befinden. Hier wurden im Vergleich zur Festplatte manchmal bis zu mehrere Dateien nicht gescannt bzw. Schädlinge gefunden (-> offenbar kommen einige Scanner mit CD-Rom Treibern & Co. nicht immer zu recht).

3. Es wurde einmal ein großes Schädlingsarchiv erstellt und von unterschiedlichen aktuellen AV-Scannern überprüft. Das Resultat sah dann so aus (Anzahl der gefundenen Schädlinge):

AV-Scanner Nr.1: 16612
AV-Scanner Nr.2: 7709
AV-Scanner Nr.3: 1746
AV-Scanner Nr.4: 1936
AV-Scanner Nr.5: 1959
AV-Scanner Nr.6: 1513
AV-Scanner Nr.7: 1919
AV-Scanner Nr.8: 1386
AV-Scanner Nr.9: 1480
AV-Scanner Nr.10: 1423
AV-Scanner Nr.11: 4350

Unmengen an Gesprächen mit den Herstellern der jeweiligen AV-Produkte brachten kein nennenswertes Resultat. Bis heute ist nicht eindeutig geklärt, wie solche gravierenden Unterschiede entstehen.

4. Personal Firewall (PF) werden gerne mit Portscans oder Diensten wie SecuritySpace, etc. von Fachzeitschriften überprüft. Hier ist bspw. aufgefallen, dass die PFs oftmals falsch installiert werden (z.B. das von der PF nach der Installation wird vom Tester als vertrauenswürdig eingestuft). Dies hat zur Folge, dass die PF gewissen Netzwerkverkehr zulässt und so der Tester auch offene Ports finden kann - wenn er innerhalb seinen Netzwerkes testet - und die PF damit qualifiziert.
Auch ist aufgefallen, daß Tester einfach den Dienst von SecuritySpace in Anspruch nehmen und als Resultat dann "no found bugs, etc." erhalten... was der Tester nicht wuße, daß sein Rechner von einer weiteren Firmenfirewall geschützt wurde und die Anfragen gar nicht bis zu seinem Testrechner gelangeten.

5. Eine PF hat eine Sícherheitskücke, dennoch zeichnet sich die PF durch eine hohe Benutzerfreundlichkeit und einem beiliegenden Handbuch aus, daher wird sie empfohlen/ausgezeichnet.

Dieser kleine Ausschnitt soll verdeutlichen, wie schwierig und vor allem zeitaufwendig es ist vernünftige Tests zu entwickeln und Testberichte niederzuschreiben.

ProtectStar möchte schnellstmöglich Klarheit schaffen und die komplexe Thematik grundlegend anzugehen.

Herzlichen Dank für eure Aufmerksamkeit,

i.A.
Joe Koenig
Test Lab
ProtectStar, Inc.
testcenter@protectstar.com

[Voyager]

Zu 3: Das liegt daran weil die Scanner unterschiedliche "Zählungsweisen" der Dateien/Funde haben, z.b. der Scanner A zählt alle Dateien in/aus Archiven mit in der Gesamtsumme, der Scanner B nicht.
Zu 4: Die Softwarelösungen werden teilweise auch während der Testphase unterschiedlich behandelt, die eine Lösung wird bevorzugt indem extra Einstellungen vorgenommen werden was die Qualität der Lösung dann erhöht und bei der anderen Softwarelösung werden nicht diesselbe Grundsätze angelegt wodurch diese dann natürlich im Ergebnis schlechter ausfällt . Als Beispiel sei hier das Programmstart/Komponentenmonitoring der Firewall genannt, bei einer war es aktiv und bei der anderen nicht Wenn man dann die 20 Leaktest POCs drauf ansetzt ist es logisch das man einen klaren Gewinner erhält und ein klaren Verlierer , sowas muss auch aufhören

[PcVersteher]

Hallo zusammen

@ProtectStar

Wie wirken sich denn dann die Tests anderer Produkte auf die eigens angebotenen Sicherheitslösungen auf protectstar.com aus ? Ich bin da etwas skeptisch, da sich diese Tests anderer Produkte auf die Bewerbung der eigenen Produkte sicherlich negativ auswirken und ich da keine Unabhängigkeit dieser Tests sehe.

Dieser Meinung möchte ich mich uneingeschränkt anschließen.
Ich halte von der ganzen Aktion nichts, solange ein komerzieller Hintergrund vorhanden ist.

mfg PcVersteher

[Gast_rock_*]

Aus der Homepage ProtectStar Innovation AWARD ... Die Kaffeemaschine von Morgen ...

[ProtectStar]

@bond7:

zu 3: Genau hier scheiden sich aber bereits die Meinungen, denn i.d.R. behauptet der Hersteller, dass er jeden Schädling zählt. D.h. befinden sich in 1ner zip-Datei 100 Schädlinge, so werden auch einhundert gefundene Schädlinge angezeigt und nicht ein Schädling (verseuchte zip-Datei).

Fragwürdig ist jedoch vielmehr, wie es dann exakte Resultate geben kann, wenn die Vermutung besteht, dass evtl. jeder AV-Scanner die gefundenen Schädlinge anders zählt. So lange also ein Schädling bspw. als exe-Datei einzeln von dem AV-Scanner überprüft wird ist die Wahrscheinlichkeit relativ hoch, ein genaues Ergebniss bezgl. der Erkennungsrate zu erhalten. Packt man mehrere Schädlinge mit unterschiedlichen Dateiformaten in eine Datei, so erhält man dann eher ungenauere Resultate.
Die Frage ist jedoch, wie gehen prof. Kriminelle in der Praxis um? Kann der AV-Scanner hier ausreichend Schutz bieten?

Es ist in diesem Fall eine theoretische Grundsatz-Frage, die besser unbeantwortet bleiben sollte.
Man sollte eher eine Sicherheitslösung von sovielen Seiten wie nur möglich "beleuchten" und analysieren, damit Hersteller auch gleichzeitig vernünftige und nachvollziehbare Verbesserungsvorschläge für zukünftige Lösungen erhalten.


zu 4: Vollkommen richtig. Doch ist es erfahrungsgemäß so der Fall, dass über 80% eine Sicherheitslösung erwerben und diese dann in den Standardeinstellungen betreiben. Dies bedeutet, dass man grundsätzlich eine Sicherheitslösung verstärkt in den Standard-/Werkseinstellungen analysieren sollte, um dann - im Vergleich zu erweiterten Einstellungsmöglichkeiten - Empfehlungen für die Anwender aussprechen sollte.
Bspw.: Sofern ein Anwender nur einen Computer besitzt und dieser direkt mit dem Internet (ohne Nat- Firewall-Router, etc.) verbunden ist, so sollten die manuell zu tätigenden Einstellungen XYZ berücksichtigt werden. Besitzt der Anwender ein Heimnetzwerk mit Firewall-Router, usw. können die Werkseinstellungen problemlos beibehalten werden.



@PCVersteher:

Wie bereits geschrieben, kann dies nur durch eine zusätzliche und neue Webseite (oder auch Unternehmen) angegangen werden. Dies ist bereits in Planung.
Allerdings wird sich eine gewisse Art von Argwohn nicht vermeiden lassen, denn auch diese neue Webseite/Firma wird den Namen "ProtectStar" tragen, so dass eine Dazugehörigkeit zu kommerziellen Produkten (die dann auf einer anderen ProtectStar Webseiten unter einer anderen URL vorhanden sind) nie ausgeschlossen werden können.

@Rock:

Der "ProtectStar Innovation AWARD" zeichnet Lösungen aus, die zukunftsweisend und innovativ sind. Hierzu gehören bspw. Mini-Computer, USB-Sticks aus besonderen Materialien, uvm. wie auch "die Kaffeemaschine von Morgen", die sich automatisch über das Internet wartet oder Kaffeerezepte herunterlädt.

[Gast_rock_*]

@Rock:
Der "ProtectStar Innovation AWARD" zeichnet Lösungen aus, die zukunftsweisend und innovativ sind. Hierzu gehören bspw. Mini-Computer, USB-Sticks aus besonderen Materialien, uvm. wie auch "die Kaffeemaschine von Morgen", die sich automatisch über das Internet wartet oder Kaffeerezepte herunterlädt.

allerhand.... hoffentlich sieht das meine frau nicht

zum anderen:
was ist denn das für eine engine die ihr in euren produkten verwendet?... PANDA eventuell? Weil der Panda OnlineScan über Euch geht... ist nämlich kein schlechter scan!

[ProtectStar]

@Rock:
In keinem ProtectStar Produkt werden AV-Engines verwendet. Meines Wissens möchte man in der ProtectStar Softwareentwicklung (ebenfalls vom Testcenter getrenntes Dept.!!!) irgendwann einmal im Bereich der Mobile Firewall einen Mobile AV-Scanner integrieren.

Für die Zukunft bitte ich jedoch - für alle Fragen die nicht dieses Thema oder das Testcenter betreffen - einfach eine E-Mail an die zuständigen Abteilungen von ProtectStar zusenden.

[ube]

Sehr interessant!

Wuerde gerne die nicht im Ausgangsposting erwaehnten Produkte

Dr. Web Anti Virus

und

System Safety Monitor

laenger im alltaeglichen Produktiveinsatz testen.

[olli]

Moin zusammen!

Tja, zu Nod32 und F-Secure könnte ich meinen Senf schon dazugeben...

Bis denne
Olli

[ProtectStar]

@ube + ntvolli:

Sehr gerne! Eine Reihenfolge, welche Lösungen getestet werden sollen, gibt es nur bedingt. Wir hatte lediglich vorgesehen mit "McAfee Internet Security 2007" anzufangen und danach "F-Secure Internet Security 2007" zu testen.
Danach können gerne die Lösungen "Dr. Web Anti Virus", "System Safety Monitor" und "Nod32" überprüft werden. Es muss lediglich rechtzeitig geplant werden, um gewährleisten zu können, dass jeder Tester seine Vollversion des jeweiligen Produktes erhält.

[Krond]

Nach meiner Ansicht nach, wird da recht wenig rauskommen. Wie man ja schon sieht, werden sich etliche Leute melden, die nur mal schnell eine freie Gratisversion abstauben wollen. Danach wird nur halbherzig irgendetwas gemeldet, sodass der Eindruck entsteht, man macht ja eh was für seine Version.....

Ich wäre eher der Meinung, dass man die Unterstützung der Leute in Anspruch nimmt, die das entsprechende Produkt schon in Besitz haben. Hier kann man diese dann mit Virensammlungen für den Test unterstützen. Würde meiner Meinung nach mehr bringen, als irgendwem Lizenzen in den Rachen zu schieben.

Leute, die es ernst nehmen, und da gibt es genug hier am Board, haben sowieso mehrere Lizenzen auf Lager liegen. Und auch nach einigem Durchlesen von Beiträgen kann man entscheiden, ob nur wer schnell etwas "abstauben" will.....Freie Versionen würde ich nur hergeben, falls ernstgemeinte Nachfragen kommen und auch hier würde ich die Entscheidung, welches Produkt da auf einem zukommt, eher dem Spender überlassen. Aussuchen würde hier schon eine gewisse Färbung des Tests ergeben, da man nicht unvoreingenommen ein Produkt auswählt.....

Der Beitrag wurde von Krond bearbeitet: 01.01.2007, 21:05