Die neuen Testergebnisse 2012, ...die Zeitschriften "testeb" wieder... Einstellungen

[simracer]

SLE, ich glaube, Stiftung Warentest wollte den Test mit den Programmen so fahren wie es normalerweise auch Otto Normalbürger tut: Das jeweilige Programm installieren, die vorgegebene Konfiguration so belassen wie sie ist und dann das kopieren simulieren was der Otto Normalbürger zum Beispiel macht wenn etwas von einem angestöpselten USB Stick auf seine Festplatte kopieren möchte. Ein normaler Otto Normalbürger käme doch nicht auf die Idee, sich(nur als Beispiel)Malwaresamples runterzuladen und jedes daraufhin zu testen ob es lauffähig ist und sein System angreifen kann oder nicht.

[SLE]

Ein Ottonormalbürger, nein niemand, infiziert sich aber wenn er Dateien kopiert. Hier gibt es nichts zu schützen, folglich müssen Programme an diesem Punkt nicht eingreifen (einige tun dies und verzögern schön den Kopiervorgang). Wenn der kopierte Müll irgendwann angeklickt wird - dann muss geprüft werden.

Infektionen kommen über das Web oder eben über das ausführen bestimmter Dinge.

Der Beitrag wurde von SLE bearbeitet: 04.04.2012, 14:25

[simracer]

Das bestreite ich ja nicht SLE, aber anscheinend hat Stiftung Warentest wohl gedacht es würde ausreichen oder es hatte für die Tester Priorität wie die Virenschutz Programme reagieren wenn Malwaresamples kopiert werden sollen. Ich bin auch froh darüber wenn meine Virenschutzsoftware reagiert wenn ich ein infiziertes File wohin kopieren will. Klar könnte man jetzt sagen OnExecution reicht weil das infizierte File beim Ausführen oder dem nächsten OnDemand Scan wohl erkannt werden würde aber ich möchte auch nicht unwissentlich ein solches File auf meinem System haben und darauf warten bis ich das mal ausführe oder einen OnDemand Scan laufen lasse.

Der Beitrag wurde von simracer bearbeitet: 04.04.2012, 14:35

[Schattenfang]

hat die stiftung denn schon eine stellungnahme dazu veröffentlicht? ich finde den offenen brief weder gut formuliert noch logisch aufgebaut bzw. strukturiert. im kern aber hat er vollkommen recht.

[Schulte]

hat die stiftung denn schon eine stellungnahme dazu veröffentlicht?

Ja: http://www.test.de/Antivirenprogramme-Stif...360733-4360735/

[Gast_what?_*]

(...), aber anscheinend hat Stiftung Warentest wohl gedacht es würde ausreichen (...)

Bleib' doch mal bei den Fakten. Du interpretiert und dichtest hinzu. Genau das meine ich mit der "Transparenz". Durch die "Verschlossenheit" der Stiftung Warentest erfinden Zeitungsredakteure und Forenuser gerne ihre eigene "Wahrheit".

Aber da wir beim Dichten und Interpretieren sind: Ich behaupte, dass sich die Stiftung Warentest genau eines gedacht hat: "Wir frickeln uns jetzt mal einen Virentest zusammen und hauen richtig auf die Kacke. Hauptsache die Kasse klingelt."

Alles andere sind Interpretationsweisheiten der "Fach"-Presse...

[Schattenfang]

danke @schulte

die stellungnahme ist ja teilweise haarsträubend naiv. wenn man sich mit der materie schon nicht auskennt, dann sollte man sich wenigstens einen expertenrat einholen, der sich sowas nochmal durchliest.

meine absolute lieblingsstelle:

Die Anzahl der Schädlinge spielt nicht die entscheidende Rolle. Täglich tauchen zwar Tausende neuer Viren, Trojaner und Würmer auf. Die meisten davon sind jedoch Abwandlungen bereits bekannter Schadprogramme

na, dann habe ich ja glück, dass mich solche "abwandlungen" nicht infizieren können. hauptsache sie erkennen den boss trojan.downloader.a

[SLE]

meine absolute lieblingsstelle:

Diese hat auch was:

Daher sind die Tester anwenderorientiert vorgegangen. Alle Produkte wurden anonym online gekauft...

Die Stiftung Warentest hat im Test darauf geachtet, möglichst unterschiedliche, aktuelle Schadprogramme zu verwenden – und nicht nur Varianten derselben bekannten Schädlinge.

Wenn das stimmen sollte wäre es ja fein (dann müssten sie ja 1800 schädlinge im Detail kennen), aber da sie nirgendwo Details herausgeben ist es absolut unglaubwürdig. Zumal es in früheren Aussagen hieß: über Dritte bekommen.

Die Ausführungen zu den VMs sind auch abenteuerlich, ein gescheites Testsystem lässt sich ebensoleicht zurücksetzen. Und Stichproben auf realen Systemen widerlegen nicht, dass es sehr viel Schädlinge mit VM-Erkennung gibt.

Die Aussagen zur Sampleanzahl könnte ich hingegen teilen: Statistische Signifikanz hat nämlich nichts mit praktischer Relevanz zu tun, was in den meisten Massentests leider untergeht. Erhöhe ich die Fallzahl, bekomme ich jeden noch so kleinen praktischen Unterschied signifikant.
Die praktische Relevanz der eigenen Samples bleibt man leider schuldig. Klar ist das nichts für die Öffentlichkeit, aber wenn man so gründlich vorgegangen ist, wie man behauptet, dann verwundert, dass man dies nicht wenigstens den Testkandidaten vorlegen kann. Irgendwie Schutzbehauptungen und durch die vielen "teilweise" Formulierungen, verstärkt sich dieser Eindruck.

Alles in allem: Ganz großes Kino, von beiden Seiten.

[Schattenfang]

Die Aussagen zur Sampleanzahl könnte ich hingegen teilen: Statistische Signifikanz hat nämlich nichts mit praktischer Relevanz zu tun, was in den meisten Massentests leider untergeht. Erhöhe ich die Fallzahl, bekomme ich jeden noch so kleinen praktischen Unterschied signifikant.
Die praktische Relevanz der eigenen Samples bleibt man leider schuldig.

absolut korrekt. wenn wir annehmen, dass die effektstärke die praktische relevanz beschreiben bzw. vielmehr verdeutlichen kann - und ich denke, dass die stiftung warentest genau mit dieser relevanz wirbt - stecken wir nun in dem dilemma, dass die statistische signifikanz insofern abhängig von der effektstärke ist, dass wesentlich größere versuchgruppen benötigt werden. denn eine hohe signifikanz mit geringer effektstärke hat vielen menschen schon das leben gekostet (stichwort medizin).
von daher ist es zwar einseits ein richtiges argument der stiftung, aber andererseits eine falsche schlussfolgerung. nichtmal inhaltlich, sondern die schlussfolgerung an sich ist einfach falsch. hach ist das kompliziert

[SLE]

...die effektstärke die praktische relevanz beschreiben bzw. vielmehr verdeutlichen kann ... dass die statistische signifikanz insofern abhängig von der effektstärke ist, dass wesentlich größere versuchgruppen benötigt werden.

LOL. Jetzt gib dem Thread nicht noch Gehalt.

[Exkurs]
Wenn wir es statistisch sauber machen, legen wir noch vorher fest, welcher Unterschied als relevant gelten soll (Effektstärke) und ermitteln dann a priori, wie viele Samples man benötigt (Stichprobengröße), um diesen Effekt optimal statistisch abszusichern (Signifikanz). Wir ermitteln also die Teststärke.
Gleichzeitig nehmen wir an, dass wir die Grundgesamtheit (alle aktuellen Bedrohungen) überhaupt kennen, um eine verlässliche Zufallsstichprobe ziehen zu können (Repräsentativität), die überhaupt Aussagen bzgl. der Signifikanz erlaubt. Problem: Liegt der Schwerpunkt auf Unterschiedlichkeit der Samples, muss dies nicht der realen Verteilung entsprechen...

Wollen wir das der Stiftung an den Kopf knallen?

Wäre IMO unfair, da ich unter den AV-Tests niemanden kenne der statistisch sauber arbeitet, ja eigentlich kaum bei Statistiken (außer Psycho und Medizin). Man zieht sich eben an Begriffen wie Repräsentativität und Signifikanz hoch und suggeriert was wichtiges entdeckt zu haben. Teufelskreis, v.a. da es fast alle glauben sobald diese Begriffe fallen. Und "was Menschen als real annehmen, ist in seinen Auswirkungen real"
[/Exkurs]


Von daher: Der Hinweis, dass Masse nicht alles ausmacht war schon gut. Wenn man dann selbst die Klasse liefern würde...

Der Beitrag wurde von SLE bearbeitet: 04.04.2012, 19:33

[Schattenfang]

Wenn wir es statistisch sauber machen, legen wir noch vorher fest, welcher Unterschied als relevant gelten soll (Effektstärke) und ermitteln dann a priori, wie viele Samples man benötigt (Stichprobengröße), um diesen Effekt optimal statistisch abszusichern (Signifikanz). Wir ermitteln also die Teststärke.
Gleichzeitig nehmen wir an, dass wir die Grundgesamtheit (alle aktuellen Bedrohungen) überhaupt kennen, um eine verlässliche Zufallsstichprobe ziehen zu können (Repräsentativität), die überhaupt Aussagen bzgl. der Signifikanz erlaubt.

i like
genauso könnten sie es versuchen!

im gegensatz zu dem anderen offenen brief hätte das doch wenigstens etwas wegweisendes. wer braucht schon weiterführende gespräche
oder noch besser: wir sind schlau und machen jetzt richtig lobbyarbeit und schnappen uns die nächste ausschreibung

[sfio]

.. wir sind schlau und machen jetzt richtig lobbyarbeit und schnappen uns die nächste ausschreibung

Im Editorial von test 4/2012 steht:
"Der Test von Antivirenpaketen zum Beispiel kostete 97000 Euro - unser Anteil lag bei 20000 Euro."

Kannst ja mal durchrechen, ob es sich für Dich lohnt.

Gruß
Thomas

[chris30duew]

Betrifft den Test von der Stiftung Warentest.
Anscheinend waren wir nicht die einzigen, die der Meinung waren, der Test war nicht sooooooo berauschend und brauchbar:


http://www.pcwelt.de/news/Offener-Brief-Kr...st-5672844.html


Gruss Chris

[CHEF-KOCH]

Ich lese hier und in anderen Foren grade was das Thema angeht von "Otto-Normal-Nutzer", "Standardnutzer", "Allgemeinheit", "Mehrheit" usw. Ich denke das ist falsch davon zu sprechen denn die kennen wir nicht, auch kennt die kein AV-Tester, Zeitschrift oder AV-Hersteller. Es gibt eine Tendenz in einem jeweiligen Kreis, aber das spricht nicht für alle und genauso sollte man an die Sache ran gehen. ich denke der Punkt ist wichtig, stach mir wieder öfter hier ins Auge.

Wie gesagt ich persönlich denke mir das die Tests früher und heute nichts getaugt haben, egal von welchem "seriösen" Produzent der denn nun kommen mag, da zu viele Variablen berücksichtigt werden müssen und das auch immer Personen spezifisch ist wie der einzelne der diesen Test liest damit umgeht und sich dementsprechend leiten lässt oder auch nicht. Das was uns da immer weiß gemacht wird bzw. werden soll ist ne Angst die unbegründet ist vom Prinzip da wie gesagt es unwahrscheinlich ist das man sich dann genau solche Sache einfängt die dort gelistet ist und zu dem nicht in der DB des AV's ist und ich dann ein Programm habe was dies enthält (ihr seht: und und und und). Es gibt auch dort eine Tendenz aber mehr nicht, genau wie Autofahren tödlich sein kann, aber das trifft eben nicht auf jeden zu, statistisch gesehen ist aber immer eine Gefahr da auch wenn man nicht alles selbst beeinflussen kann.
Ich denke langfristig müssen alle Test's überdacht werden, den Technologien und Zeitgeist angepasst werden um eine gewisse Aktualität eben zu gewährleisten. Stiftung Warentest ist jetzt nur eins unter vielen und auf diesen sollte nicht nur als einziges "herumgekaut" werden, sondern die anderen auch unter die Lupe genommen werden.


Finde eigentlich nicht so schön das der offene Brief hier etwas zerfetzt wird, klar er ist nicht detailgenau aber gibt einen guten Überblick darüber was Stiftung Warentest teils verbockt hat. Sollte mehr Feedback zu allen Test's geben damit evtl. ein Umdenken statt findet und auch berücksichtigt wird das das OS immer mehr den Sack zu macht und das hätte/wenn/und/aber immer geringer werden. Die eingesetzte Software odr das OS ist nur so gut wie der Bediener und genauso ist es mit Infektionen, wenn ich weis das gewisse Risiken bestehen muss ich nicht noch extra auf Bunte Sachen drauf klicken.

[Gast_J4U_*]

einen guten Überblick darüber was Stiftung Warentest teils verbockt hat.

Du mußt alles zusammenzählen. Die Lobby der AV-Anbieter hat mit einem großen Labor Teststandards entworfen, nach denen ihre Programme getestet werden. Die PC-Zeitschriften machen einen Riesen-Hype um Bereinigungsfunktionen (Aufgabe eines AV ist es, Infektionen zu verhindern und nicht die Flickschusterei danach) - und was passiert jetzt?
Da kommt jemand, dem die Bereinigungsfunktion schnurzegal ist und der einfach Schädlinge auf die Rechner loslässt, wie er will und nicht wie es die Hersteller und das große Testlabor vorgeben. Klar kommen da andere Ergebnisse heraus, als es ein standardisierter Test ergibt und klar auch, dass getretene Hunde beißen. Zum Wert von standardisierten Tests greife ich mal, man ahnt es kaum, zum Auto. Wer hat schon jemals den angegebenen Spritverbrauch a) überhaupt und b) auf Dauer erreicht?
Standardisierte Tests sind gut, wenn ich eine Sache mit einer anderen vergleichen will, über die Alltagstauglichkeit sagen Prüfungen unter Laborbedingungen wenig aus.

Die AV-Hersteller haben die Wahrheit nicht gepachtet und die Stiftung Warentest im Gegenzug irrt auch nicht auf der ganzen Linie. Vielleicht sollte man diese dämliche Presseschlacht beenden und sich im stillen Kämmerlein treffen?

J4U

[achtsam 01]

Du mußt alles zusammenzählen. Die Lobby der AV-Anbieter hat mit einem großen Labor Teststandards entworfen, nach denen ihre Programme getestet werden. Die PC-Zeitschriften machen einen Riesen-Hype um Bereinigungsfunktionen (Aufgabe eines AV ist es, Infektionen zu verhindern und nicht die Flickschusterei danach) - und was passiert jetzt?
Da kommt jemand, dem die Bereinigungsfunktion schnurzegal ist und der einfach Schädlinge auf die Rechner loslässt, wie er will und nicht wie es die Hersteller und das große Testlabor vorgeben. Klar kommen da andere Ergebnisse heraus, als es ein standardisierter Test ergibt und klar auch, dass getretene Hunde beißen. Zum Wert von standardisierten Tests greife ich mal, man ahnt es kaum, zum Auto. Wer hat schon jemals den angegebenen Spritverbrauch a) überhaupt und b) auf Dauer erreicht?
Standardisierte Tests sind gut, wenn ich eine Sache mit einer anderen vergleichen will, über die Alltagstauglichkeit sagen Prüfungen unter Laborbedingungen wenig aus.

Die AV-Hersteller haben die Wahrheit nicht gepachtet und die Stiftung Warentest im Gegenzug irrt auch nicht auf der ganzen Linie. Vielleicht sollte man diese dämliche Presseschlacht beenden und sich im stillen Kämmerlein treffen?

J4U

Eben, da sollten sich alle treffen: In einem stillem Kämmerlein. In unserer Gesellschaft ist ...Unsicherheit... das Geschäft. Das Böse, dass Dich täglich zu erreichen versucht. Voran, ausgerechnet Kaspersky mit dem Internet-Pass. Dann kommen so langsam die Anderen: Kaum ist die Suite 2012 unausgetestet auf dem Markt, beginnt der Wettlauf mit einer neuen Beta. Und so weiter.

[olli]

Und schon kommt ein neuer Test....

Aktulle Chip, Ausgabe 05/2012. Schwerpunkt dieses Testes war das Verhältnis von Sicherheit und Perfomance. Dabei flossen beide Kriterien zu je 50% in das Ergebnis ein. Die Bewertung der Sicherheit stammt wohl aus der Ausgabe 01/2012 und basieren auf den Ergebnissen von AV-Test. Dabei hat sich folgende Reihenfolge ergeben

1. Kaspersky mit 96 Pkt
2. F-Secure mit 94 Pkt
3. GData mit 94 Pkt
4. Panda mit 93 Pkt
5. Norton mit 92 Pkt
6. Eset mit 92 Pkt.
7. Avira mit 91 Pkt
8. MSE mit 87 Okt
9. McAfee mit 78 Pkt


Bei der Perfomance wurde ein "Real-World-Test" (der wohl auch von AV-Test stammt) und einige synthetische Benchmarks genommen, um eine Reihenfolge zu bestimmen. Beim Real-World-Test wurde 4 Programme installiert, 19 Websites geladen, 4 Dateien heruntergeladen, 3 Dokumente geöffnet, Dateien lokal und im Netzwerk kopiert. Die Synthetischen Test sind nur zu einem geringen Anteil in die Bewertung eingeflossen, weil sie in der täglichen Arbeit am Rechner wohl nicht ins Gewicht fallen (dabei sind aber auch so Aktionen wie Dateien mir RAR archivieren, etc).
Es ergibt sich folgende Rangfolge:

1. Norton mit 76 Pkt
2. Eset mit 72 Pkt
3. Kaspersky mit 64 Pkt
4. McAfee mit 63 Pkt
5. GData mit 60 Pkt
6. Avira mit 58 Pkt
7. F-Secure mit 55 Pkt
8. MSE mit 53 Pkt
9. Panda mit 40 Pkt.

So, dann wurde die Punkte zusammengezählt und durch 2 geteilt. Es ergibt sich also folgendes Endergebnis:

1. Norton mit 82 Pkt
2. Eset mit 82 Pkt
3. Kaspersky mit 80 Pkt
3. F-Secure mit 80 Pkt.
5. Avira mit 78 Pkt
6. GDara mit 77 Pkt
7. McAffe mit 71 Pkt
8. MSE mit 70 Pkt
9. Panda mit 67 Pkt.

Als Fazit schreibt Chip immerhin, dass man trotz eines Punktes Perfomance nicht gleich eine Suite mit schlechteren Virenschutz installieren sollte. Insgesamt gehörten aber bis auf MSE und McAfee alle Programme zur Spitzenklasse im Bereich Sicherheit.

Schade, dass BitDefender nicht dabei war....

Bis denne
Olli

[flexibel44]

Weißt du, welche GDATA Version getestet wurde?

[olli]

Das war noch die Version 2012.

Bis denne
Olli

[flexibel44]

Danke.