Die Inanspruchnahme von Vertrauen durch AV Tester, -- Pro & Con -- Einstellungen

[Gast_Nautilus_*]

Über den gegenwärtigen Anlass hinaus wollte ich dieses Thema schon immer gerne mal diskutieren. Wieviel Vertrauen sollte ein AV/AT Tester in Anspruch nehmen?

Verdeutlichen möchte ich die Frage anhand zweier Extrembeispiele:

1.
Tester A macht keinerlei Angaben zum Testset. Er informiert lediglich darüber, dass ein Scanner getestet wurde und dass der Scanner eine Note zwischen 1-6 bekommen hat. Gründe werden nicht genannt. Wenn der Test im Forum diskutiert wird, werden die Diskussionen gelöscht und die Diskussionsteilnehmer aus dem Forum verbannt.

2.
Tester B vergibt gar keine Noten und beschreibt alles ganz genau. Die Scanlogs werden veröffentlicht und sämtliche Samples des Testarchivs zum Download angeboten. Ausserdem wird jeder Scanner reverse engineered und der entsprechend kommentierte Source veröffentlicht. Die Signaturdatenbank des Scanners wird gecracked und ebenfalls offengelegt.


Wo liegt Eurer Meinung nach die goldene Mitte?

Der Beitrag wurde von Nautilus bearbeitet: 09.06.2004, 22:51

[JoJo]

zu Punkt 1:
Das trifft vielleicht auf die meisten Tests zu, ja gut das ist schon seit Jahren so, was soll nun so schlimm daran sein, hauptsache die Leute die sowas machen haben genug Hirnwindungen in der Birne und testen nicht nur dämliche Hackertools oder Linux Dateien und schicken dann auch direkt die Scanlogs zu den Herstellern bzw. haben einen guten Kontagt zu ihnen. Und nicht "eh du ich kenne dich mit deinem richtigen Namen nickname xyz. Was hältst du von der neuen Schwachstelle blablub"...ok ich würde wohl bei letzterem auch nicht gerade wie ein Engel da stehen.

Wenn der Test im Forum diskutiert wird, werden die Diskussionen gelöscht und die Diskussionsteilnehmer aus dem Forum verbannt.

mag ja auf einige Tupperparties so sein, aber doch net hier, oder?

zu Punkt 2:
"sämtliche Samples des Testarchivs zum Download angeboten"...öhm dann versuch mal so einen Test in einem Forum wie wilders zu verlinken, das kannst du knicken
Das andere kann ich mir sparen zu kommentieren, da dieser Fall eigentlich schon zu krass wäre.

Ich meine, dass man vielleicht doch mehr so einen Mittelweg finden sollte, man muss ja nicht gleich ein Programm durch einen Disassembler jagen und das Resultat veröffentlichen, denn das wäre schon nicht ganz so legal, aber wenigstens mal die Leute doch auf eventuelle Schwachstellen hinweisen.
Denn was ist schon ein schönes und resourcen schonendes AV, wenn aber im Ratboard beispielsweise die Leute nur solche Kommentare wie "das ist Kinderkram, das bekomme ich in paar Minuten undetect.." dafür übrig haben.

[Gast_Nautilus_*]

@JoJo Ich bin auch für einen Mittelweg. Die Frage ist nur, wie er konkret aussehen soll.

"mag ja auf einige Tupperparties so sein, aber doch net hier, oder?"

Dieses Topic soll aus meiner Sicht gar nicht auf konkrete Tester (und schon gar nicht auf Rokop Tests) bezogen sein. Mir geht es vielmehr darum, eine Art Modell für Tests zu finden, das bei möglichst vielen Leuten Zustimmung findet.



EDITED:

Zum Beispiel mal ganz konkret -- Was spricht dagegen, ein Scan Log zu veröffentlichen? Werden diese Logs dann von Hackern analysiert, um ein nicht erkanntes Sample verwenden zu können? Wohl eher nicht. Wenn...nehmen die ein bekanntes Sample und packen es mit Armadillo, ACProtect etc.

Warum also veröffentlichen so wenige Tester die Scan Logs?

Der Beitrag wurde von Nautilus bearbeitet: 09.06.2004, 23:45

[Gast_Bo Derek_*]

Mir geht es vielmehr darum, eine Art Modell für Tests zu finden, das bei möglichst vielen Leuten Zustimmung findet.

Schön wär's. Allerdings wage ich zu bezweifeln, dass jegliche Modifikation der Testmethoden zu einer erhöhten Akzeptanz führt. Das soll nicht heißen, dass die Kriterien nicht hinterfragt und verbessert werden sollten - im Gegenteil. Nur denke ich, dass es immer eine Menge n geben wird, welche die Kriterien nicht akzeptabel findet.

[Remover]

Wobei ja nix dagegen spricht, wenn jeder mal auesserst was
er an solchen Tests verbessern wuerde und die Profis sich das
durchlesen, kann ja sein das die nichtprofis da doch noch die
ein oder andere positive Idee haben, da sie eben nicht alles
durch die Profibrille betrachten. Glaube naemlich das die
meisten einfach zu engstirnig denken....

[Heike]

Ich denke, dass den "Nicht-Profis" vielleicht doch etwas Hintergrundwissen und Erfahrung auf diesem Gebiet fehlt.
Ich bin der Überzeugung, dass Roman und sein Team die Tests nach bestem Wissen und Gewissen durchführen.
Sicherlich kann man auch mal in einem Teilbereich einen anderen Weg gehen, jeder bevorzugt aber letztlich den Weg, den er persönlich für richtig hält.
Ich würde mich immer auf die hier erzielten Ergebnisse verlassen, besonders, weil sie unabhängig, also ohne Abhängigkeiten von Werbeeinnahmen, erzielt werden.

Nur denke ich, dass es immer eine Menge n geben wird, welche die Kriterien nicht akzeptabel findet.

Diese Menge n wird es immer geben, egal wie Ihr es macht. Deshalb, macht weiter wie bisher.

[Gast_Nautilus_*]

@Heike

"Ich denke, dass den "Nicht-Profis" vielleicht doch etwas Hintergrundwissen und Erfahrung auf diesem Gebiet fehlt."

Mir geht es bei diesem Thema gar nicht um technische Details. Für technische Details (z.B. Sinnhaftigkeit von CPU-Zeit Messungen) sollten wir jeweils ein eigenes Thema aufmachen.

Hier geht es daraum, wieviel ein Tester über seinen Test und sein Testprozedere verraten sollte. Sollte er alles aufdecken, sich vom Leser "kontrollieren" lassen, es dem Leser ermöglichen, die Testergebnisse im Detail nachzuvollziehen und sich ggf. eine eigene (abweichende) Meinung zu bilden? Oder sollte der Tester das Du tun, was er für richtig hält und dem Leser nur die Bewertung mitteilen, sprich das Vertrauen des Lesers in Bezug auf die Richtigkeit/Sinnhaftigkeit der Testdurchführung in Anspruch nehmen?

Meine zuvorgenannten Beispiele sind Extremfälle. Beide Extremfälle sind sicher falsch und werden ja so auch von keinem Tester umgesetzt. Aber wo liegt die sinnvolle Mitte zwischen Information des Lesers und Inanspruchnahme von Vertrauen? Dazu muessen doch eigentlich auch die "Nichtprofis" eine Meinung haben:

Sollen die Testbedingungen relativ genau definiert werden?
Soll das Testprozedere im Detail geschildert werden?
Sollen die Namen unerkannter Malware Samples genannt werden?
Sollen evt. sogar Scan Logs gepostet werden (oder werden sonst die Hersteller extrem sauer)?
usw.

Der Beitrag wurde von Nautilus bearbeitet: 10.06.2004, 13:28

[Heike]

@Nautilus,

dann muß man aber noch einen ganz anderen Aspekt berücksichtigen, nämlich den, welche User-Gruppe angesprochen werden soll.

Ich vermute, die Zielgruppe ist hauptsächlich der "normale" User, der sich mit Sicherheit bisher gar nicht oder nur oberflächlich beschäftigt hat. Für diese Gruppe wäre eine umfangreiche Information wohl eher verwirrend und wenn dann deshalb auch noch dabei rauskäme: "Wenn das alles so schwierig ist, dann lasse ich lieber alles, wie es ist!", dann wäre der Test letztlich sinnlos. Diese Möglichkeit halte ich nicht für unwahrscheinlich.

Wer hat denn das Wissen, jetzt Dein anderes Extrem, ganz detaillierte Testergebnisse nachzuvollziehen? Sicher nicht viele User.

Das Testergebnis sollte also "Zielgruppen-gerecht" sein, ich denke, so wie die Erläuterungen jetzt sind, wird das von mir vermutete Ziel erreicht.
Das ist doch eigentlich das Entscheidende, nicht der Wunsch einiger User nach etwas, was für die meisten nur "fachchinesisch" ist.

Den Aspekt, zu welchem Zweck vielleicht andere umfangreiche Ergebnisse berücksichtigen könnten, lasse ich mal ganz außen vor, er könnte sicher auch eine Rolle spielen.

Ich finde die Berichte so gut, wie sie sind.

[Gast_Nautilus_*]

@Heike

"Ich finde die Berichte so gut, wie sie sind."

Welche? Die von Rokop, Wilders, Chip, c't, PC Welt? (Anm.: Dieses Thema zielt nicht speziell auf die Rokop Berichte ab. Schon gar nicht ist es mein Ziel, etwas an den Rokop Berichten zu ändern.)

"Für diese Gruppe wäre eine umfangreiche Information wohl eher verwirrend"

Der Hinweis darauf, dass ein Test zielgruppengerecht geschrieben werden sollte, ist IMHO sehr wichtig. In der Tat wollen viele User vermutlich eine schnell lesbare Meinung zu einem Scanner haben, sprich dem Tester in weiten Teilen vertrauen, um selbst nicht so viel Zeit in die Sache investieren zu müssen.

[Heike]

@Nautilus,

ich rede lediglich von den Rokop-Berichten, andere überfliege ich allenfalls.
Und wenn mich jemand nach einem AV-Programm fragt, empfehle ich eben diese Berichte zur Info, weil sie aus meiner Sicht überzeugend, gut und objektiv sind.

Das ist nun mal meine Meinung, und die mich kennen, wissen sicherlich auch, dass ich es nicht sagen würde, wenn es nicht meine Meinung wäre.

[Mela]

In der Tat wollen viele User vermutlich eine schnell lesbare Meinung zu einem Scanner haben, sprich dem Tester in weiten Teilen vertrauen, um selbst nicht so viel Zeit in die Sache investieren zu müssen.

wie heißt es so schön: Vertrauen ist gut, Information ist besser! Eine schnell lesbare Meinung ist zwar fein, kann aber auch daneben gehen, wenn ich nicht mitbekomme, daß meine Prioritäten andere sind als die der Tester. Ein kurzes knappes Ergebnis zu präsentieren ist nicht falsch, wer nicht mehr will, ok. Nur sollten für Interessenten auf jeden Fall weitere Informationen zur Verfügung stehen, insbesondere über die Testbedingungen und die Testsets - und wenn Laien die Zielgruppe sind, möglichst inklusive näherer Erklärungen, mit denen diese auch etwas anfangen können.

Grüße
Mela