Jul 092009
 

“Fälsche keine Statistik, die Du nicht vorher getraut hast” – so oder ähnlich lautet ein geflügeltes Wort. Einen besonders krassen Fall einer kreativen Studie habe ich gestern in die Finger bekommen, und möchte sie natürlich mit der Welt teilen.

Thema: Content Managment Systeme, genauer gesagt solche fürs Web. Nur zu Einordnung: Content Management Systeme sind mehr oder minder umfangreiche Softwaresysteme, mit denen man mehr oder minder große Websites verwalten und publizieren kann. Also nichts, was man Nichte oder Neffe zu Weihnachten mitbringt, sondern richtig fette Investitionsgüter. Könnte aber auch jedes andere Softwaresystem sein.

Die Story: Da veröffentlicht im April 2009 ein Kas Thomas, seines Zeichens “Writer and Technology Evangelist” (!) sowie Mitarbeiter der renommierten Website www.cmswatch.com, eine vergleichende Studie. Stellt auf 2 Seiten kurz seine Methode vor, sein Werkzeug (ein Analyse-Tool von Yahoo), und das Resultat: Für jedes der untersuchten CMS gibt es einen sogenannten “GPA score” zwischen 0 und 4.00. Das ist der Durchschnitt (“Grand Point Average”) aus verschiedenen Testdisziplinen des Tools YSlow. Für den geneigten Querleser folgt dann eine Tabelle sortiert nach Alphabet, und eine nach dem GPA score. Danach nur noch Seite um Seite mit langweiligen YSlow-Testprotokollen. Das ganze heißt dann:

A Comparison of Home Page Loadability Scores for Major WCM and ECM Vendors

Holla, sag ich mir, ein umfassender Systemvergleich. Aber was wird da überhaupt verglichen? Und ist das relevant für die Beurteilung der Major WCM and ECM-Systeme? Die Antwort gleich vorweg:

Nein

Denn was macht er? Er untersucht eine Webseite pro Anbieter, die Homepage. Errechnet dafür mit einem obskuren Tool eine Kennzahl für die Loadability. Und geht davon aus, dass wahrscheinlich die Homepage mit dem jeweiligen CMS erstellt wurde. Und nimmt an, dass die Homepage repräsentativ für das Produkt sei. Und dass die Loadability irgendetwas über die Güte eines Systems aussagt, mit dem eine Webseite erstellt wurde. Und impliziert auch noch, dass alle Rahmenbedingungen des Tests vergleichbar sind. Ganz ehrlich: So viele presumablys, supposedlys und ought tos wie in seiner Studie und dem dazugehörigen Blogartikel hab ich außerhalb der Klatschpresse noch nie auf einem Haufen gesehen.

Ich weiß gar nicht, wo ich da mit der Detailkritik anfangen soll, also lass ich es gleich, und komme zum Punkt: Es ist unfassbar, was für eine gigantische Zeitverschwendung diese hohle Pseudo-Studie auslöst, nachdem sie einmal in die Welt gesetzt wurde.

  • Ich bekomme das auf den Schreibtisch, und muss mich damit befassen
  • Ich muss mich noch mehr damit befassen, um zu beweisen, dass das Ranking irrelevant ist
  • Und ich muss einen Artikel bloggen, um mich wieder abzuregen 🙂
  • Die Erstellung selbst hat sicherlich auch Zeit gekostet, wenn auch nicht so viel

Schade um die Zeit. Dabei relativiert Kas Thomas in seinem Blog die Relevanz seiner Untersuchung selbst bis fast auf null herunter:

Does it mean a whole lot? Not really. I think it just means some vendors have more of an opportunity than others, perhaps, to improve the performance of their home pages. But a lot of factors are at play any time you talk about Web site performance, obviously, and therefore it’s not really fair to form any kind of final judgment based on the scores shown here. Use it as a starting point for further discussion, perhaps.

Wieder ein Haufen perhapses. Ich kann mir ganz ehrlich nicht vorstellen, wem diese Studie überhaupt etwas nutzen soll. Außer vielleicht dem Erstplazierten. Mal schauen … www.enonic.com … noch nie gehört … Norwegen … hoppla, auf der Homepage prangt ein Link zu www.cmswatch.com. Ein schlechter Mensch ist nun, wer Böses dabei denkt.

Epilog: Ganz losgelöst davon fällt mir ein Betätigungsfeld für Marktforscher ein. Gegenstand der Forschung ist nicht ein Marktvergleich, sondern die Suche nach dem einen Kriterium, welches bei einem Marktvergleich den Auftraggeber gut aussehen lässt. Gibt es schon? Mist!

  2 Responses to “Bullshitting in höchster Form: “Irgendwas” Performance Ranking”

  1. […] Impressum « Bullshitting in höchster Form: “Irgendwas” Performance Ranking […]

  2. Lieber Procastiator,
    ein Super-Artikel und damit eine gute Darstellung aus dem Business-Umfeld über Manipulation mit “Schein”-Zahlen.
    Wenn man bohrt, finden sich sicherlich in allen Lebensbereichen solche Fälle, also bleib dran.

Sorry, the comment form is closed at this time.