Advancing the theory and practice of system evaluation: a case study in geovisual analytics of social media

This paper advances the state-of-the-art in methodology design for empirical evaluation of (geo)visual analytics software. Specifically, we describe the process of design, development and application of a prototypical user study tailored to the evaluation of complex geovisual analytics tools that focus on social media analysis. We fist perform a synthesis of existing theory and best practices for software evaluation of comparable systems. We then demonstrate how the product of said synthesis - a methodological 'check list' - can be used to inform a proof-of-concept user study of an actual geovisual analytics software system. The resulting user study design accommodates for the use of real geographic social media datasets, the complexity of the intended analytical process, and for the learning challenges faced by the participants working with a fully-functional and mature geovisual analytics application, and is likely representative of a wide range of evaluation scenarios in (geo)visual analytics. A complete summary of all the study instruments is included to encourage their scrutiny, reuse and modification by others. Finally, we have discovered that participants' curiosity and desire for autonomy played a noticeable role in the evaluation process - something not previously reported. RESUME Ce papier presente un etat de l'art sur la conception methologique pour l'evaluation empirique de logiciels de (geo)visualisation analytiques. En particulier nous decrivons le processus de conception, de developpement et d'application pour une etude utilisateur standard centree sur l'evaluation d'un outil de geovisualisation analytique complexe axe sur l'analyse des medias sociaux. Nous faisons d'abord une synthese des theories existantes et des bonnes pratiques sur l'evaluation de logiciels de systemes comparables. Puis nous montrons comment le produit de cette synthese - une methode base sur une liste de verification - peut etre utilise pour decrire une etude utilisateur de type validation pour un logiciel d'analyse geovisuelle. La conception de l'etude utilisateur resultante s'adapte a l'utilisation de vrais jeux de donnees geographiques de medias sociaux ; a la complexite du processus analytique envisage et aux difficultes d'apprentissage que connaissent les participants, confrontes a une application analytique geovisuelle fonctionnelle et eprouvee. Elle est representative d'un large eventail de scenario d'evaluation en analyse geovisuelle. Un resume complet de tous les elements de l'etude est inclus pour encourager leur analyse detaillee, leur reutilisation et leur modification par d'autres. Enfin nous avons decouvert que la curiosite et l'envie d'autonomie des participants jouent un role non negligeable dans le processus d'evaluation, point qui n'avait pas ete identifie auparavant.