|
Figuur 1. De borden die Keypoint onderzocht Vertrektijd:  Afteltijd: 
|
Hoe onderzoek je het denken van reizigers |
| De filosoof Descartes had het niet zo met meningen, zelfs niet met meningen van de wetenschap. Gemakshalve ging hij ervan uit dat alles wat wie dan ook zei niet klopte. De psycholoog Piet Vroon had het ook niet zo op met meningen. De mens zegt niet wat hij denkt en denkt niet wat hij zegt. Maar Descartes en Vroon zijn dood en het aantal telefonische, web-, journaal- en straat-enquêtes is groter dan ooit. Hier: Hoe vraag je een reiziger welk bord beter is. | wat beter is: de vertrektijd van een bus of een afteltijd op een dynamisch paneel. Het antwoord is: Vertrektijd is beter. Dat is ook de overheersende mening van professioneel OV-Nederland rond 2008 en NS rond 2016. Keypoint stak zijn nek uit en publiceerde het verhaal in Verkeerskunde. Het is leerzaam te zien hoe Keypoint dit standpunt empirisch onderbouwt. |
|
Figuur 1. De borden die Keypoint onderzocht Vertrektijd: Afteltijd:
|
1 Inzicht met literatuur | In de literatuur kan men zien of het wiel dat je zoekt al uitgevonden is.heeft bijvoorbeeld gevraagd welke informatie reizigers op een station willen. Resultaat: de dynamische borden moeten nieuwsflitsen, weer- en hooikoortsberichten geven. | Je zou dus kunnen concluderen dat je helemaal geen vertrek- of afteltijd moet tonen. Mijn conclusie is dat je dit soort zaken beter niet aan reizigers kunt vragen. Verder is onlangs in de Nederlandse vakliteratuur afteltijd door duidelijk als de beste oplossing geponeerd. Keypoint geeft geen contrasterende standpunten. |
2 Inzicht met theorie | Het kan zijn dat de literatuur geen antwoord geeft. Je kunt dan de handelingen die de reizigers met ogen, geheugen en verstand uitvoeren analyseren. Uit het onderzoek van Keypoint blijkt dat 12% aftellen niet begrijpt. | Iedereen kent het aftellen van de sport, tv-spelletjes en vertrekkende raketten. Zouden reizigers het aftellen echt niet begrijpen? Kinderen kunnen eerder aftellen dan klokkijken. Kan meer dan 12% van de busreizigers dan niet klokkijken? Maar juist als ze niet kunnen klokkijken zou ik aftellen. Dat is gemakkelijker en er is dan meer kans dat ze begrijpen wanneer de bus vertrekt. Stel dat de reiziger het niet begrijpt, hij ziet het dan toch voor zijn ogen gebeuren. Niet één keer maar telkens als er een nul verschijnt vertrekt een bus. | Stel dat de reiziger het dan nog niet snapt, zet er dan desnoods bij:Bus vertrekt over 4 minuten. Op het bord dat Keypoint in het onderzoek gebruikte werd alles uitgelegd, behalve de afteltijd. Opmerkelijk is dat de onderzoekers de ondervraagden het juiste antwoord in de mond leggen met de vraag of zij aftellen beter vindenomdat dat minder denkhandelingen geeft. Van de ondervraagden zegt 58% braaf:Ja. Toch is de conclusie van de onderzoekers dat vertrektijd de voorkeur heeft. |
| We analyseren de handelingen daarom even verder. Figuur 2 laat zien dat het aantal handelingen bij vertrektijd veel groter is dan bij afteltijd. Er bestaat veel literatuur over het aantal fouten dat mensen bij dit soort opgaven maakt.Dit komt overeen met de resultaten van Keypoint zelf: 15% voor de totale vertrektijdberekening. Ook blijkt uit het onderzoek van Keypoint dat er minder handelingen; c.q. minder fouten zijn, namelijk 12%. Daar komt nog bij dat sommetjes in een enquête gemakkelijker zijn dan sommetjes in een openbaarvervoeromgeving met slechtere zicht-, taak- en denkomstandigheden. |  | Figuur: 2. Psychologische handelingen bij vertrektijd en afteltijd
De NS toont tijd van vertrek. GVB toont voor dezelfde verbinding tijd tot vertrek. |
3 Inzicht met onderzoek |
4 Inzichtinonderzoek | Hoe kan het dat onderzoeken tot tegengestelde conclusies komen. Het doen van onderzoek is lastig. |
4.1 Variabelen of borden onderzoeken | Meestal maken enquêteurs het zich gemakkelijk en vragen gewoon wat men ervan vindt. Keypoint heeft de moeite genomen twee borden te ontwerpen en heeft reizigers deze borden laten gebruiken. In het onderzoek worden deze borden vergeleken. Bij cognitief-psychologisch onderzoek kijk je naar heteffect van één variabele.Als je vertrektijd of afteltijd wilt vergelijken, moet je dat zo doen dat de situaties die de proefpersonen aangeboden krijgen voor beide variabelen gelijk zijn. Keypoint kijkt naar heteffect van borden. | Deze borden verschillen op meer variabelen. Je weet dan niet door welk verschil de proefpersonen beter presteren. Het zou het wel eens kunnen dat de proefpersonen de voorkeur gaven aan vertrektijd omdat daarbijookde vertraging zichtbaar was. Op het aftelbord wasniet te zienof er vertraging was en of deze in de afteltijd verwerkt was. Het aftelbord toont ook de huidige tijd. Deze is niet nodig bij aftellen. Hoe minder getallen een bord heeft hoe beter een bord beoordeeld wordt. Het is niet eerlijk afteltijd op te zadelen met een nadeel van vertrektijd. | Goed aan het Keypoint onderzoek is dat men niet alleen meningen vraagt maar de reizigers ook met de borden laat werken. Welke vraag zou je nu moeten stellen om te weten hoe reizigers presteren bij afteltijd. De vraag die Keypoint stelt is:Hoe laat vertrekt lijn 9 richting Gezondheidsparkwerkelijkvanaf de bushalte?De performance op aftellen wordt gemeten via de vertrektijd. Dat betekent dat de nadelen van vertrektijd ineens ook gelden voor aftellen, bijvoorbeeld de kans dat er meer reken- en leesfouten gemaakt worden. De juiste vraagstelling is iets in de geest van:Hier heeft u een foto van een busstation. U moet snel naar het Gezondheidspark. Wat doet u: |
4.2 Effecten van volgorde | Het gedrag van mensen verandert onder andere door ervaringen die zij opdoen. Als je wilt weten welk ontwerp het beste is dan moet je dus elk ontwerp even dikwijls als eerste aanbieden. Bij onderzoek komt daar bij dat de proefpersonen bij de tweede vraag meer op hun gemak zullen zijn en de procedure beter kennen. De effecten van volgorde moet je dus gelijk verdelen over beide condities. | Wanneer het gaat om onderzoek naar reisinformatie dan komt daar nog bij dat de eerste aanbieding de meest reële is. Reizigers gaan niet met twee bussen gelijktijdig op stap; ze kiezen maar één keer. Na de eerste vraag is je proefpersoon eigenlijk al niet meer representatief. De onderzoekers van Keypoint hebben de reizigers eerst vier dienstregelingsommetjes laten maken waarin gevraagd werd naar devertrektijden pas daarna maar één aftelsommetje. Vind je het gek dat reizigers vertrektijd dan belangrijk vinden? | Beheersing van volgorde is bovendien nodig om effecten van volgorde uit te sluiten. Nieuwe interfaces krijgen meestal niet het voordeel van de twijfel. Men sabelt ze liever neer met:Ja maar de mensen zijn het oude gewend en nu moeten ze wat nieuws leren.Wanneer men de volgorde beheerst dan krijgen de proefpersonen de nieuwe interface even dikwijls als eerste, als de oude interface. Dikwijls blijkt dan dat de prestaties van gebruikersonbekend met de nieuweinterface beter zijn dan de prestaties van gebruikersbekend met de oudeinterface. Ondanks dat de oude interface dikwijls een extra niet beheersbaar voordeel heeft dat de proefpersonen de oude interface kennen. De meeste reizigers kennen vertrektijd omdat NS en luchthavens dit al decennia lang tonen. Als je het effect van volgorde controleert dan kun je de behoudenden neersabelen met de conclusie dat onervaren gebruikers met de nieuwe interface beter scoren dan ervaren gebruikers met de oude interface. |
| Deze cognitief psychologische onderzoektechnische vraagtekens staan niet op zich maar lijken meer een trend zoals hieronder te zien is. Toegepast cognitief psychologisch onderzoek is tegenwoordig erg moeilijk
|
5 Inzicht met enquête | Onderzoek doen is erg lastig, dat blijkt. Bovendien overtuigt onderzoek vaak niet. Onderzoek gebruik je om psychologen bezig te houden zodat zij geen lastige vragen stellen. | Psychologen trappen daar gemakkelijk in. Zij onderzoeken graag, daar zijn ze voor opgeleid. Zij weten bijvoorbeeld goed hoe je moet enquêteren. |
5.1 De vormgeving van de vraagstelling | Als je de presentatie van informatie onderzoekt dan moet je de presentatie van je onderzoeksmateriaal zelf niet vergeten. De vormgeving van de vraagstelling heeft effect op het antwoord. Een mooie vriendelijke juffrouw krijgt andere resultaten dan een norse lelijke heer. | In Nederland scoren we meestal van links/slecht naar rechts/goed (bijvoorbeeld schoolcijfers). Het omdraaien van deze richting vergroot de kans op invulfouten. Keypoint draait die volgorde om zoals figuur 4 laat zien. Boven de vakjes staan verder de cijfers 1 tm 4. De invuller moet dus onthouden dat links belangrijk is en rechts onbelangrijk. Belasting van het kortetermijngeheugen vergroot de kans op invulfouten. Je moet belangrijk/onbelangrijk er gewoon bijzetten. |
5.2 Niet in de mond leggen | Waarschijnlijk staat het in geen enkel methodologieboek, maar toch is het zo:Je moet ondervraagden geen antwoorden in de mond leggen.Figuur 3 geeft een voorbeeld. |
| Figuur 3. De"Hoe vindt u?" vraag 13. Hoe vindt u de manier waarop deze businformatie wordt weergegeven? gemakkelijk, ik hoef zelf geen denkstappen meer te maken lastig, want de officiële dienstregeling van de bus staat er nu niet op geen mening |
Wie wil er nu liever niet te veel denkstappen maken als hij alleen maar naar huis wil? Alleen het eerste antwoord kan juist zijn. Toch blijkt 42% liever eerst wat onnodige denkstappen te maken voor zij in de bus stappen. Wat is hier aan de hand? Het onderzoek was erg gericht op deofficiële dienstregeling. De ondervraagden moesten zeven vertrektijden berekenen. Ook het taalgebruik in de enquête is erg technisch (officiële dienstregelingin plaats vangeplande vertrektijd,businformatiein plaats vanvertrekmoment,elektronisch bushaltebordin plaats vanbord,werkelijke vertrektijdin plaats vanvertraagde vertrektijd). De onderzoekers hebben de ondervraagden opgeleid tot busdienstregelaars en dan is deofficiële dienstregelingnatuurlijk belangrijk. | Door maar drie alternatieven te geven is de vraag gesloten. Ondervraagden mogen geen argumenten hebben die de onderzoekers zelf niet van te voren konden bedenken. Dat is erg riskant, zeker als je daar zelf een expliciete theorie over hebt. Dat is ook erg riskant als je onderzoek doet naar denkstappen van mensen. Van alle beesten is de mens het best in het verzinnen van een grote variëteit aan slechte en goede oplossingen. Mijn ervaring is dat je meer dan tweemaal zoveel oplossingen en overwegingen krijgt dan je als onderzoeker vooraf bedacht hebt. Als onderzoeker kan ik er negen noemen die de onderzoekers niet voorlegdenHet is niet zo handig een gesloten vraag te stellen. De eenvoudige verwerking van een gesloten multiple choice vraag is hier kennelijk belangrijker geweest dan een juiste conclusie. |
5.3 Rangordenen | Om te weten te komen wat mensen belangrijk vinden kun je ze rijtjes laten maken. Deze methode is ook gebruikt door Keypoint. Zie figuur 5. |
19. Kunt u, na alle voorgaande vragen, aangeven wat u graag op een elektronisch bushaltebord zou willen zien? Met de cijfers 1 tm 4 kunt u aangeven hoe belangrijk u de informatie vindt: 1 staat voor heel erg belangrijk en het loopt af tot 4, wat staat voor heel onbelangrijk. |
- Lijnnummer - Eindbestemming van de bus - Huidige tijd - Officiële vertrektijd van de bus (volgens dienstregeling) - Werkelijke vertrektijd van de bus - Aantal minuten tot vertrek - Indicatie dat er geen recente informatie beschikbaar is over wanneer de bus komt - Opmerkingen in geval van calamiteiten - Huidige |
1 2 3 4
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 |
De resultaten zijn: Belangrijk, Minder belangrijk, Nog minder belangrijk | score: 1,1: score: 1,4: score: 2,5: | Werkelijke vertrektijd van de bus Officiële vertrektijd van de bus Aantal minuten tot vertrek |
| De conclusie die Keypoint uit deze resultaten trekt is interessant:Opvallend hierbij was dat dewerkelijke vertrektijd van de busvele malen hoger scoorde dan hetaantal minuten tot vertrek.Deze conclusie is dus in strijd met alle theoretische overwegingen. Hoe kan dat? |
| Methodologisch kloppen de vraagstelling en conclusie dus niet. Ook inhoudelijk zijn er vraagtekens bij te plaatsen. Het belang van lijnnummer en eindbestemming is niet afhankelijk van de mening van de reizigers maar van het systeem dat je kiest. Busmaatschappijen hebben zeer lang geleden gekozen voor lijnnummering. | NS heeft een uitstekend systeem van eindbestemmingen en gebruikt geen lijnnummers. Moet NS volgens Keypoint nu lijnnummers gaan invoeren? Het systeem van lijnnummers staat onder druk en meer bestemmingsgeoriënteerde systemen krijgen steeds meer de voorkeur. Moet deze goede trend nu de kop ingedrukt worden? | Dezelfde conclusies kan men trekken uit de andere voorkeuren van reizigers. De onderzoekers melden het rangnummer 6 voor verstoringinformatie. Stel deze vraag maar eens tijdens een verstoring. Met rangnummeren dwingt men reizigers totof-denkenterwijl er een genuanceerderen-denkengeldt. |
5.4 Gebruikers en ontwerpen | De mening van mensen is van belang wanneer het gaat om opinies over fundamentele levensvragen. Die mogen anderen niet voor je kiezen. Maar een dokter die vraagt:Welke ziekte had u zelf in gedachtenheeft veel tevreden en veel overleden patiënten. | Vaak verdedigt men de enquête-aanpak met:Ja maar dit was alleen maar om te weten wat reizigers ervan vinden. Die verdediging gaat hier niet op: Het doel van het onderzoek is te weten te komen welke presentatie van businformatie de reiziger het best begrijpt. Heb je die gevonden dan is de vraag voor de gebruiker onbegrijpelijk. | De vraag:En hoe fietst het?heeft geen zin als de fiets maar één trapper, geen zadel en geen rem heeft. Maar de vraag heeft ook geen zin wanneer de fiets goed is. Mijn ervaring is dat je dan als antwoord krijgt:Man zeur niet, wat is het probleem, laat me toch lekker fietsen. |
6. Inzicht met statistiek | Proefpersonen selecteer je niet zomaar. Wanneer je wilt voorspellen hoe Nederland kiest dan moet je een representatieve steekproef nemen. Je moet niet alleen jonge mannelijke Limburgers vragen wat zij gaan stemmen. | De onderzoeker van Keypoint hebben Brabanders en Groningers onderzocht. Daarmee is het onderzoek volgens de onderzoekers geografisch representatief. Het blijkt dat geografie niets uitmaakt, concluderen de onderzoekers. Hadden de onderzoekers echt verwacht dat Brabanders anders klokkijken en aftellen dan Groningers? | Als men zo graaggeografisch representatiefwilde zijn waarom zijn de onderzoekers niet in Londen gaan kijken welke busreizigers nauwkeuriger op het balkon van een al vertrekkende bus springen: Ook Houston is interessant. Daar telt men af terwijl je er nooit reizigers in een reeds vertrekkende raket ziet springen. |
| Een representatieve steekproef kies je wanneer je uitspraken wilt doen over een gehele populatie. Elke subgroep moet een evenredig deel van de proefpersonen leveren. Bij designgericht onderzoek is dat niet handig. Je neemt juist een selecte steekproef om fouten met het ontwerp beter waar te kunnen nemen. Je brengt je proefpersonen bijvoorbeeld onder druk zodat zij slechter presteren of je neemt meer ouderen. Keypoint wil ook naar selecte steekproeven toe door via internet te gaan enquêteren. Dat is natuurlijk wel erg gemakkelijk. Maar je krijgt wel een reisinformatiesysteem dat bedacht is door Cor van der Laak-achtige (zie noot) whizzkids die niets anders te doen hebben dan opmijn meningknoppen te drukken.td valign="top" >Misschien toch maar een psycholoog inhuren. Al was het alleen om te horen dat je met wat statistiek niet 1121 Cor van der Laaks hoeft aan te horen maar dat zon 200 al aan de ruime kant is om betrouwbare uitspraken te kunnen doen. | Noot:
Cor van der Laakwas een typetje van cabaretier Kees van Kooten. Van der Laak had overal uitgesproken meningen over. |
7. Inzicht met psychologie | Een praktijk die geen rekening houdt met de psychologie kan rekenen op een harde confrontatie. Dat blijkt uit dit artikel maar ook uit het werk van functiepsychologen als Piet Vroon, Willem-Albert Wagenaar en Robert Cialdini. Hieronder voorbeelden uit de praktijk van Human Efficiency. | De spiegel van de cognitieve psychologie heeft vaak meer effect op de lachspieren dan op de hersenen. De lach verhult de les. Als we uitgelachen zijn is de les vergeten en kunnen we gewoon doorgaan met onze eigen niet psychologisch verantwoorde hersenbrouwsels. |
Behalve psychologie voor GUI en web ook psychologie voor: | ||
 |  | |
| | |
| | |
| | |
| | |
| | |
 | |
|
Contact |
+31 (653) 739 750 Parkstraat 19 3581 PB Utrecht Nederland leonardverhoef@gmail.com Kamer van koophandelnummer: 39057871, Utrecht. |
