Ville utstyrstester holdt mål som forskning?


Testing av turutstyr kan minne om forskning, men de færreste utstyrstester ville passert forskningens kvalitetskrav. Det betyr heldigvis ikke at de er uten verdi.

Svært mye av testingen baserer seg på subjektive opplevelser av utstyret i felt. Selvsagt er langvarig og hard bruk i naturen svært viktig for å finne ut om turutstyr duger, men ofte skal testerne på bakgrunn av felterfaringen si noe om svært komplekse egenskaper hos produktet: Hvordan bærekomforten til en ryggsekk oppleves kan påvirkes av hvordan den er pakket, om vi har truffet eksakt med justeringen og av egen dagsform. På samme måte kan opplevelse av vanntetthet eller pusteevne for en skalldress variere med været, humøret, undertøyet eller hva slags aktivitet vi driver. Jo mer testerne bruker utstyret og jo flere som bruker det, jo bedre grunnlag har testerne, men like fullt er det en viss usikkerhet knyttet til slike vurderinger. Ingen tester klarer heller ikke å utsette alle produkter for eksakt samme bruk. Dette vil særlig påvirke det som observeres av skader og slitasje. Det kan også påvirke vurderingen om ikke alle produkter er brukt i like tøffe værforhold.

Vi klarer sjelden å utsette alle produkter i en test for samme værforhold.

Preget av erfaringer
Som alle andre preges også utstyrstestere av sine erfaringer. Er man vant til én type produkt kan det påvirke vurderingene av andre produkter. Eksempelvis er de fleste nordmenn mest vant med norske telt, hvor ytter- og innertelt reises sammen, med stengene i kanaler på ytterteltet. Da kan engelske og amerikanske telt, hvor innerteltet reises først og ytterteltet klipses utenpå, oppleves som uvante. Det kan man se for seg at påvirker utfallet av en telttest. Der norske turblad i stor grad bruker de samme testpersonene fra test til test, ville en forsker vært mer nøye med å velge en gruppe med ulike preferanser og erfaringer.

Er du vant til en type telt kan andre føles fremmede, noe som kan påvirke vurderingen.

Manglende blindtester
I nesten alle tester vet testerne vi hvilken produsent utstyret kommer fra. Det er ikke uproblematisk. Når man bytter fra et billig til et dyrt merke har man forventninger om at kvaliteten skal bli bedre. Psykologien er klar på at det påvirker brukeropplevelsen. Opplevelsen av en vin avhenger for eksempel av hva vi tror den koster. Om en forsker skulle basere seg på testpersoners tilbakemelding på et produkt, ville blindtesting vært normalt. Da vet ikke forsøkspersonen hva slags produkt vedkommende bruker. Mange ganger brukes også dobbelt blindtest. Da kodes produktene slik at hverken forsøkspersoner eller den som skriver rapporten vet identiteten til de enkelte produktene underveis i studien. Først når rapporten er ferdig byttes kodenavn og reelle navn. En slik fremgangsmåte er mer pålitelig, men har klare begrensninger for utstyrstesting. For det første er det både dyrere og mer komplisert. Verre er det at erfarne turfolk normalt vil klare å kjenne igjen produkter, selv om logoer og andre kjennetegn fjernes og tildekkes.

Magert statistisk grunnlag
En utstyrstest baseres normalt på ett eller to eksemplarer av hvert produkt. Det er et magert statistisk grunnlag. En normalt pålitelig produsent kan ha sendt et «mandagsprodukt», eller man kan ha vært heldig og fått et velfungerende produkt fra noen med stor variasjon i produksjonskvaliteten.

Vi prøver stort sett ett eller to produkter av hver modell. Det gir muligheter for unøyaktigheter.

Manglende målinger
I en del tilfeller brukes subjektive vurderinger der man kunne målt under kontrollerte forhold. Et godt eksempel er soveposetester. Her er det ekstremt vanskelig å utfra feltbruk vurdere hvordan temperaturgrensene harmonerer med virkeligheten, og om de eventuelt endrer seg i løpet av testperioden. Labmålinger kunne avslørt dette, men blir ikke brukt – hovedsakelig fordi det er for dyrt og for tidkrevende. Motsatt hender det at testerne gjør målinger, men overser klare feilkilder. Måler man koketid for primuser utendørs kan selv små endringer i vind gjøre store utslag. Måler man effekt eller koketid for gassbrennere, uten å bytte til ny og fersk gassboks for hver brenner, vil man få gale verdier. Slike feilkilder er det kun mulig å oppdage om testeren er tydelig på hvordan testen er utført. Uklarhet rundt testmetodene er i seg selv en svakhet som en vitenskapsmann ikke ville sluppet unna med. I forskning må man beskrive metoden som er brukt slik at andre kan gjøre det samme. Det ser man på langt nær alltid i tester av turutstyr.

Har fortsatt en verdi
Selv om utstyrstestene i hverken norske eller utenlandske blader ville passert som forskning, er de likevel ikke uten verdi. Erfarne turfolk som har brukt mye ulikt utstyr vil normalt finne ut ganske mye om produkter gjennom feltbruk. Det skal normalt ikke så mange døgn i skikkelig ruskevær til for å avsløre svake sider ved klær, telt eller annen utrustning. Det er imidlertid viktig at du er kritisk og tenker selv når du leser tester. Det vil hjelpe deg å skille gode utstyrstester fra mindre gode, og til å hente ut informasjonen som er mest relevant for deg selv.

Sjekkliste for lesing av utstyrstester
• Det bør gå tydelig fram hvordan testen er utført: Hvor mange testpersoner har brukt produktene, hvor lenge og på hvilken måte.
• Les teksten for hvert produkt. Sier den noe om erfaringer fra bruk i felt? Står det bare hvor mange stenger, barduner og innganger et telt har, men ingenting om hvordan det oppfører seg i ruskevær? Da har det kanskje ikke vært så mye i bruk? Går dette igjen på alle produktene i testen er det grunn til skepsis.
• Gis det karakter eller terningkast? Se i så fall ikke bare på totalkarakteren. Noen av delkarakterene kan være uvesentlige for deg.
• Finn ut om pris er en del av grunnlaget for karaktersetting.
• Vurder produktene opp mot ditt eget bruk. Tenk gjennom hvilke egenskaper som er viktige for deg.
• Husk at en del egenskaper hos turutstyr er svært personavhengige. En sko kan eksempelvis være behagelig for testeren, men passe dårlig på foten din. Hvordan ryggsekker sitter på kroppen vil på samme måte være avhengig av kroppsformen.

Meld deg på vårt nyhetsbrev

Registrer navn og e-post og få informasjon om nye saker rett i innboksen.
Vi lover å ikke oversvømme den…

* obligatorisk felt