Kvaliteedikriteeriumid ja mõõdikud

Käesolevas peatükis kirjeldame kvaliteedikriteeriumite põhimõtteid, tutvustame mõõdikute olemust, nende erinevaid omadusi ja liike ning kuidas ja milleks neid rakendada. Anname ülevaate sellest, mida üldse tasub mõõta ja kuidas, milline on parim viis tulemuste hindamiseks ning milliseid vigu võib mõõdikute kasutamisel ette tulla.

Alustame algusest. Igal organisatsioonil on missioon – põhjus, miks ta on loodud. Selle raames kujundab organisatsioon oma visiooni – kujutlust sellest, milliseks soovitakse tulevikus saada või kuhu jõuda. Seda kuidas selle sihini jõuda kirjeldab strateegia. Strateegia olulisusel oleme juba ka varasemates peatükkides peatunud ning käsitlenud selle olemasolu kui kriitilist eeldust hea e-teenuse loomiseks.

Strateegiliste eesmärkide täitmiseks koostatakse organisatsiooni tegevuskava ning pannakse paika eelarve, milles on kokkulepitud ning kõigile osapooltele (juhtidele/otsustajatele, spetsialistidele/täitjatele) arusaadavalt fikseeritud peamised tegevused, finantsid nende elluviimiseks ja prognoositavad/soovitud tulemused.

Visiooni, strateegiat, tegevuskava ja eelarvet tuleb kindlasti väga täpselt ja selgelt eesmärkide kaudu kirjeldada, sest mida ähmasemalt see on kirja pandud, seda raskem on hiljem tulemust hinnata. Kusjuures püstitatud eesmärkidele võib vastata üks või ka mitu mõõdikut.

Mõõdik on (töö)protsessi või tegevuse väljundi, tulemi ja mõju kvantitatiivne või kvalitatiivne kirjeldus andes otsustajatele/täitjatele infot eesmärkide seisu kohta ning on juhtkonnale tagasisidevahendiks otsuste tegemisel. Erinevates materjalides või huvigruppides on kasutusel ka termin „indikaator“ või „näitaja“, kuid käesolevas käsiraamatus kasutame väljendit „mõõdik“.

Hea eelduse tõhusa mõõdiku/mõõtmissüsteemi väljatöötamiseks või olemasoleva süsteemi kohandamiseks/kasutamiseks annab organisatsiooni äriprotsesside eelnev kaardistamine. See võimaldab täpselt mõista töökorraldust, millised rolle keegi organisatsioonis täidab ning erinevate töölõikude taga olevatest protsessidest. See omakorda võimaldab täpsemalt seada eesmärke ning mõõdikuid nende eesmärkide saavutamiseks ja juhtimiseks.

Kui toimivate mõõdikute väljatöötamine avalikus sektoris üldiselt võib kohati olla suur väljakutse kuna avaliku sektori toimimispõhimõte on erasektorist erinev (nt ei ole suund suuremal kasumlikkusel vaid pigem orienteeritud korrektsele protsessi läbiviimisele) siis e-teenuste koha peal saab tõmmata küllaltki palju sarnaseid paralleele. Seega tuleb kohati arvestada sektori iseärasustega, mis võib töö efektiivsuse ja kvaliteedi mõõtmisele seada hoopis teistsugused kriteeriumid, millega mõõdik/mõõtmissüsteem peab arvestama.

Mõõdikute defineerimisel ja kasutamisel on tähtis kirjeldada mõõdiku olulised parameetrid (nimetus ehk mida mõõdetakse, mõõdiku tüüp, mõõtühikud ja esitlusviis ehk mis vormis esitatakse tulem (nt indeks, suhtarv vmt)) ning meeles pidada, et kõik eesmärgid ja nende mõõdikud peavad vastama järgnevatele rahvusvaheliselt tunnustatud kriteeriumitele (kasutusel on ka ingliskeelsete sõnade algustähtedest moodustatud lühend SMART):

„specific“ (mõõdik peab olema selgelt defineeritud ja asjakohane);
„measurable“ (mõõdetav kokkulepitud viisil ja sisaldab suundumusi);
„accepted“ (asjasse puutuvad osapooled ja eelkõige juhtkond, on selle aktsepteerinud);
„realistic“ (tulemuse saavutamine on realistlik);
„time vased“ (kehtestatud on mõõdiku mõõtesagedus ja oodatava tulemi saavutamiseks on määratud tähtaeg).

Mõjude, tulemuste ja väljundite mõõtmisel tuleb silmas pidada seda, et andmete allikad määravad mõõdikute usaldusväärsuse ja täpsuse ning mõõtmine ise on kompromiss andmete täpsuse ja nende kogumise kulukuse vahel.

Kuidas aru saada, milline on hea mõõdik? Siinkohal tooks välja heade mõõdikute tunnused:

lihtsad ning selgelt ja kõigile arusaadavalt defineeritud;
organisatsiooniga seotud huvigruppide jaoks sisukad;
tulemuste kogumine on lihtne;
nad on mõõdetavad;
neid on lihtne taasesitada;
edastavad huvigruppidele organisatsiooni eesmärkide, strateegia ja visiooniga ühtiva sõnumi;
kajastavad trendi;
toovad kaasa asjakohaseid juhtimisotsuseid.

Heade mõõdikute kõrval tuleb samuti meelde tuletada ka tüüpilisi probleeme, mida nende koostamisel tehakse. Nendeks on olukorrad, kus:

toimub keskendumine absoluut-, mitte suhtarvudele;
lühiajalised mõõdikud domineerivad pikaajaliste üle;
finantsmõõdikud domineerivad põhitegevuse ja kliendile suunatud näitajate üle;
säästlikkuse näitajad domineerivad tõhususe ja efektiivsuse näitajate üle;
põhitegevuse mõõdikud domineerivad väljapoole suunatud mõõdikute üle;
koostatakse hulk mõõdikuid endale aru andmata, mida kogutud infoga peale hakatakse.

(NT – hea mõõdik)

(NT – halb mõõdik)

Tähelepanu tuleb pöörata sellele, et mõõdik hakkab “õigesti tööle” taustsüsteemis, mille moodustavad eesmärgid, mõõdiku enda trendid ja kasutajate vajadused ning nende trendid.

Trendist saab iseenesest rääkida aga alles siis, kui meil on aegrida vähemalt kolme punktiga, kusjuures kõik mõõtepunkti tulemused peavad olema võrreldavad ehk kogutud samade põhimõtete järgi. Samas tühipaljas trend ei anna meile kasulikku infot, kui pole määratud eesmärki. Ja omakorda: eesmärgi mõistmiseks peab teadma visiooni ja kasutajate vajadusi.

Alles siis, kui meil on taoline infokogum, saame anda tõepärase hinnangu oma tulemusele ning sellest johtuvalt teha uusi juhtimisotsuseid.

Mõõdikute puhul tuleb arvestada ka mõõdikute perioodilise vajadusega ja sellega, et mõõteinfo kogumine võtab aega ning äsjadefineeritud mõõdikute põhjal saab otsuseid langetama hakata võib-olla alles aasta või paari möödudes. Seetõttu soovitame SMART süsteemi järgmisel kasutusele võtta veel kaks lisakriteeriumit:

„evaluate (consistently)“ (mõõdik peaks olema perioodiliselt elluviidud ning hinnatud);
„reevaluate“ (vaata mõõdikud korrapäraselt üle).

Samuti on hea meeles pidada, et kui mõõtmissüsteemi muudetakse, siis kaob mõõteinfo järjepidevus ning halveneb mõõtmistulemuste võrdlusvõimalus varasemate perioodidega.

Miks mõõta?

Selle küsimuse otsa joostakse tavaliselt siis kui seotud osapoolte hulgas on keegi, keda eelnev jutt mõõdikutest veel ei veennud või ei usuta nende tulemuslikkusesse. Samas ei ole kunagi halb ka ise enne mõõdiku kasutuselevõttu leida hetk, et analüüsida mõõdikute kasutamise vajadust. Mida paremini saame aru, miks me seda teeme ja miks see on vajalik, seda paremini mõistame eesmärke ning suudame luua õigeid mõõdikuid/mõõtmissüsteeme.

IT või veebiprojektid ei erine oma olemuselt teiste projektidega niivõrd palju, et nende puhul ei saaks sarnaselt teiste tegevustega mõõta tema tõhusust (sh kvaliteeti, efektiivsust), mõjusust (sh edukust, kasutajate rahulolu) ja kasutatavust (sh kättesaadavust/availability, osalust ning arusaadavust/simplicity), kuid kolme eripäraga tuleb mõõtmisel ja mõju hindamisel siiski arvestada.

Esiteks on veebikeskkonna ja e-teenuste mõõtmise juures tavapärasest olulisemad kvalitatiivse iseloomuga mõõdikud. Sõnad, „hea, mugav, lihtne, arusaadav“ ja teised pehmed väärtused ning nende vastandväärtused, on e-keskkondade puhul levinud ning ainult finantsiliste, statistiliste või „must-valgete“ mõõdikutega neid mõõta ei saa.

Hea e-teenuse loomise juures on tunnetusel väga suur roll ning oluline on oskus taoliste mõõtmistulemuste korrektne tõlgendamine.

Teiseks sõltuvad veebikeskkonna arenduse eesmärgid väga suurel määral sellest, millises arengufaasis on keskkond ning seda ümbritsev organisatsioon.

Keskkond, kus on välja kujunenud juba püsiv kasutajaskond, teenuste kasutamine on jõudnud küllaltki kõrgele tasemele ning organisatsioon on läbi teinud mitmeid interneti arenguga seotud muutusi, on teistsuguste fookustega kui organisatsioon, kes on e-teenuste kasutamisega algusjärgus. Maanteeamet kuulub käesoleval hetkel alustajate sekka.

Kolmas eripära on see, et suurem osa veebikeskkondade muudatuste mõjust avaldub pika aja jooksul. Pool aastat, pärast uue keskkonna kasutusele võttu, on lühim periood, mil on võimalik mõõta projekti tulemuslikkust.

Soovituslik mõju hindamise ajajärk on 1-2 aastat. Tihtipeale aga kulub projekti algusest kuni tulemuste saavutamiseni 3 aastat. Seetõttu on oluline, et organisatsiooni juhtkond väldiks mõju hindamist esimeste kuude jooksul. See ei tähenda seda, et selgete möödalaskmiste korral ei peaks tegema vajalikke samme olukorra parandamiseks.

Samuti peame meeles pidama, et mõõdikute alusandmed kogunevad pika aja jooksul ja tihtipeale puudub organisatsioonil keskkonna kasutusele võtmise hetkel igasugune statistiline baas, mille vastu end võrrelda. Seega enne keskkonna kasutusele võtmist tuleb kindlasti seatud mõõdikute kohta koguda kõikide mõõdikute algandmed.

Üldistatult võib öelda, et mõõtmise vajaduse tingib kolm lihtsat põhimõtet:

Kui me ei mõõda siis me ei tea, kas meil läheb hästi või halvasti;
Kui ei tuvasta arengut siis me ei tea, kas täidame oma eesmärke ning kui ei tuvasta taandarengut, siis ei saa seda parandada;
Kui ei mõõda siis pole ka midagi, millega oma saavutatut võrrelda.

Juhtkonna või otsustajate jaoks on mõõdikute seadmise vajadus tegelikult veelgi lihtsakoelisem – nimelt soovitakse saada indikatsiooni sellele, kas on tehtud õigeid otsuseid, mida on vaja parandada, millised on kulud ja tulud ning millega seoses need tekivad. Vähetähtis ei ole ka soov võrrelda end iseenda varasemate perioodidega või teiste organisatsioonidega (avaliku sektori puhul saab rääkida isegi võrdlustest teiste riikide sarnaste e-teenuste tulemuste võrdlemisest).

Mida mõõta?

Teise olulise aspektina enne mõõdikute kirjeldamist on oluline välja selgitada, mida soovitakse mõõta. Soovituslikult peaks igal organisatsioonil olema defineeritud visioon ja missioon, mis kirjeldavad kuhu ja kuidas organisatsioon soovib areneda. Visiooni ja missiooni saavutamiseks seab organisatsioon omale pika- ja lühiajalised eesmärgid. Mõõdikute ülesanne on kontrollida seatud eesmärkide täitmist.

Mõõdikute jagunemine

Suurim väljakutse mõõdikutesüsteemi loomisel on sobivate mõõdikute valimine. Neid ei tohi olla liiga palju, et nad ei hakkaks üksteist segama või hajutaks tähelepanu, kuid samas peab olema tagatud kõikide oluliste aspektide mõõtmine, mis võimaldaks eesmärkidele tuginedes teenust ja organisatsiooni tervikuna edasi arendada – parendada.

Mõõdikuid on võimalik kirjeldada mitmel viisil. Kvaliteetse mõõtesüsteemi juurutamisel on oluline jälgida, et mõõdikud kataks kõiki olulisi vaateid ning oleks erinevate suunitlustega. Mõõdikuid võib grupeerida erinevate tunnuste põhjal.

Mõõtmisviisi põhjal grupeeritud mõõdikud:

otsesed mõõtmissüsteemid, kus mõõdetav sündmus fikseeritakse automaatselt selle tekkimisel (nt loodud kasutajakontode arv);
kaudsed mõõtmissüsteemid, kus mõõdetava sündmuse toimumise hetkel infot ei koguta (nt paberi kulu annab infot füüsilise kanali töökoormuse kohta või klienditeenindajate kuluv ületundide tasu näitab nende ülekoormust);
statistilised valimid (nt e-arvete töötlemise jõudlus - päevane keskmine läbi töötatud e-arvete hulk kombineerituna otsese mõõdiku – e-arvete arvuga või e-arvete arv paberarvetega võrreldes);
uuringud/küsitlused (nt kliendi rahulolu).

Mõju põhjal grupeeritud mõõdikud:

suunavad mõõdikud – mõõdavad soovitud suunas liikumist soodustavaid tegevusi. Näiteks kui eesmärk on vähendada pabertaotluste arvu siis … . Need mõõdikud ei väljenda otseselt pabertaotluste vähenemist, kuid loovad selleks eeldused;
hindavad mõõdikud – mõõdavad muudatuste realiseerunud mõju. Näiteks … .

Mõõdiku paiknemise järgi grupeeritud mõõdikud:

sisendimõõdikud – mõõdavad ressursse ja materjale. Sisendmõõdikuteks võib olla näiteks esitatud taotluste arv või klienditeenindusse pöördunud inimeste arv;
protsessimõõdikud – mõõdavad protsessi tõhusust või tootlikkust. Näiteks protsessi läbimiseks kulunud aeg või protsessitõrgete arv kuus;
väljundimõõdikud – mõõdavad teenuse tulemeid. Näiteks rahuldatud taotluste arv või väljastatud lubade arv.

Mõõdiku iseloomu järgi grupeeritud mõõdikud:

kvalitatiivsed mõõdikud – kirjeldavad mõõdikud, mis väljendavad mõõdetavat objekti iseloomustavaid omadusi. Kvalitatiivsed mõõdikud väljendatakse sageli tunnetuslike valikvastustena, kus iga mõõdiku jaoks on kirjeldatud asjakohased valikud, mille seast hindaja valib sobivaima. Näiteks rahulolu klienditeenindusega – „väga rahul“, „pigem rahul“, „pigem ei ole rahul“, „ei ole üldse rahul“.;
kvantitatiivsed mõõdikud – väljendavad mõõteobjektiga seotud arvnäitajaid. Näiteks esitatud taotluste arv, väljastatud lubade hulk või taotlemiseks kulunud aeg.

Niisiis on erinevate mõõdikute seast õige valimine väga oluline. Mõõdik võib kuuluda mitmesse erinevasse mõõdikugruppi.

E-teenuste arendamise spetsiifikast lähtudes on alljärgnevalt välja toodud just selleks otstarbeks kõige sobilikumad mõõdikud koos soovitustega, millises organisatsiooni arengufaasis on neid kõige mõistlikum kasutada, sest igal mõõdikul on oma aeg ja koht. Nii näiteks ei saa arendusjärgus või esmaarenduses olevale projektile määrata samu mõõdikuid, mida kasutatakse organisatsioonis, kes on pikaaegselt e-teenuste valdkonnas tegutsenud. NÄIDE

Esimene mõõdikute grupp on kõige ratsionaalsem – organisatsiooni majanduslikud ja efektiivsusmõõdikud. Siia alla kuuluvad:

E-teenuste abil saavutatud otsene rahaline kokkuhoid organisatsioonis – arvutuskäiku kaasatakse otseselt e-teenuste toimingute tõttu tegemata jäänud kulutused.

E-teenuses algperioodiga võrreldes täiendavalt tehtud toimingud absoluutarvudes on korrutatud füüsilise ja elektroonilise teenuse osutamise maksumuse vahega. Sel viisil liidetakse kokku kõikide teenuste kokkuhoid.

Edukalt kasutatav teenuste osutamist alustavas organisatsioonis.

E-teenuste abil saavutatud kogu rahaline kokkuhoid organisatsioonis – arvutuskäiku kaasatakse lisaks otsesele rahalisele kokkuhoiule ka kaudselt organisatsiooni erinevatele osadele avaldunud mõju (kokkuhoid klienditeeninduses, teenuste arendamisel, tugiteenustes, kommunikatsioonikuludes jne).

Nõuab organisatsioonisisest kõrget kuluteadlikkust ning head arusaama kulude omavahelisest seosest. Võimalik kasutada ainult väga pika mõju hindamisel – nt 2-3 aastase horisondi puhul, kus saab mõõta organisatsiooni reaalset muutumist.

Sobiv pikaaegselt e-teenuste valdkonnas tegutsevale organisatsioonile.

Teenuse osutamise kulu ühe ühiku kohta – mõõdetakse perioodi alguse ja lõpu kulu taset ühe toimingu kohta.

Mõõdikut rakendatakse teenuste kaupa, eesmärki kasutatakse parasjagu fookuses oleva teenuse puhul, mille muutmisele suunatakse kogu organisatsiooni tegevuse tähelepanu. Aastate jooksul tuleb fookuses olevaid teenuseid vahetada, et kõrge tulemus saavutataks kõikides teenustes.

Arengufaas, milline?

Teise rühma moodustatavad e-teenuste keskkonna kasutatavuse mõõdikud. Nende mõõdikute kasutamine ning nende algandmete kättesaamine on kõige lihtsam, sest nad baseeruvad väga palju veebiserveri kasutusstatistikal ning teenuste kasutamise statistikal. Tihtipeale annavad just need mõõdikud ka kõige kiirema ülevaate sellest, kas eesmärgid liiguvad õiges suunas. Siia rühma kuuluvad:

E-teenuste keskkonna loginite arv – mõõdetakse sõltuvalt keskkonnast kas igakuiselt või tugeva sesoonsusega keskkondade puhul 3, 6 või 12 kuu arvestuses. See mõõdik sobib eriti hästi alustavate e-teenuste puhul, sh Maanteeametisse, kus seda mõõdikut peaks vähemalt kvartaalselt regulaarselt jälgima.
E-keskkonna unikaalsete kasutajate arv. Mõõdetakse inimeste arvu, kes on loginud sisse keskkonda mõõdetava perioodi jooksul vähemalt korra. Sobib samamoodi alustavate keskkondade puhul. Sobib paremini massklientuuriga kui professionaalsete kasutajatega keskkonna mõõtmiseks.
Keskmine loginite arv ühe kasutaja kohta – arvutatakse loginite ja unikaalsete kasutajate arvu suhtena. Mõistlik kasutada keskkondade puhul, kus on tähtis kasutajate poolt regulaarne keskkonna külastamine. Algusjärgus keskkondade puhul kasutamiseks ei sobi.
Uute kasutajate arv – mõõdetakse antud perioodi jooksul juurdetekkinud uusi kasutajaid. Sobib väga hästi uute alustavate keskkondade mõõtmiseks, ideaaljuhul oleks hea, kui õnnestub jagada uute kasutajate juurdetulek konkreetsete kasutajate arvu vahel.
Keskmise kasutajasessiooni jooksul külastatud lehtede arv või külastuse kestus – viimasel ajal kasutatakse pigem kestuse mõõtmist, kuid sisuliselt on nad mõlemad sarnase iseloomuga mõõdikud. Mõistlik kasutada sekundaarse mõõdikuna, sest mõlema puhul võib heade tulemuste (palju lehekülgede külastusi või pikaajaline viibimine) põhjus olla hoopiski segases ning raskesti leitavas funktsionaalsuses ja sisus.
Konkreetse teenuse kasutamise arv e-teenuses absoluutarvuna või suhtarvuna kogu teenuse osutamise numbritest – soovitav kasutada praktiliselt kõikidel e-teenuse keskkondadel, sest on universaalne, võimalikult objektiivne ning on operatiivselt mõõdetav ning tulemusi näitav. Kui organisatsioonis on nõrk kulude arvestamise süsteem, siis on parem kasutada teenuse kasutamise näitajaid kui kuludega seotud mõõdikuid.
Kontorikülastuste arv ning teenuste kasutamise arv kontoris – e-teenuste mõõdikuna võib kasutada ka kontorite näitajaid, kui neid mingil põhjusel kergem mõõta on. Antud näitajad mõõdavad suurel määral ka seda, kui head tööd teevad kontorid kasutajate suunamisel kontorist e-teenustesse. Eraldiseisvalt võib alustavate e-teenuste puhul mõõta ka seda, kui mitu toimingut kontorites jäeti tegemata tänu sellele, et klienditeenindaja kontoris ei teinud toimingut mitte ise, vaid õpetas kasutajale e-teenuste kasutamise selgeks. See võib olla väga oluline klienditeeninduse kaasamisel e-teenustele üleminekul.

Kolmanda rühma moodustavad infotehnoloogilised näitajad. Neid mõõdikuid peab kasutama ajaperioodidel, kui e-teenuse osutamisel on probleeme keskkonna või teenuste infotehnoloogilise stabiilsuse ja toimivusega. Tavajuhul neid mõõdikuid kogu e-teenuse mõõtmiseks kasutama ei peaks, vaid ainult organisatsioonisiseselt IT mõõdikuna.

Teenuse uptime/downtime – antud näitaja on tegelikult väga oluline ning peaks kuuluma e-teenuste püsivate mõõdikute sekka, kuid seda ei saa reaalselt kasutada seetõttu, et SLA teenustaseme näitajad on aja jooksul muutunud moonutatuks ning nad ei ole seetõttu usaldusväärsed. Kui organisatsioonis on objektiivselt mõõdetav IT teenustasemete süsteem, võiks neid mõõdikuid kasutada.
Kliente mõjutanud IT intsidentide arv, nende poolt põhjustatud kliendipöördumiste arv, katkestuste kogukestus ning kogumõju klientidele – antud mõõdikud on organisatsioonile isegi olulisemad kui klassikalised SLA mõõdikud, sest aitavad siduda IT probleemid reaalsete klientidega. Millist konkreetset mõõdikut neist kasutada, sõltub sellest, millised numbrid on organisatsioonis objektiivselt mõõdetavad. IT intsidentide arv on esmatasand ning katkestuste kogumõju klientidele kõige kõrgem tase sellest mõõdikust.

Neljanda rühma moodustavad klienditeeninduslikud ning klientide emotsioonidega seotud nn „pehmed“ mõõdikud. Neid mõõdikuid tuleb kasutada nii uute kui pikaajaliselt väljakujunenud e-teenuste puhul, kuid need näitajad on kõige subjektiivsemad ning nõuavad hindamiseks kõige pikemat ajaperioodi.

Kasutajate rahulolu – rahulolu tuleks mõõta kord poolaastas, hea pole seda mõõta tihedamalt ega harvemini. Kindlasti tuleb mõõta kasutajate rahulolu enne uue e-teenuste keskkonna lansseerimist, et oleks olemas võrdlusbaas. Mõõdiku kasutamisel peab arvestama seda, et uute arenduste lansseerimisel on esimesed 3-6 kuud klientide hinnangud keskkonna osas madalamad kui pikaajalise kasutamise järel. Kasutajate rahulolu mõõtmisel on väga oluline statistiliselt usaldusväärse valimi olemasolu.
Kliendipöördumiste arv ning struktuur – oluline on see mõõdik seada sisse püsivalt ning mõõta igakuiselt kliendipöördumiste arvu, probleemide tõsidust ning probleemide jagunemist erinevate teemade vahel. Mõõdiku sisseseadmisel on kolm peamist eesmärki: vähendada kliendipöördumiste arvu tervikuna, vähendada kriitiliste probleemide osakaalu ning muuta kliendiprobleemide struktuuri ehk otsustavalt langetada mõne konkreetse probleemi olemasolu.
Kasutajate hinnang kasutatavusele, mugavusele ja lihtsusele – need mõõdikud on pandud ühte komplekti kokku, sest nende mõõdikute allikaks on sama koht ehk regulaarsed kasutajate rahulolu-uuringud, kus tuleb neid küsimusi alati küsida samasuguse sõnastusega. Mõistlik on küsida neid küsimusi üldistatult sõnastusega „Kui rahul olete kümnepallisüsteemis keskkonna kasutatavuse/mugavuse/lihtsusega?“ ning vältida liiga täpset info kogumist iga teenuse ja alajaotuse kaupa.

Lõpliku mõõdikute komplekti valimisel tuleb arvestada kõikide eelnevalt kirjeldatud mõõdikute jälgimise vajadusega – regulaarselt mõõdetavaid andmeid on igal juhul rohkem kui peamistesse fookustesse seatavaid mõõdikuid.

Fookuses olevaid mõõdikuid tuleb pidevalt jälgida ning vahetada neid vastavalt vajadusele, kui konkreetse mõõdiku fookuses olek hakkab pigem -teenuste arengule takistavalt mõjuma.

Erinevate mõõdikute vahel peab püsima tasakaal. Selleks on välja töötatud erinevaid metoodikaid. Üks levinumaid neist on tasakaalustatud tulemuskaart (balanced scorecard), mis soovitab defineerida organisatsiooni jaoks 3-5 vaadet, mis toetavad kõige paremini tema eesmärke. Näiteks võivad sellisteks vaadeteks olla:

Finantsvaade – organisatsiooni olulisemad finantsnäitajad
Kliendivaade – kuidas organisatsioon paistab klientidele
Sisemiste protsesside vaade – millised on olulised protsessid
Õppimine ja kasv – kuidas organisatsioon peab arenema, et täita eesmärke.

Igasse vaatesse kirjeldatakse konkreetsed eesmärgid ning eesmärkidega seotud mõõdikud. Mõõdikute valimisel jälgitakse, et neid oleks valitud erinevatest gruppidest ja sobival hulgal. Soovituslikult peaks igas vaates olema mõõdikuid 3-6.

Mõõdikutega seotud ohud

Mõõdikute seadmisel ja mõõtmissüsteemide loomisel on nii nagu kõigega siin elus ka oma varjupool. Kui mõõdikute teema alguses tõime välja mõningad tüüpilised vead nende seadmisel siis nüüd käsitleme tervet rida ohtusid, mis mõõdikute/mõõtmissüsteemi juurutamisega ja mõõtmisprotsessiga võivad kaasneda ning millega tuleb süsteemi loomisel ja mõõtmistulemuste kasutamisel arvestada.

Järgnevalt on välja toodud mõned näited levinumatest ohtudest:

Saad seda, mida mõõdad – kui organisatsiooni juhtimises panustatakse väga tugevalt mõõdikute sihtväärtuste saavutamisele, siis võib juhtuda, et töötajad hakkavad otsima võimalusi, kuidas saavutada mõõdikut, mitte parandada protsessi või teenuse tulemit.

Näiteks kui mõõdikuks võtta rahuldatud e-taotluste arv, siis võib kannatada taotluste menetlemise kvaliteet kuna motivatsioon on võimalikult kiiresti otsuseni jõuda.

Mõõtmine võib takistada arengut – kui organisatsioon keskendub ainult efektiivsuse saavutamisele hakkab see pärssima arengut, sest arendamine vajab reeglina ajalist või rahalist investeeringut uudsete lahenduste toimima hakkamiseks ja kasutajaharjumuste muutumiseks, mis lühikeses perspektiivis ei ole efektiivne, kuid annab võidu pikas perspektiivis.

Näiteks kui eesmärk on klienditeeninduse järjekordade lühendamine, siis lihtne ja kiire lahendus on palgata rohkem klienditeenindajaid kuigi otstarbekam võiks olla arendada e-teenuseid, mis vähendavad inimeste vajadust klienditeenindust külastada. Kuid e-teenuste arendamine vajab suuremat alginvesteeringut.

Mõõtmine võib muuta valivaks – protsesside parandamisel ja mõõdikute sihtväärtuste saavutamisel võib sageli tekkida ahvatlus minna sisendite optimeerimise teele. See tähendab, et protsessi parandamise asemel valitakse välja mugavad juhtumid, millega suudetakse efektiivsusnäitajad kergelt saavutada ning jäetakse kõrvale need juhtumid, mis on keerukamad ja mille käsitlemine võtab rohkem aega.

Näiteks kui menetlejaid mõõdetakse personaalselt läbiviidud mentluste arvu põhjal, siis võivad osad töötajad hakata erinevatel ettekäänetel hoiduma teatud tüüpi juhtumitest, mille menetlusaeg on pikem ning eelistama neile lihtsaid juhtumeid, mille menetlus on kiire.

Mõõtmistulemuste väärtõlgendus – sageli on mõõdikute väärtuseid võimalik mitmeti tõlgendada ning teha selle pealt valesid järeldusi. Sellisel juhul võib mõõtmata jätmine olla isegi kasulikum kui valed otsused mõõtmistulemuste põhjal. Samuti võib mõõtmine tekitada töötajates ebakindlust ja soovi tulemusi mõjutada kui ei ole selgitatud, kuidas ja millistel eesmärkidel mõõtmistulemusi kasutatakse.

Näiteks kui mõõta klienditeenindajate poolt lahendatud probleemide arvu võib jõuda tulemuseni, et mõni kogenud klienditeenindaja jõuab läbi töötleda poole vähem juhtumeid kui uus töötaja ning selle põhjal jääda ekslik mulje, et kogenud klienditeenindaja ei pinguta samaväärselt. Samas võib selle tegelikuks põhjuseks olla, et staažikam töötaja kulutab osa ajast uue töötaja juhendamisele ning võtab endale keerukamate ja ajamahukamate juhtumite lahendamise.

Kõige mõõtmine – tänapäeva tehniliste lahendustega on üsna lihtne koguda infot paljude erinevate mõõdikute kohta. Samas kui mõõdikuid on palju ning ei ole kokku lepitud, millised neist on organisatsiooni jaoks olulised, ei aita mõõtmissüsteem organisatsiooni arengule kuigivõrd kaasa, sest kõiki eesmärke korraga saavutada ei ole võimalik ning pigem tekitab see inimestes rohkem segadust kui innustab neid töö tulemuslikkust parandama. Liigne mõõtmine hajutab ka tähelepanu ning kiputakse keskenduma ebaolulistele eesmärkidele või hakkavad erinevad mõõdikud üksteist segama.
Täiusliku mõõtmissüsteemi loomine – mõõtmissüsteemi looma asudes tekib sageli soov minna info kogumise täpsuses või mõõdikute kirjeldamisel väga detailseks. Kokkuvõttes kulutatakse mõõtesüsteemi loomisele ja selle käigushoidmisele väga palju aega ja energiat ning sellest saadav on väiksem kui mõõteinfost saadav tulu. Soovitatav on mõõtesüsteemi loomisel arvestada, et sellest tulenev administratiivse koormuse suurenemine oleks minimaalne.
Õigete mõõdikute kasutamine valel perioodil – … õigel hetkel õige eesmärk … selgitada ja tuua näide …
Valede/mittevõrreldavate andmete võrdlemine – … selgitada ja tuua näide …
Kommunikatsioonieesmärkide vastuolu kliendi rahuloluga – … selgitada ja tuua näited …
Kolmnurk – turvalisus, lihtsus, mugavus – … selgitada ja tuua näide.

Hoolimata loetletud ohtudest on enamasti mõõtmissüsteemist siiski rohkem kasu kui kahju. Isegi kui mõõtmistulemused ei ole alati päris täpsed ning kogutud andmed otse kasutatavad, annavad mõõdikud siiski olulise sisendi organisatsiooni toimimise hindamiseks ja vajalike juhtimisotsuste tegemiseks.

Kokkuvõte

Käsiraamat andis ülevaade kõikidest olulisematest e-teenuste arendamise ja haldamise osadest nii konkreetsete funktsionaalsuste kaupa kui kogu e-teeninduse kohta tervikuna. Alati, kui on võimalik, on kasutatud Maanteeameti teenuste disainimise praktilise kogemuse näiteid, kuid suurel määral on töös kasutatud ka töö autorite paljude Eesti suuremate internetikeskkondade loomise, arendamise ja haldamise kogemust. Seetõttu on mahukas ka dokumendi üldtaust, strateegilistele osadele keskenduvad punktid ning kogu organisatsiooni mõõde e-teenuste arendamisel. Ilma nende osade realiseerimiseta ei ole võimalik luua head e-teenust isegi väiksemas osas – hea e-teenuse jaoks peab vundament olema tugevalt paigas.

Hea e-teenus on organisatsiooni mõttelaad, mitte ainult disaineri poolt loodud tulemus. Ilma protsesse põhjalikult lihtsustamata ning kasutajasõbralikuks tegemata ei saa ka head e-teenust luua. Seepärast on dokumendis väga tugevalt rõhutatud kogu organisatsiooni, aga sealhulgas ka juhtkonna olulist panust hea e-teenuse loomisse. Juhtkond peab nõudma internetistrateegia olemasolu ning seisma selle heakskiitmisel selgelt selle taga, ainult siis saab e-teenus organisatsioonile reaalselt ja palju kasu tuua.

Projektimeeskonna enda juures on kõige olulisem rõhutada internetivaldkonnas pädevate inimeste kaasamise vajadust e-teenuste arendamisse. E-teenuste loomine on muutunud niivõrd suureks osaks organisatsioonide igapäevaelust ja internet oma nüanssidega piisavalt tehniliseks, et ilma antud valdkonna tausta omamata on väga raske luua parimat lahendust. See tähendab, et ilma väliste partnerite kaasabita on lahendusi luua juba äärmiselt keeruline. Kasutajasõbralike lahenduste loomine võrreldes tavapärase IT lahendusega eeldab väga tugevat kasutatavusspetsialistide kaasamist, kus töö käigus tuleb kogu teenus põhjalikult läbi töötada, lihtsustada, joonistada see kõik läbi kavanditena ning pöörata disainifaasis olulist tähelepanu kõikidele detailidele. Tavaline infosüsteem sellist tööd ja kompetentsi kaasamist ei nõua, kasutajasõbraliku e-teenuse loomisel on see roll aga võtmekoht kogu lahenduse õnnestumisel.

Käsiraamatus kirjeldatud arendusmudel on laiendatav ka ülespoole, seega antud käsiraamatule peaks loogilise jätkuna järgnema kogu avaliku sektori internetikeskkondade strateegia ning stiiliraamatu koostamine. See võimaldab kogu avaliku sektori tegevuse internetis suunata selgesse kanalisse ning siduda kõik tehtavad arendused veel tugevamalt loogilisse tervikusse. Nende kahe dokumendi valmimine annab olulise tõuke kogu avaliku sektori keskkondade kasutajasõbralikumaks muutmisele. Maanteeameti näide on selles suunas esimene oluline praktiline näide ja pilootprojekt, mille edukas valmimine annab tugeva tõuke ka kõikide teiste keskkondade arengule.