Blog

6 tipp a munkák következetes értékeléséhez
2013. november 7. csütörtök 08:24

Bár törekszünk arra, hogy az oldalon egységes szempontok szerint kialakított eredmények és statisztikák legyenek, de sokszor látjuk, hogy a munkák értékelésénél néha tanácstalanság alakul ki mind a megbízók, mind a kreatívok részéről. Arra gondoltunk, leírjuk, mi hogy képzeljük az ideális szisztémát a munkákra adott visszajelzéseket illetően, hogy legyen foganatja hosszú távon is a teljesítménynek. Milyen tehát az ideális értékelési eljárás?

Mindig egységes és érthető

Közhely, de az egész pályázat során érdemes következetes értékelési szempontokat figyelembe venni, hogy a munkák nyilvánosságra kerülésénél ne legyenek félreértések, sértődések. Ha az egyik kreatív egy motívum felhasználása miatt alacsonyabb osztályzatot kapott, akkor egy másik alkotó hasonló ötleten alapuló, de sokkal jobban kidolgozott ötlete sem érdemel sokkal magasabb pontszámot.

Jól lekommunikált

Ha megvan az egységesség, akkor erre talán nincs is akkora szükség, de hasznos lehet, ha a megbízó már a briefben vagy esetleg a pályázati fórumban leírja, hogy milyen szempontok szerint fog osztályozni. Így a kreatívok is tudják, mire számítsanak, és ezt figyelembe véve fogják a munkáikat elkészíteni.

Előre megtervezett

Egy pályázat indítása előtt nemcsak azt érdemes végiggondolni, hogy milyen munkákra vágyik a megbízó, hanem azt is, miképpen fogja azokat elbírálni. A végére ki szokott kristályosodni, hogy mely szempontok fontosak, és miket értékel pozitívan valaki, de addig néha következetlenségeken keresztül vezet az út. Nem nagy tervezésre kell itt gondolni, csak néhány fontos ismérvre, amik segítségével már az első munkákat is az egységes rendszer szerint bírálja el az ember, és nem utólag, más alkotásokat látva módosít korábbi számokat.

Több szempont szerint díjazó

Komolyan gondoljuk, hogy látszólag teljesen más szintet képviselő munkák is lehetnek közel azonos pontszámúak. Egy nagyon profin kidolgozott, szépen prezentált, ámde a briefet csak nyomokban követő munka nem feltétlenül jobb, mint egy kezdetlegesebb, ám jobb alapmotívummal rendelkező ötlet. A győztes persze nyilván nem ezek közül kerül ki. Ugyanígy igaz, hogy a szépen megalkotott munkák akkor sem érdemelnek nagyon gyenge pontszámot, ha a megbízónak nem feltétlenül tetszenek, viszont a brief figyelmen kívül hagyása miatt a legnagyobb profik se kapjanak lehetőleg 10-est. Mit is mutatnak majd ugyanis a statisztikák? Azt, hogy az egyes kreatívok milyen hatékonysággal elégítik ki a megbízói igényeket. A többi megbízót is ez fogja érdekelni, és ennek ugyanannyira része a brief követésének a képessége, ahogy a Photoshop bűvölésének tudománya is.

Jót és rosszat megkülönböztető

Szeretjük azt látni, amikor néhány megbízó nagyon kegyesen áll a kreatívokhoz, mert ez talán a mi hozzáállásunknak is köszönhető. De túlzásokba azért nem kell esni, mert igazságtalanságot szül. Valóban méltányolandó, hogy a résztvevők dolgoznak, és munkákat küldenek be, de attól még ez nem lehet hatással a kapott pontjaikra. Nem hiába 1-10, és nem mondjuk 4-10 közötti a skála. A nem létező alacsony osztályzatok szépen mutatnak a statisztikákban, a koncepciók listájában és a mi majdani infógrafikáinkon is, de valakik nagyon nem járnak jól vele, pedig erre a legkevésbé szolgáltak rá: a legjobb munkákat beküldők. Megérdemlik, hogy elváljanak a többiektől, ugyanis sokkal értékesebb, ha valaki 9 vagy 10 pontot ér el egy olyan mezőnyben, ahol az átlagpont alacsonyabb, mint ha sok 4-5-6-os közül tűnik ki csak valamelyest. Mi azt szeretnénk, ha mindenki az adott pályázaton nyújtott érdemei szerint lenne elbírálva. Természetesen ez nem azt jelenti, hogy 1-es 2-es pontok tömegére vágyunk, ez a szempont az előző bekezdés figyelembe vétele mellett érvényes. :)

Folyamatos

Folyamatosan kommentelni megerőltető lehet sok pályamunka esetén, ezért talán nem is várható el állandóan. A kreatívoknak azonban iránymutató lehet egy pontszám is, amit viszont egy kattintással meg lehet adni, szóval, ha egy megbízó már úgyis megnyitja az adott munkát, akkor már nem telik sokba értékelni sem. Ezek úgysem végleges pontok, a lezárásig tetszőleges alkalommal lehet módosítani rajtuk.  Ideális esetben az együttműködés során ez folyamatosan nő, és így a kreatív is folyamatosan kapja a visszajelzést a munkájának alakulásáról. Ha nem pontoz a megbízó, és nem is kommentel, akkor sokan – teljesen joggal – nem kezdenek új koncepció kidolgozásába sem, miközben ha megtudnák, hogy egy adott irány nem nyerte el a megbízó tetszését, akkor esetleg elindulnának más ötletek felé.

Ha ezek az ismérvek érvényesülnek minden pályázat során, akkor hosszú távon megdönthetetlenek lesznek a statisztikák az oldalon. Nekünk ez a célunk, és reméljük, mindenki együttműködik ebben.

A bejegyzés nagyon hasznos, azonban úgy érzem, sajnos ennyi év távlatában sem sikerült az oldalnak komolyabb eredményeket elérni az értékelő rendszer javításában.

Több pályázat során is tapasztaltam már, hogy a beadott munkák végső értékelése során kapott pontszámok látszólag semmilyen összefüggést nem mutatnak. Gyakran a jóval magasabb színvonalú pályázatok is nagyon gyenge pontszámot kapnak, aminek számomra csak az lehet a magyarázata, hogy a mögöttük álló ötlet nem nyerte el a kiíró tetszését. Ezzel természetesen semmi gond nem lenne, azonban mivel a pontszámok csak a pályázatok végén kerülnek megállapításra, és semmilyen indoklás nem kötelezi a bírálókat, a kreatívoknak már semmilyen lehetőségük nincs javítani a munkáikon, és utólag azt sem tudják meg, hogy vajon mit csináltak rosszul.

Az értékelő rendszer apró módosításával véleményem szerint sokat lehetne javítani a pályamunkák minőségén, ill. az értékelések következetességén is. Néhány ötlet/javaslat (a fenti listán túl):

- A pályamunkák kötelező értékelése (még a pályázat lezárása előtt - min. egy visszajelzés, lehetőség átdolgozásra).
- Kötelező indoklás (legalább a végső pontszám megadása során, nem feltétlenül szöveges magyarázat).
- Objektív, átlátható, könnyen kezelhető szempontrendszer bevezetése a következetes értékelés segítéséhez.
- A kiírásban előre meghatározott stílusjegyek szerinti értékelés/pontozás (nem csak egy végső pontszám).
- Szöveges értékelés igénylésének lehetősége (korlátozott számban).
- A nyertes pályamunka csakis 10-es pontszámmal lehessen győztes (elkerülve a 6-7-8-as nyertesek által generált alacsony átlagpontszámokat).
- Rejtett pályázatok esetén félidőben a leggyengébb/legjobb pontszámmal rendelkező munkák felfedése, egy átfogó, közös iránymutatás küldése minden követőnek.

Az összes kreatív és megbízó nevében köszönöm segítségüket!