Gezonde Zorg
Text logo image
Organisatie en financiering van een kosteneffectieve,
patiënt- en zorgverlenersvriendelijke en faire zorg
A- A A+
Printer icon

Cliënttevredenheidsmeting v. 2.7

Inleiding

Zoals op Kwaliteitsassessment beargumenteerd, zouden de zorguitkomsten moeten bestaan uit pathologieverloop en/of cliënttevredenheid, afhankelijk van de discipline. En die zouden zoveel mogelijk gescheiden gemeten moeten worden.

Voor de meting van de cliënttevredenheid worden in Nederland voornamelijk de Consumer Quality Index (CQI) en de Zorgkaart Nederland gebruikt. Beiden hebben echter grote praktische bezwaren. Ook hebben ze wezenlijke klinimetrische zwaktes, zelfs al werd in de pers gesuggereerd dat ze elkaar gevalideerd zouden hebben. Een beter alternatief wordt verderop gepresenteerd, maar eerst de tekortkomingen van de twee genoemde instrumenten.

De Consumer Quality Index

De CQI-vragenlijsten zijn te vinden op deze pagina van het Nivel (al heeft het Nivel ze niet zelf ontwikkeld).

De tekortkomingen van de CQI-vragenlijsten zijn de volgende:

  1. Ze leveren geen concrete verbeterpunten op voor de zorgaanbieders. Dat wordt gesteld door de voorzitter van ActiZ, naar aanleiding van veelvuldig geuite klachten van zijn leden, en door de bestuursvoorzitter van de Gemiva-SVG Groep. Er is zelfs weerzin tegen (de uitkomstrapportage van) het CQI-systeem.
  2. Ze zijn zeer lang (2013: gem. 74 vragen met een spreiding van 29-131) en alle vragen dienen beantwoord te worden. Dat geeft twee problemen. Het eerste is dat een lange vragenlijst een lager responspercentage heeft dan een korte.

    Bij laagprevalente aandoeningen, vooral bij kleine (vestigingen van) zorgaanbieders, is een hoog percentage nodig. Er moet immers gedifferentieerd kunnen worden naar (soorten) diagnoses, anders zijn de enquêteresultaten te weinig bruikbaar. En er zijn al verpleeghuizen met niet meer 17 kamers, met cliënten met verschillende aandoeningen.

    Het tweede probleem is dat des te langer de vragenlijst, des te slechter de reproduceerbaarheid. Een aantal begeleidende documenten van de vragenlijsten meldt dat ze getest zijn op betrouwbaarheid, maar dat betreft de correcte groepering van de vragen, uitgedrukt in Crohnbachs alpha. Dat is geen vervanging voor een reproduceerbaarheidstest. (Zie ook Gevalideerd ≠ klinisch accuraat.)

  3. Bijna alle vragen zijn procesgerichte vragen ("Legde men u zaken op een begrijpelijke manier uit?"). De tegenhanger van dat soort vragen zijn uitkomstgerichte vragen ("Hoe tevreden was u over de uitleg van zaken?"). Procesgerichte vragen kunnen zorgaanbieders doen verworden tot standaardproceduregerichte aanbieders, daar waar ze maatwerk zouden moeten leveren. Zo zullen er cliënten zijn die het zelfs storend vinden elke keer weer uitleg te krijgen.
  4. De antwoordschaal die vaak gebruikt wordt voor de vragen ('nooit-soms-meestal-altijd') is niet goed, want van 'soms' naar 'meestal' is een te grote stap. 'Soms' betekent ongeveer 2 van de 10 maal, en 'meestal' ongeveer 8 van de 10 maal, terwijl 'nooit' = 0 maal en 'altijd' = 10 maal.

    Omgerekend levert dat dus een schaal op van 0-2-8-10. Dat kan zich weliswaar op groepsniveau uitmiddelen, maar daarvoor is per zorgaanbieder een grote groep cliënten nodig. Dat hebben niet alle zorgaanbieders, zeker niet op elke afdeling en per (soort) diagnose.

    Ook moet regelmatig gekozen worden tussen 'ja' en 'nee' ("Heeft u tijdens de zwangerschap voorlichting en uitleg van uw verloskundige gekregen over borstvoeding?"), zonder dat een nuance kenbaar gemaakt kan worden. Beide zaken verminderen de responsiviteit bij kleinere cliëntengroepen, zeker in combinatie.

Tot slot is er nog het probleem dat er voor maar een betrekkelijk klein deel van de disciplines/zorgaanbieders CQI-vragenlijsten zijn ontwikkeld. Althans, geschikte. De huidige zijn (waren in ieder geval in 2013) voor een kwart tot een derde ketenzorgvragenlijsten. Die kunnen niet diep genoeg ingaan op de kwaliteit van de individuele (vestigingen van de) zorgaanbieders. (Daarbij is ketenzorg überhaupt geen ideale zorgorganisatievorm.)

Uitkomst- c.q. kwaliteitsfinanciering dient in principe zorgbreed, en uiterlijk 2020 gerealiseerd te zijn, liefst eerder. Men zou daarvoor wellicht snel nieuwe vragenlijsten willen ontwikkelen, maar daar gaat veel tijd in zitten. En ze moeten allemaal eerst nog een valideringsonderzoek ondergaan. Dan wordt 2030 waarschijnlijk zelfs niet gehaald.

De Zorgkaart Nederland

Al dan niet in een poging om een beter systeem te creëren dan het CQI-systeem is de Zorgkaart Nederland ontwikkeld, door de Nederlandse Patiënten Consumenten Federatie (NPCF) i.s.m. een uitgever van medische literatuur. Cliënten kunnen daarop beoordelingen geven over zorgaanbieders. De zes vragen (zorgaanbieder is willekeurig geselecteerd) die daarbij moeten worden beantwoord zijn de volgende:

Op alle zes vragen dient een cijferscore gegeven te worden van 1-10, waarvan het gemiddelde het totaalcijfer vormt. Ook dient men een (korte) toelichting te geven op het totaalcijfer.

Tekortkomingen van de Zorgkaart

De korte lengte van de vragenlijst lost het probleem van het responspercentage op, gegeven dat elke cliënt na een zorgepisode of -periode een uitnodiging zou krijgen om de enquête in te vullen. Maar verder heeft ook de Zorgkaart wezenlijke tekortkomingen:

  1. Hij is fraudegevoelig. Een kleine zorgaanbieder kan door zich een aantal keer voor te doen als cliënt de totale beoordeling van zijn zorg sterk beïnvloeden. Hetzelfde geldt voor iemand die een kleine zorgaanbieder in een kwaad daglicht wil stellen. Het enige dat daarvoor nodig is, is een aantal verschillende e-mailadressen. Hetgeen heel eenvoudig is, door het kunnen het aanmaken van aliassen in een e-mailaccount.
  2. Door zijn vraagstelling is hij ongeschikt voor andere vormen van zorg dan curatieve zorg in een instelling of praktijk. Hij wordt gebruikt voor alle vormen van zorg, maar bij bijvoorbeeld de beoordeling van thuiszorg is een vraag als "Was de behandelruimte of woon- en verblijfruimte net, schoon en toegankelijk?" op zijn best een merkwaardige.

    Ook ontbreken er regelmatig vragen. Bij bijvoorbeeld de beoordeling van een verpleeg- of verzorgingshuis mogen vragen over de kamer/het appartement (grootte, zelf mogen inrichten) en over de dagbesteding/activiteiten echt niet ontbreken.

  3. Hij levert te weinig concrete verbeterpunten op, ook in de curatieve zorg in een instelling of praktijk. Zorgaanbieders moeten alle toelichtingen doorlezen om te zien wat precies aan schort.
  4. Het totaalcijfer wordt continu en zichtbaar aangepast aan de itemscores (= vraagscores). Dat maakt de kans groot dat mensen de score op een of meer items aanpassen om tot het totaalcijfer te komen dat men aan de zorgaanbieder wil geven.

    Mensen zijn goed in staat om een totaalcijfer te geven, zeker op een schaal van 1-10, maar aan de validiteit van de itemscores van de Zorgkaart dient sterk getwijfeld te worden.

  5. Hij corrigeert niet voor confounders (= vertekenende variabelen) zoals leeftijd en sociaaleconomische/etnisch-culturele variabelen. Voor wijkgebonden zorgaanbieders kan dat veel uitmaken.
  6. Er wordt bij het invullen van de vragen weliswaar gevraagd om wat voor aandoening het ging, maar bij de presentatie van de resultaten wordt daar niet naar gedifferentieerd, zelfs niet naar soort aandoening. Bovendien is die vraag optioneel. Dat maakt de Zorgkaart te weinig bruikbaar, want te algemeen.

Wederzijdse validering van de CQI en Zorgkaart?

In een persbericht en op de betreffende webpagina van de NPCF werd gesuggereerd dat de CQI en de Zorgkaart elkaar gevalideerd zouden hebben. Daar is echter veel op af te dingen.

Het onderliggende wetenschappelijke onderzoek vergeleek de instrumenten op slechts één uitkomstmaat: de totaal- c.q. eindscore. Dat die grotendeels overeenkomen is logisch, omdat de totaalscore een aparte, losstaande vraag is in de CQI en de eindscore op de Zorgkaart makkelijk stuurbaar is.

De itemvragen zijn dus niet onderling gevalideerd. Daar komt bij dat de correlatie tussen de twee totaalscores niet sterker was dan 0,83. Dat staat in de statistiek op zich voor een sterke correlatie, maar met twee zulke eenvoudige, geheel gelijksoortige deeluitkomstmaten is dat niet indrukwekkend. Daarvoor zou de waarde 1 benaderd moeten worden.

Gevalideerd ≠ klinisch accuraat

Zoals ook al gesteld op Kwaliteitsassessment wil het feit dat een vragenlijst goed door een valideringsonderzoek is gekomen (voor zover de Zorgkaart überhaupt enig valideringsonderzoek heeft ondergaan) niet zeggen dat ze in de klinische praktijk ook accuraat is. Ten eerste wordt in lang niet alle valideringsonderzoeken een reproduceerbaarheidsonderzoek gedaan.

Ten tweede gebruikt men in valideringsonderzoeken vrijwilliger-proefpersonen, die over het algemeen tijd en aandacht aan het invullen besteden. Door een sterke stijging van het aantal enquêtedeelnameverzoeken in de afgelopen jaren, inclusief telefonische, wordt de bevolking echter in toenemende mate enquêtemoe. Welk probleem alleen nog maar groter zal worden, gezien dat uitkomst- c.q. kwaliteitsfinanciering zorgbreed ingevoerd moet gaan worden.

Dat kan naast een lager responspercentage ook tot gevolg hebben dat men in de praktijk de enquête nog wel invult, maar dat 'vlug-vlug' doet. Met gevolgen voor de kwaliteit van de antwoorden. Een beter alternatief voor de CQI en de Zorgkaart, dat snel in te vullen is zonder aan accuratesse en bruikbaarheid in te boeten, is dus nog steeds nodig.

De Universele Cliënttevredenheidsschaal

Dat betere alternatief is er, in de vorm van de Universele Cliënttevredenheidsschaal (UCt-schaal, v. 3.4). De UCt-schaal vraagt de respondent tevredenheidsscores te geven op drie hoofddomeinen:

  1. De gang van zaken in meer organisatorische zin, incl. de informatievoorziening.
  2. De zorgverlener(s) in meer persoonlijke zin.
  3. De accommodatie (indien van toepassing), incl. de zaken betreffende het eventuele verblijf.

Als de respondent op een hoofddomein een score geeft die hoger of lager is dan 'Tevreden', wordt hem/haar gevraagd dit toe te lichten door op één of meer bijbehorende, causale items ook een score te geven. Bij een score 'Tevreden' mag dat ook, maar hoeft dat niet.

Door vervolgens in de uitkomstrapportage (alleen) de items met een gemiddeld wezenlijk hogere of lagere score dan 'Tevreden' weer te geven krijgt de zorgaanbieder concrete eventuele verbeter- en complimentpunten aangereikt.

Respondenten kunnen ook eigen, niet in de lijst opgenomen items invoeren. Daarmee wordt de volledigheid van de itemslijst geborgd en ontstaat een gestructureerde feedback over veranderende cliëntwensen. Verder corrigeert de schaal voor de volgende confounders:

  1. Leeftijd.
  2. Geslacht.
  3. Indien van toepassing: de mate van (on)vrijwilligheid t.a.v. het verblijf in de zorginstelling in kwestie.
  4. Indien van toepassing: de mate waarin men het (on)eens is met de soort en hoeveelheid thuiszorg die men krijgt.
  5. De mate waarin de conditie van de cliënt zijn/haar kwaliteit van leven negatief beïnvloedt.
  6. In hoeverre men (een deel van) de zorg in kwestie zelf dient te betalen.
  7. Het opleidingsniveau van de respondent.
  8. Het vermogen van de respondent om te kunnen communiceren met de zorgverlener(s).
  9. De mate waarin de cultuur en waarden & normen van de respondent overeenkomen met de algemeen Nederlandse.
  10. De mate van privacy die de respondent had bij het invullen. Deze vraag dient ook ter controle of ingeval van langdurig verblijf de zorgaanbieder de respondent die privacy geeft, hetgeen verplicht is.

Gebruik van de UCt-schaal levert een uiterst lage administratieve belasting voor de zorgaanbieder op. Het enige dat die hoeft te doen is de cliënt aan te melden, de (hoofd)diagnose te selecteren en het e-mailadres van de cliënt of diens vertegenwoordiger in te voeren. De rest is volledig geautomatiseerd, inclusief de gecorrigeerde uitkomstrapportage.

Fraudebestendigheid wordt verkregen door een persoonlijke activatiecode die in de (al dan niet periodieke) uitnodigingsmail aan de cliënt of diens vertegenwoordiger vermeld wordt. Verdere methodologische achtergrondinformatie vindt men op de pagina van de UCt-schaal, onderaan.

Werkwijze en opzoeken resultaten

De precieze klinische werkwijze qua gebruik van de schaal, inclusief ziektelastmeting indien van toepassing, staat beschreven op Assessmentwerkwijze. Daar vindt men tevens hoe de assessmentresultaten kunnen worden opgezocht worden door zorgaanbieders zelf, cliënten en zorgfinanciers.

Versiehistorie (laatste vijf versies; meer)

Datum laatst bijgewerkt: 16-6-2020. Om server-technische redenen is de vroegste datum 10-6-2018. Voor meer informatie over de versienummering, zie Introductie. De woordafbreking op deze site is geautomatiseerd, wat fouten kan opleveren. Voor contactinformatie zie Colofon/contact/CV. Deze site is gecreëerd door Frank Conijn.