Overleg Wikipedia:ORES/Kwaliteitsschaal voor artikelen

Eerder overleg over de totstandkoming van het kwaliteitsmodel (versie 1c) is hier te vinden.

Paar vragen

1) Hoe stelt de computer vast of een artikel aan de Klasse A-voorwaarden voldoet? Hoe weet het programma bijvoorbeeld of een artikel logisch van opbouw is en een volledig en evenwichtig beeld geeft van de belangrijkste aspecten van een onderwerp?

2) 'zoveel mogelijk in de actieve vorm' is geen graadmeter voor kwaliteit. Op zichzelf is er niets tegen passieve zinnen (zoals 'De slachtoffers werden overvallen door het noodweer'), al geldt natuurlijk altijd dat overdaad schaadt. Marrakech (overleg) 3 mrt 2022 17:49 (CET)

Hi Marrakech,

1) In het kort wordt de aanloop naar de huidige kwaliteitsschaal hier uitgelegd. Ik weet verder niet precies hoe ver je kennis over bots en AI gaat, maar zonder je te willen mansplainen: bij AI wordt de uitkomst bepaald door de data die je erin stopt. In het geval van het Nederlandse model gegevens over 20 jaar artikelen en beoordelingen op de Nederlandstalige Wikipedia.

2) Daar mag inderdaad over gediscussieerd worden! Het kwaliteitsmodel staat zeker niet vast, maar er is tijdens de ontwikkeling over gediscussieerd en er zijn zo'n 12 Nederlandse Wikipedianen bij betrokken geweest. Ik denk dat inderdaad dit soort taalaspecten het moeilijkst zijn voor de AI om te beoordelen, aan de andere kant is die invoer van data van 20 jaar Etalage-nominatie/Etalage-afwijzing/Etalage-verwijdering/Review etc. wel richtinggevend in een analyse over wat de Nederlandstalige gemeenschap wel en niet waardeert in artikelen. Ik kan me voorstellen dat we voor dit soort taalkundige gradaties een nuancering aan zouden willen brengen, en het model leren wat meer (bronnen van secundaire of tertaire aard) en minder (actieve taal) belangrijk is. Zou dat helpen denk je? Ciell need me? ping me! 5 mrt 2022 11:05 (CET)

1) Goed, maar dan begrijp ik eerlijk gezegd nog steeds niet hoe het AI-programma kan bepalen of een artikel een volledig en evenwichtig beeld geeft van de belangrijkste aspecten van een onderwerp. Zijn er ook voorbeelden van hoe het programma dat in de praktijk aanpakt?

2) Ik lees alleen dat gebruiker PAvdK er daar een opmerking over maakt. Of zie ik iets over het hoofd? Maar nogmaals: er is op zichzelf niets mis met de lijdende vorm. Jijzelf gebruikt die vorm hierboven een aantal keren in heel acceptabele zinnen (bijvoorbeeld 'In het kort wordt de aanloop naar de huidige kwaliteitsschaal hier uitgelegd') die niets aan duidelijkheid te wensen overlaten. Marrakech (overleg) 5 mrt 2022 20:10 (CET)

De kwalificaties voor de A-klasse zijn overgenomen van de eisen voor Etalage-artikelen en daarna verder afgestemd aan de hand van overleg. Er zijn daardoor nu nog wat eisen die lastiger zijn voor ORES om te bepalen, maar ze horen wel bij de eisen waarnaar je zou willen streven voor de A-klasse artikelen.

Om dan je eerste vraag te beantwoorden: dit kan ORES (nu nog) niet. ORES kan wel een algemene inschatting doen en bijvoorbeeld holle frasen ('claimen', 'uit onderzoek blijkt', 'internationaal erkend', etc.) herkennen. Wat dat betreft blijft een beoordeling echt mensenwerk en doet ORES enkel een eerste inschatting. Ciell need me? ping me! 5 mrt 2022 20:35 (CET)

Vormaspecten: zinnig en hoe dan?

Gekopieerd vanuit De Kroeg

De vroegste geschiedenis van het artikel Nederlandse Loterij is nogal apart. De eenzinner begint met 1,28 en dankzij een verwijdernominatie gaat hij naar 1,82. Echt bizar is, dat Encycloon vervolgens opmaak en twee linkjes toevoegt en daardoor de waardering laat instorten tot 1,09. Ook lastig te begrijpen waarom deze toevoeging op Zuiderbegraafplaats (Groningen) afgestraft moet worden met een aftrek van 0,4.

Dit is hetzelfde type fouten als bij de vorige ORES-versie. Komt deze versie beter overeen met de bevindingen van mensen? Ik zou eigenlijk niet negatief willen doen, maar word hier ietwat wanhopig van. Mijn toevoeging van bijna duizend bytes aan Gifsumak wordt nu niet meer afgestraft, maar juist gewaardeerd, dat is wel een pleister op de wonde. Deze verviervoudiging van het artikel Pandhof door Kleon3 had dan meer verdiend dan een armzalige 0,1 erbij  →bertux 3 mrt 2022 20:36 (CET)

Einde kopie vanuit De Kroeg

Tegenover de treurige waardering voor Kleon3 staat de toevoeging van 61 bytes door Stickit.be, die krijgt er ruim een half punt bij en verheft het artikel tot A-status. Hoe? Hij voegt een kopje toe dat geheel in hoofdletters schreeuwt (dat zou tot aftrek moeten leiden) en zet een hele alinea in kopje 3 (idem), Zie de paginageschiedenis.

Resumé

Er is nu zo lang gewerkt aan dit model dat het zo zoetjes aan bruikbaar zou moeten zijn. Waar zijn de resultaten? Op welke manier is Wikipedia al verbeterd met dit model? Ik kan me niet voorstellen dat dit ooit iets zinnigs zal opleveren. Op detailniveau is het ronduit desinformatie en meer globaal is het op zijn best een schot hagel waar je geen beslissingen op kunt baseren.

Alternatief

Het model dat de versieverschillen in de Volglijst van kleurmarkeringen voorziet werkt veel beter, is het niet mogelijk om hiermee een model te bouwen, aan de hand van de cumulatieve waarderingen van de diffs?  →bertux 5 mrt 2022 08:37 (CET)

Het model is dan ook niet bedoeld om artikelen op detailniveau te beoordelen, maar om een algemene indruk te geven van de staat van een artikel. Ik ben bang dat je verwachtingen te hoog zijn, zeker gezien de beperkte mankracht die we hebben. Er zijn al een tijdje verschillende blockers die een negatieve rol spelen in het ontwikkelingsproces en deze flink hebben vertraagd, en je hebt gelijk dat het nu neerkomt op een uitdaging van de langst adem.

Een veelgehoord argument van de gemeenschap bij schrijfinitiatieven is: "de focus moet niet liggen op nieuwe artikelen! We moeten de kwaliteit van bestaande artikelen verbeteren!" Met ORES krijg je op een simpele wijze een algemene indruk van de kwaliteit van artikelen in een lijst van artikelen, en heb je een idee waar je kunt beginnen met verbeteren.

Focus je bij ORES daarom vooral niet teveel op de decimalen, en welke toevoegingen of verwijderingen een score doen stijgen of dalen. Interessant zijn vooral de D-artikelen die B zouden moeten zijn, of andersom. Een illustratie waar ORES nuttig is, is bijvoorbeeld de resultatenlijst van het Gendergap project: middels een sjabloon worden bij alle, in 2022 reeds al meer dan 200, nieuwe artikelen aangegeven wat de indicatie van de kwaliteit van een artikel is. Je ziet dat er vrij veel kortere artikelen geschreven zijn, met enkele uitschieters in de B-categorie, en nog geen enkele A. Gelukkig scoort alles wel in de D of hoger.

Ik snap dat het een uitdaging is om de achterliggende werkwijze van de bots te doorgronden, maar ben bang dat dat niet zo makkelijk is: ik kan het je in ieder geval niet precies uitleggen. Blijven je vragen bestaan, stuur me een mailtje en ik voeg je toe aan het wekelijkse overleg met de (vrijwillige) ontwikkelaars van dit Nederlandstalige model. Ciell need me? ping me! 5 mrt 2022 10:54 (CET)

Redirects

Mij was opgevallen dat redirects verschillende scores hunnen krijgen, van B tot E. Enkele voorbeelden van B-scores hadden:

• Aantal
• Pycnoxyl hout
• Retroviridae

Zoals je ziet hebben deze redirects nu een E-score, maar dat is gekomen nadat ik categorieën heb toegevoegd. Naar mijn idee is het wenselijk dat er bij redirects categorieën zijn in verband met het zoeken met behulp van categorie-boom. Het hier aangegeven verschijnsel is dus onwenselijk, en zou omgekeerd moeten werken. Zou dat ook geïmplementeerd kunnen worden? (niet erg dringend verzoek). PAvdK (overleg) 12 mrt 2022 10:29 (CET)

Je zult het niet gezien hebben, maar op de Helpdesk gaf ik aan dat dat ORES op termijn uitgeschakeld zal worden voor redirects en dp's  →bertux 12 mrt 2022 10:39 (CET)

Hi, ik heb deze wens op phabricator nogmaals benadrukt bij de ontwikkelaars. Bedankt voor de herinnering! Ciell need me? ping me! 12 mrt 2022 19:25 (CET)

 Uitgevoerd Opgelost volgens mij. Ciell need me? ping me! 14 mrt 2022 18:51 (CET)

NB: als je een artikel aanroept met het ORES-sjabloon zoals hierboven, zul je waarschijnlijk de uitzondering overschrijven. Bekijk je de afzonderlijke redirect, dan zie je dat de beoordeling wordt onderdrukt, zo nu ook op de hoofdpagina. Ciell need me? ping me! 14 mrt 2022 18:55 (CET)

Relatie tussen letters en getallen

Interessant om deze kwaliteitsinschatting te zien. Complimenten aan allen die zich hiermee bezighouden.
Ik vraag mij af wat de relatie tussen de letters en getallen zijn. Ik had verwacht dat alles tussen 0 en 1 E zou krijgen, tussen 1 en 2 D, tussen 2 en 3 C, tussen 3 en 4 B en tussen 4 en 5 A. Maar dat blijkt niet zo te zijn.
Vreemder vind ik het dat het artikel Filips VII van Waldeck-Wildungen B 3,35 scoort, terwijl het artikel Magdalena van Waldeck-Wildungen C 3,95 scoort. D.w.z. een letter lager, maar 0,6 hoger in getal. Daar gaat iets niet helemaal goed lijkt mij. Ik hoop dat jullie een oplossing vinden.
Succes met het verder verfijnen! Mvg, Roelof Hendrickx (overleg) 24 mrt 2022 19:27 (CET)

De achterkant, die nu zichtbaar is als je op het nummertje klikt, geeft misschien al iets meer inzicht. Verder worden in het nieuwe systeem Lift Wing (de opvolger van ORES) dadelijk de modelkaarten beschikbaar, waarbij je in de diepere data achter de voorspelling per artikel duiken kunt - en daarop terugkoppeling geven kunt. Ciell need me? ping me! 26 mrt 2022 10:35 (CET)

De links achter het nummer geven mij wel uitleg hoe het systeem op de letter uitkomt, dat is mij nu duidelijk. Maar het verklaart mij nog niet hoe het kan dat een artikel in letter hoger scoort, maar in getal lager. Mvg, Roelof Hendrickx (overleg) 26 mrt 2022 14:12 (CET)

ORES-sjabloon aangepast

Hi allen,

Het ORES-sjabloon boven artikelen is iets aangepast: de letter linkt nog steeds naar de pagina met de uitgeschreven kwaliteitsschaal hier op de wiki, de nummerieke score is nu een link naar de voorspelling in percentages en geeft wat meer inzicht over hoe zeker ORES is van de voorspelling die het doet. Willekeurig voorbeeld: ORES is hier erg zeker van een C-artikel. Afgelopen jaar hebben 2 groepen vanuit nlwp al meegedaan aan een onderzoek over hoe model-kaarten ingezet kunnen worden, en dit betekent dat als je in de toekomst twijfelt over een score, bv omdat je het artikel Claudia Alexander helemaal geen C-artikel vindt, je het model achter de score van dit artikel achter ORES kunt napluizen, en voorstellen kunt doen voor verbetering. Voorbeeld van een modelkaart van een artikel (nog in ontwikkeling) Ciell need me? ping me! 26 mrt 2022 10:49 (CET)

Logica

Het is me een raadsel wat de voorwaarde waarin beschikbaarheid genoemd wordt, betekent. Bv. een artikel moet voldoen aan: "Het artikel bevat een infobox, indien beschikbaar ...". Wat nu als de infobox niet beschikbaar is? Voldoet het artikel dan niet aan de eis, of is de voorwaarde niet van toepassing? Madyno (overleg) 12 feb 2023 10:45 (CET)

"met bijbehorende inhoudsopgave"

Bij deze het voorstel om bij punt 3 in klasse B "met bijbehorende inhoudsopgave" weg te halen. Een inhoudsopgave is iets wat MediaWiki voor je aanmaakt als je koppen op de juiste manier opmaakt. Dit klinkt als iets wat uit vervlogen tijden komt toen dit nog niet het geval was. Vera ^(talk) 15 jun 2023 13:07 (CEST)

De structuur kan aanwezig zijn zonder dat je gebruik maakt van de kopjes van MediaWiki. Haal je de voorwaarde van de inhoudsopgave weg, dan kan een artikel met niet-MediaWik-kopjes toch een B-status verkrijgen. Valt het artikel om deze reden door de mand,dan is de oplossing voor die situatie eenvoudig: gebruik de juiste koppen.

Je zou het volgende kunnen overwegen: Het artikel heeft een duidelijke indeling van de hoofdstukken en alinea's met gebruikmaking van MediaWiki-codes.

Met vriendelijke groeten, RonnieV (overleg) 15 jun 2023 14:23 (CEST)

Invloed archieflinks op score

Na het toevoegen van archieflinks gaat de ORES-score van een artikel soms (drastisch) naar beneden. Zo ging dit artikel van een score B 3,37 naar D 2,79. Hoe kan dit? Het lijkt mij geen verslechtering van het artikel. - TheGoodEndedHappily (overleg) 3 apr 2024 19:28 (CEST)

Ik zou dat ook graag willen weten. Mondo (overleg) 16 apr 2024 14:01 (CEST)

Thanks @Mondo, excuus @TheGoodEndedHappily: ik had je vraag gemist. Ik wilde er even voor je induiken maar met de overgang naar de vernieuwde Lift Wing hebben ze bijna alle ORES-links gearchiveerd. Voorheen zou je via de ORES UI de score per kwaliteitsklasse kunnen terugvinden, meer gedetailleerd dus dan wat je hier op de encyclopedie ziet.

Ik ga even proberen om de nieuwe link top te vragen, als de achterkanten van de modellen überhaupt nog beschikbaar zijn. Mocht ik volgende week nog niet hierop zijn teruggekomen, kunnen jullie me dan even porren? Ik ben nu onderweg naar een week lang overleg in Berlijn en deze vraag zou er dan nog wel eens bij tussendoor kunnen glippen, maar ik heb zo 1-2-3 in ieder geval geen verklaring dus wil het wel graag even uitzoeken! Ciell need me? ping me! 16 apr 2024 16:03 (CEST)