Wikipedia:ORES

Uit Wikipedia, de vrije encyclopedie
Naar navigatie springen Naar zoeken springen

ORES (Objective revision evaluation service) is een webservice en een computer-leersysteem (Machinaal leren, Artificial Intelligence of AI) dat wordt ontwikkeld door de Wikimedia Foundation als ondersteuning van diverse tools die op de projecten ingezet kunnen worden.

Op dit moment kan ORES de data voor 2 zaken leveren: data over de kwaliteit van bewerkingen, en data over de kwaliteit van artikelen.

Kwaliteit van bewerkingen[bewerken | brontekst bewerken]

Op de Nederlandstalige Wikipedia kun je de RTRC tool gebruiken om te helpen met het beoordelen van bewerkingen door anoniemen.

Een zorg bij de open projecten van Wikimedia is de controle van mogelijk schadelijke bijdragen (bewerkingen). Het is ook noodzakelijk om bewerkers te identificeren die van goede wil zijn (maar per ongeluk schade berokkenen) en hen ondersteuning te bieden. Deze modellen maken het filteren van bewerkingen in de nl:Speciaal:RecenteWijzigingen makkelijker. ORES biedt twee niveaus van ondersteuning aan modellen die de bewerkingskwaliteit voorspellen: basis en gevorderd.

ORES is sinds 2016 actief als Beta-feature op de Nederlandstalige Wikipedia. Het systeem is getraind dankzij een (zeer) actief gebruik van labellen van bewerkingen. Door gebruik van deze labels leert het systeem ook nog steeds bij.

Krinkles RTRC-tool maakt gebruik van ORES en kan gebruikt worden op de Nederlandstalige Wikipedia voor de controle en beoordeling van anonieme bijdragen. Deze wordt geactiveerd door het toevoegen van deze code voor de gadget aan je persoonlijke common.js, waarna de links achter de tijdsaanduideingen in de controlelijst je naar de extensie brengen.

Basis-niveau[bewerken | brontekst bewerken]

Ervan uitgaande dat de meeste schadelijke bewerkingen worden teruggedraaid en dat bewerkingen die niet schadelijk zijn niet worden teruggedraaid, kan een overzicht van bewerkingen (en teruggedraaide bewerkingen) van een wiki gemaakt worden. Een dergelijk model is eenvoudig op te zetten, maar het lijdt onder alle terugdraaiingen die om andere redenen dan schade en vandalisme gedaan worden. Om dit probleem te verhelpen, is een model ontworpen dat gebaseerd is op ongewenste woorden.

  • teruggedraaid – voorspelt of een bewerking op een gegeven moment teruggedraaid zal worden.

Gevorderd niveau[bewerken | brontekst bewerken]

Liever dan slechts aannames te doen, wordt bewerkers gevraagd om ORES te leren welke bewerkingen beschadigend zijn en welke bewerkingen aangemerkt moeten worden als goede wil. Dit vraagt aanvullende inspanningen van de gemeenschap, maar het maakt een nauwkeurigere en meer afgewogen voorspelling van de kwaliteit van een bewerking mogelijk. Veel tools werken alleen als een gevorderd beschermingsniveau op de betreffende wiki is aangezet.

  • beschadigend – voorspelt of een bewerking het project schaadt
  • goede wil – voorspelt of een bewerking is gedaan vanuit goede wil (maar wel ongelukkig uitpakt)

Kwaliteit van artikelen[bewerken | brontekst bewerken]

Overzicht van beoordeling van kwaliteit van artikelen op de Engelse Wikipedia Een screenshot van kwaliteitsbeoordelingen van artikelen op de Engelse Wikipedia zoals deze in december 2014 is gemaakt door WP 1.0 bot.

De kwaliteit van artikelen op Wikipedia is een belangrijke zorg voor Wikipedianen. Nieuwe pagina's moeten beoordeeld worden zodat spam, vandalisme en andere ongewenste artikelen niet in de encyclopedie blijven staan. Artikelen die de eerste beoordeling doorstaan, worden met enige onregelmatigheid beoordeeld op hun kwaliteit, maar dit is behoorlijk arbeidsintensief en de beoordelingen zijn vaak achterhaald.

In mei 2020 heeft de gemeenschap van de Nederlandstalige Wikipedia besloten om op proef ook te gaan werken met het inschatten van de artikelkwaliteit door ORES. Er wordt gewerkt aan een schaalindeling, op basis waarvan ORES een specifieke schaal voor de Nederlandstalige Wikipedia kan creëren. Wederom door een toevoeging aan de persoonlijke commons.js kan deze extensie geactiveerd worden.

Ondersteuning bij de initiële beoordeling[bewerken | brontekst bewerken]

Hoe eerder echt serieus problematische artikelen verwijderd worden, hoe beter het is. Het beoordelen van nieuw gecreëerde pagina's kan veel werk zijn. Net als bij het tegengaan van vandalisme in bewerkingen, kunnen ook hier computerondersteunde voorspellingen de beoordelaars helpen om de meest problematische artikelen als eerste te beoordelen. Op basis van de redenen die moderatoren opgeven bij het verwijderen van een pagina (zie het logboek) kan een model opgesteld worden dat voorspelt welke pagina's in aanmerking komen voor directe verwijdering. Zie nl:Wikipedia:Criteria voor directe verwijdering voor een overzicht van de redenen voor directe verwijdering op de Nederlandse Wikipedia. Voor het Engelse model is uitgegaan van "vandalism", "attack", en "spam".

  • acceptabel – voorspelt of het artikel waarschijnlijk voor directe verwijdering in aanmerking komt (spam, vandalisme, privacyschending of veilig)

Ondersteuning voor beoordeling[bewerken | brontekst bewerken]

Voor artikelen die behouden blijven na de eerste beoordeling, evalueren sommige grotere Wikipedias de kwaliteit van artikelen op een schaal die grofweg overeenkomt met versie 1.0 van de beoordelingsschaal van de Engelse Wikipedia ('kwaliteit van artikelen'). Deze beoordelingen zijn erg nuttig, omdat zij ons helpen onze voortgang te overzien en lacunes op te merken (bijvoorbeeld populaire artikelen die van lage kwaliteit zijn). Het is echter een uitdaging om deze evaluaties actueel te houden; dat leidt ertoe dat deze evaluaties inconsistent zijn. Dit is waar het machinaal-leermodel voor de evaluatie van de artikelkwaliteit van pas komt. Door het model te leren om de kwaliteitsevaluatie zoals menselijke bewerkers deze uitvoeren, na te doen, kunnen we automatisch ieder artikel, en iedere herziening, van een beoordeling voorzien. Dit model is gebruikt om Wiki-projecten te helpen het opnieuw evalueren van de kwaliteit van nieuwe versies van artikelen en om de bewerkingspatronen die leiden tot betere artikelen te onderzoeken.

De kwaliteitsevaluatie van artikelen is gebaseerd op structurele kenmerken van een artikel. Voorbeelden van deze kenmerken zijn: het aantal paragrafen, de aanwezigheid van een infobox, het aantal bronnen en het gebruik van citeer-sjablonen. De beoordeling kijkt niet naar het taalgebruik, de opbouw of de toonzetting van het artikel (bijvoorbeeld of er vanuit een niet-neutraal standpunt geschreven is). De ervaring leert dat veel van de structurele kenmerken van een artikel samenhangen met de manier van schrijven en de neutraliteit, dus in de praktijk werkt dit model goed.

  • artikelkwaliteit – voorspelt de kwaliteit van artikelen, vergelijkbaar met de beoordelingen volgens Wikipedia 1.0.

Meer informatie[bewerken | brontekst bewerken]

Paper over ORES in 2020: de samenwerking met nlwp wordt genoemd in Hfdstk.5.
  • mw:ORES - ORES op MEdiawiki zal altijd de laatste informatie over het project in het algemeen hebben: deze pagina is een afgeleide daarvan.
  • Phabricator ticket - huidige stand van zaken mbt het bouwen van het kwaliteitsmodel voor artikelen
  • Wikipedia:ORES/Article quality - voorstel schaalindeling voor artikelen