Wikipedia:Wikidata-café/Archief/apr 2020

Automatisch corona-data uit CSV-bestanden naar Wikidata

Hoi allen, na het vorige kopje een logische vervolgvraag over corona-data op Wikidata. Ik heb de laatste week tijd besteed aan het aanbrengen van de juiste data op uitbraak SARS-SoV-2 in Nederland (Q86756826) en de twaalf Nederlandse provincies. Deze data haal ik dagelijks handmatig van de Github repository van coronawatch, waar dagelijks kort na 14.00 uur de cijfers van het RIVM worden gepubliceerd. Ik gebruik dan altijd 'Add data and plots (datum)' bij plots. Daar gebruik ik de overzichten data/rivm_NL_covid19_province.csv (voor de dagelijkse aantallen besmettingen per provincie), data/rivm_corona_in_nl_daily.csv (voor dagelijkse aantallen besmettingen in NL), data/rivm_corona_in_nl_fatalities.csv (voor de dagelijkse overledenen in NL) en data/rivm_corona_in_nl_hosp.csv (voor de dagelijkse ziekenhuisopnames in NL). Nu is mijn vraag (je voelt hem al aankomen...) is er iemand die een script kan maken om deze data dagelijks geautomatiseerd hier op coronawatch op te halen en deze op de juiste wikidata items te plaatsen? Meer info over de WD-items waar ik nu de data bijhoud is te vinden op de homepage van het (Nederlandse) COVID19 project op Wikidata. Hartelijke paasgroet, Ecritures (overleg) 12 apr 2020 17:10 (CEST)

Dat bestand uitlezen lukt dan wel, maar er staan lege? regels tussen. En er moet nog (een hoop) code bij om alleen dat toe te voegen dat er nog niet staat. Edoderoo (overleg) 12 apr 2020 18:27 (CEST)

Wat bedoel je met het laatste opmerking En er moet nog (een hoop) code bij om alleen dat toe te voegen dat er nog niet staat.? Je bedoelt dat wat nog niet op Wikidata staat? Het eerste klinkt voor mij heel hoopgevend... Ecritures (overleg) 12 apr 2020 18:39 (CEST)

Ja... Als je morgen een dagje overslaat met handmatig toevoegen, kan ik zien of ik die code kan schrijven. Maar er staan regels met een getal maar zonder provincie tussen. Weet jij wat die betekenen? Edoderoo (overleg) 12 apr 2020 18:55 (CEST)

Ik begrijp je. Die regel is volgens mij geplaatst tussen dagx en de volgende dag. Iedere keer begint na een lege regel een nieuwe datum volgens mij. Ecritures (overleg) 12 apr 2020 20:44 (CEST)

Volgens mij niet, en dat getal erachter heeft ook een betekenis. Maar dat zoeken we dan later maar uit, of wellicht komt hier nog iemand langs die het wel weet. Mogelijk zijn het de gevallen die zijn genezen, of die niet aan een provincie konden worden gelinkt. Maar het heeft niet veel zin er naar te gokken. Edoderoo (overleg) 12 apr 2020 21:44 (CEST)

Dan zitten we hoogstwaarschijnlijk naar verschillende bestanden te kijken, denk ik. Ik heb het over dit bestand met data van de provincies. Ecritures (overleg) 12 apr 2020 23:40 (CEST)

De lag op de wikidata-servers is vandaag zo persistent dat scriptjes schrijven er niet van gaat komen. Bij het test moet ik steeds een uur of langer wachten, zelfs bij het lezen van een item. Maar ik ga er van de week nog wel even voor zitten, want zo te zien moet het gewoon automagisch lukken. Edoderoo (overleg) 13 apr 2020 15:51 (CEST)

Inderdaad niet te doen vandaag Wikidata: QS en OpenRefine komen er al helemaal niet door. Wat een superbericht dat het mogelijk automagisch zou kunnen gaan werken! Ecritures (overleg) 13 apr 2020 15:58 (CEST)

Maak je borst maar nat, want het wordt met de maand erger en langduriger. Ik heb niet de indruk dat Wikimedia van plan is dat op te lossen, erger, ik heb al eens iemand horen roepen dat geld van de Fundraiser niet naar Wikidata mag, om een of andere gekke burocratische reden. De oplossing tot nu toe is alle bots on hold zetten. Wat geen oplossing is, maar analoog aan de winkel is vol, we weigeren alle vaste klanten de toegang. Edoderoo (overleg) 13 apr 2020 16:53 (CEST)

Tijdens Wikidatacon eind vorig jaar is hier wel overgesproken: volgens mij is het idee dat Wikidata qua server load wordt opgesplitst en dat als voorbeeld alle wetenschappelijke artikelen op eigen servers komen te draaien. Zoiets. Je kan beter de echt technische mensen hiernaar vragen ;). In ieder geval was het wel de conclusie van iedereen dat de server lag voor iedere partij onacceptabel was. (En terzijde, komt geld voor wikidata niet voor ene groot deel bij Wikimedia Deutschland vandaan (die wel een eigen fundraiser hebben)? Ecritures (overleg) 13 apr 2020 17:18 (CEST)

Als er bij Wikimedia mensen met visie zitten, zouden ze een zak geld op Wikidata gooien. In plaats daarvan schijnen ze bezig te zijn met marketing-strategieen inzake een naamswijziging. Waarom trekt wetenschap in deze wereld altijd aan het kortste eind, terwijl de hele wereld er van afhankelijk is? Edoderoo (overleg) 13 apr 2020 17:30 (CEST)

Omdat politici en bestuurders met wetenschap niet kunnen scoren (maar dat wist je wel). Wat de WMF betreft: die is met het klimmen der jaren uitzonderlijk bekwaam geworden in (donor)geld uit het raam flikkeren. Vgl. ook deze bijdrage gisteren op Meta. Wutsje 13 apr 2020 18:12 (CEST)

Query Builder

Lydia van het Wikidata-development team vraagt om feedback op [1]. De feedback kan op de overlegpagina worden gegeven. Edoderoo (overleg) 22 apr 2020 10:48 (CEST)

Dank! Ecritures (overleg) 22 apr 2020 11:18 (CEST)

F*k

Het artikel Xue Tao is/was gelinkt met een Engelse en:Xue Tao (writer). Dat moet zijn en:Xue Tao. Dat effin wikidata accepteert het niet wanneer ik het probeer te wijzigen. Vreselijke gebruiksONvriendelijk systeem. VanBuren (overleg) 23 apr 2020 13:37 (CEST)

Een Wikipedia-artikel kan maar aan een wikidata-item gelinkt zijn. Om het artikel aan de juist Xue Tao te linken, moet je dus eerst de verkeerde weghalen. Daarna het artikel aan het goede wikidata-item linken. Ik heb het even voor je gedaan. Hartelijke groet, Ecritures (overleg) 23 apr 2020 13:51 (CEST)

In basis, eerst van de oude entry verwijderen, dus het Q-nummer waar hij nu aan hangt, pas daarna toevoegen aan de juiste entry, dus het Q-nummer dan aan en:Xue Tao hangt. Als dat niet lukt, laat het dan nog even weten. Akoopal _overleg. 23 apr 2020 13:52 (CEST)

Ik probeerde inderdaad eerst het Q-nummer te ontkoppelen. Dat gaf geen resultaat. Daardoor was goed linken niet mogelijk. VanBuren (overleg) 23 apr 2020 14:33 (CEST)

Even gekeken naar de geschiedenis van het eerste Q-nummer, je hebt het NL label weggehaald, dat is alleen de nederlandse naam van dat item, en is verder geen koppeling. Onder verklaringen zie je een blok wikipedia met daar alle taalkoppelingen, daar moet je hem weghalen. Akoopal _overleg. 23 apr 2020 15:34 (CEST)

De gebruikersinterface is inderdaad heel beroerd, zowel voor eenmalige gebruikers, als voor mensen die z'n beetje in WikiData leven. Ik voorzie daar voorlopig ook geen verbetering in, er wordt zeker wel aan het systeem gewerkt, maar vooral aan de techniek aan de achterzijde (wat ook hard nodig is, gezien de sync-lag die er continue is). Edoderoo (overleg) 23 apr 2020 13:56 (CEST)