Wikipedia:De kroeg/Archief 20071205

Zoekfunctie Wikipedia met mogelijkheid te zoeken via externe links

We hebben nu de volgende situatie:

• De MediaWiki zoekfunctie is qua functionaliteit behoorlijk beperkt
• Daarom bieden we op Special:Search een drietal externe zoekfuncties aan: Google (alleen google.nl, niet google.be), Wikiwix en Yahoo (alleen yahoo.nl, niet yahoo.be); hetgeen wordt geregeld via de MediaWiki:Common.js
• De keuze voor deze zoekfuncties kan ik niet terugvinden, dus ook niet de reden waarom wel en waarom niet.
• Microsoft (Windows Live) heeft naar de mogelijkheid geïnformeerd of ze opgenomen kunnen worden in het aanbod van externe zoekmachines
• De inventarisatie van de collega's van andere Wikipedia's (beperkt onderzoek) geeft het volgende aan:

WP	Standaard	Windows Live?	Overigen
DE	Google, Yahoo, Wikiwix	Windows Live	web.de
EN	Google, Yahoo, Wikiwix	Windows Live	Exalead
FR	Google, Yahoo, Wikiwix	Windows Live	Exalead
NN (Noors)	Alleen MediaWiki
NO (Noors)	Google, Yahoo, Wikiwix	Windows Live	Wikisearch
PL	Alleen MediaWiki
ES	Google, Yahoo, Wikiwix	Windows Live	Exalead
FY (Fries)	Alleen MediaWiki
JA	Google, Yahoo, Wikiwix	Windows Live	GOO +Goodsearch + Altavista
EO	Alleen MediaWiki
KO	Alleen MediaWiki
DA (Deens)	Alleen MediaWiki
FA (arabisch)	Alleen MediaWiki
IT	Google, Yahoo, Wikiwix	Windows Live	Exalead
PT	Google, Yahoo, Wikiwix	Windows Live
ZH (Mandarijn)	Google, Yahoo, Wikiwix	Windows Live

• Hetgeen inhoudt dat Windows Live standaard is als er voor externe links is gekozen.
• We hebben de beschikking over een marktaandeelanalyse van ComScore (toegezonden door Microsoft uiteraard), waarbij duidelijke marktlijder Google is, gevolgd door Startpagina.nl, Windows-Live, Overzicht.nl, Ilocal.nl, Ask Network, Zoekwekker.nl, Altavista, Kellysearch, Prikpagina en nog veel verder naar beneden Yahoo en Wikia.com.
• Vroeger werd Wikipedia gediscimineerd door Microsoft, tegenwoordig is dat niet meer het geval.

De vragen zijn:

1. Moeten we in externe zoekmachines blijven aanbieden?
2. Is de huidige keuze adequaat?
3. Moeten we gevolg geven aan het verzoek Windows Live te plaatsen?
4. Zullen we de zoekpagina veranderen naar wat de Engelstalige Wikipedia aanbiedt qua opmaak (met pulldownmenu)?

Graag argumentatie Londenp _{zeg't maar} 28 nov 2007 13:44 (CET)

We moeten externe zoekmachines blijven aanbieden zolang MediaWiki niet erg goed kan zoeken. We kunnen van alles en nog wat op Wikipedia zetten, maar het moet ook te vinden zijn. De huidige keuze is volgens mij behoorlijk arbitrair en eigenlijk lijkt alleen Google me al adequaat. Ik zie daarom niet in waarom we gevolg moeten geven aan het verzoek van Microsoft, tenzij ze duidelijker beter zijn wat Wikipedia betreft dan Google of een andere zoekmachine. Daarnaast mag de zoekpagina inderdaad veranderd worden. De variant op enwiki is misschien vrij kaal, maar dat vind ik beter dan een hele reeks inputs (lees: invoerbalken o.i.d.). In welke zin werd Wikipedia eigenlijk gediscrimineerd? --Erwin(85) 28 nov 2007 16:31 (CET)

Even los van alle andere argumenten: voldoet de huidige selectie? Zo ja, if it ain't broke, don't fix it. --Brinkie 28 nov 2007 17:01 (CET)

Met zo'n pulldown is veel beter lijkt me. Lijkt me ook prima om Live search toe te voegen. Met een pulldown is dat ook geen enkel probleem. Wmb ook deze zoekmachine van Ilse erbij!  Emil·76  28 nov 2007 17:20 (CET)

Wat mij betreft niet. Die zoekmachine zoekt niet in Wikipedia, maar in wikipedia.ilse.nl. Dan is iemand binnen Wikipedia aan het zoeken, sturen we hem/haar naar een mirror, beetje raar... Erwin1990 28 nov 2007 17:28 (CET)

Die externe zoekfunctie m.b.v. zoekmachines is bedoeld om het zoeken binnen onze Wikipedia op een betere manier mogelijk te maken dan de eigen wiki-zoekfunctie momenteel kan. In het verleden bestond het idee bij sommige wikipedianen dat 'Live search' of 'Windows Live' of hoe Microsoft het nu weer noemt, bewust artikelen van Wikipedia niet indexeerde dan wel een minder goede positie binnen de zoekresultaten gaf omdat Microsoft zich anders in de eigen vingers sneed v.w.b. hun eigen encyclopedia (voor het Nederlands "MSN Encarta Winkler Prins" en voor andere talen andere MSN Encarta smaken). Ik heb net even gekeken op Live Search of ze enkele artikelen die ik in de afgelopen maanden heb aangemaakt intussen ge-indexeert hebben en daarna bij Google hetzelfde gedaan. Daarbij kwam ik tot de conclusie dat Live het veel slechter doet dan Google. Ik weet niet of dat komt door bewuste discriminatie of omdat hun zoekmachine gewoon minder Wikipedia artikelen in de index heeft staan (ik gok op het laatste), het slechte resultaat is hetzelfde. Pas als Live in de buurt komt van Google's niveau van indexeren van onze lemmata denk ik dat we Live een kans kunnen geven. Nu heb ik het zo-wie-zo niet zo op met bedrijven die met hun eigen producten lopen te leuren zoals nu dus blijkbaar door Microsoft wordt gedaan. En daarnaast vind ik het ongewenst om producten te promoten van commerciële bedrijven die veroordeeld zijn vanwege het misbruik maken van hun monopolie positie, dus waarschijnlijk sta ik niet helemaal neutraal tegenover deze vraag. Maar goed, dat terzijde. - Robotje 28 nov 2007 18:15 (CET)

Kleine opmerking: als je een Google-account hebt en "gepersonaliseerd zoeken" hebt aanstaan, en je vaak op Wikipedia zoekt, dan komt Wikipedia automatisch hoger te staan. Misschien dat dat invloed heeft bij de kwaliteit van de zoekopdrachten? Tûkkã 28 nov 2007 18:43 (CET)

In de lijst met zoekrobotten mag geen "voorkeur" naar voor komen. Wikipedia moet zich zo neutraal mogelijk moeten opstellen, en het aanbieden van de topzoekmachines lijkt me hier in te passen. Het is niet omdat iemand of een groep vindt dat Google de beste is dat de tweede in de zoekmachinemarkt niet aan de bak mag komen. Zo passen de verzinsels rond "M$" hier absoluut niet in. Je ziet dat de meeste talen dat ook zo doen: ofwel geen externe zoekmachines, ofwel alle smaken. Overigens komt naar mijn mening Wikipedia wél voldoende in MSN, hoewel het nog steeds minder is dan Google. MADe 28 nov 2007 22:03 (CET)

Waarom zou MS met zo een verzoek komen? Bekijk de vraag eens vanuit het standpunt van de verzoeker. - mvg RonaldB 29 nov 2007 01:22 (CET)

Omdat ze een groter marktaandeel van de zoekmarkt willen natuurlijk. Ik denk niet dat wij dat erg moeten vinden, wat concurrentie voor Google kan op dat gebied zeker geen kwaad. Om even in te gaan op Londenp's 4 puntjes:

1. Wat mij betreft zeker, hoewel de update-tijd van de interne zoekfunctie verbeterd lijkt bieden de externe natuurlijk veel meer functies.
2. Tja, ligt eraan wat je adequaat vindt. Google zal vast het meeste wel vinden, maar om dan maar geen andere zoekmachines er neer te zetten gaat wat ver.
3. Ja, en wmb ook aan elke andere goed werkende zoekmachine die een constructie toestaat om alleen op wikipedia te zoeken.
4. Lijkt me een goed idee, dan kunnen we er zelfs nog meer bij zetten zonder dat het overzicht verloren gaat.

- Berkoet (voorheen Dammit) 29 nov 2007 02:11 (CET)

"waarom komt MS met dit verzoek". Dat is volgens mij: 1) Wikipedia is belangrijk en wordt veel bezocht, dus veel zoekopdrachten komen vanuit Wikipedia (marktaandeel) 2) Ze willen hun tool promoten om daarmee geld te verdienen. 3) Microsoft verliest steeds meer terrein aan Google, niet alleen is Google overheersend in de zoekmarkt, maar ze bieden ook gratis bureauprogramma's aan. Dus waar Google vroeger "hip" was en Microsoft de "grote boze", kan die situatie zich snel keren (zeker gezien de data die Google over je verzamelt). Klopt het dat de beurswaarde van Google inmiddels groter is dan van Microsoft, ik meen zoiets gelezen te hebben? 4) het veranderde besef dat Wikipedia een gegeven is, iets dat niet meer te bestrijden is als concurrent van Encarta (als je ze niet kan overwinnen, dan dien je je bij ze aan te sluiten). Overigens zien wij Encarta niet als concurrent; zulke programma's helpen zeker met het bereiken van onze doelstelling (net als mirrors overigens).

"wat wint Wikipedia ermee", een betere compensatie voor de tekortkomingen van de MediaWiki zoekfunctie (google zoekt anders dan MS, dus meer mogelijkheden/resultaten); een neutralere opstelling tav zoekprogramma's: we zouden niet bepaalde zoekprogramma's moeten promoten, als we externe zoekprogramma's aanbieden, dan dienen we niet te gaan kiezen maar de belangrijkste aan te bieden

"wat verliest Wikipedia ermee als Windows Live wordt opgenomen": ik weet het niet. Londenp _{zeg't maar} 29 nov 2007 09:42 (CET)

Ik heb net een kleine steekproef gedaan (net als robotje) van 2 onderwerpen die zowel op Wikipedia als Wikibooks aanwezig zijn

• Papier: op WP: Google.nl: Pag1 Pos 1; Windows Live.nl: Pag 7, op WB: Google Pag 4, Windows Live: pag 16
• Autisme op WP: Google: Pag1 Pos 2; Windows Live: Pag 17, op WB: Google Pag 14, Windows Live: pag 33

Ik trek de claim terug dat Windows Live niet meer discrimineert; ik kan niet bevestigen dat het niet zo is. Maar misschien is het resultaten/zoekalgoritme anders en is het zo verklaard.

Maar ook Wikibooks wordt behoorlijk genegeerd door beiden (en dat met name stelt me heel erg teleur).

Overigens heeft dit geen belang voor het zoeken binnen Wikipedia met de zoekpagina van Wikipedia.Londenp _{zeg't maar} 29 nov 2007 10:11 (CET)

De positie van Wikipedia artikelen in de SERPs (pagina's met de zoekresultaten) speelt hier inderdaad niet als je zo'n zoekmachine laat zoeken onze site. Wat wel meespeelt is hoe compleet Live is voor wat betreft het indexeren van Wikipedia artikelen. Stel dat "zoekmachine A" 98% van de onze artikelen in hun database heeft staan en voor "zoekmachine B" en "zoekmachine C" is dat 85% respectievelijk 68% van de artikelen. Dan helpt het de gebruiker amper om allerlei zoekmachines toe te voegen naast "zoekmachine A" omdat de meeste van de bij "zoekmachine A"ontbrekende 2% bij die andere twee waarschijnlijk ook zullen ontbreken. Die 2% zullen immers vooral weesartikelen zijn dan wel artikelen met heel weinig inkomende (interne) links. Dan kun je natuurlijk nog steeds om andere redenen zoals onafhankelijkheid t.o.v. deze commerciële bedrijven kiezen om naast "zoekmachine A" ook andere zoekmachines op de zoekpagina te zetten. De percentages die ik in dit voorbeeld noem (98%, 85% en 68%) zijn slechts gevoelsmatig gekozen, dus bind me daar niet op vast. Als je wilt weten hoe het echt zit, zul je met de "willekeurig artikel" link moeten nagaan welk percentage van onze artikelen de zoekmachines als Google, Yahoo en Live in hun database hebben staan. - Robotje 29 nov 2007 12:07 (CET)

@ robotje; mooie contaminatie "bind me daar niet op vast"--joep zander 30 nov 2007 13:43 (CET)

Er zitten nog 2 andere kanten aan, voorzover ik weet trekken zowel Google als Yahoo een databasedump, of synchroniseren rechtstreeks tussen de Wikipedia servers en de Google en Yahoo datacenters, is Windows dat ook van plan ?, het synchnroniseren heeft dan als voordeel dat de datacenters ook de bandbreedte overnemen (en de bezoekers statistieken natuurlijk), een 2e, Live search is paid only voor opname van websites, ik heb 2 websites waar geen windows producten in zitten, server is linux, CMS is PHP, die worden niet geindexeerd door Live search, ik kan wel een link geven, maar dat zou reclame zijn. mion 29 nov 2007 16:08 (CET)

mijn site (ook volledig open source) wordt wél weergegeven in MSN Live, er moet dus iets anders mis zijn (probeer ev. die nieuwe MSN webmaster portal, analoog aan google sitemaps, om te kijken hoe dat komt) MADe 29 nov 2007 23:55 (CET)

Ik denk dat de kwestie van scoren van Wikipedia in de resultaten minder relevant is. De betreffende Wikipedia zoekpagina kan in de meeste gevallen zodanig aangepast worden dat de zoekmachine binnen wikipedia.org zoekt (nl.wikipedia.org werkt veelal niet). Maar dat terzijde.

Mijn vraag hierboven was retorisch bedoeld. De volgende link op bladzijde 5, tezamen met het venster rechtsboven in een standaard FF configuratie, kan helpen om een antwoord te vinden op wat ik bedoelde. - RonaldB 30 nov 2007 00:55 (CET)

Een poging dan, want ik begrijp jouw hint niet echt denk ik. Zeg je dat we 61.501.145 $ met royalties zouden kunnen verdienen door het aanbieden van zoekfuncties (natuurlijk minder, maar het bedrag doet mij duizelen)? Londenp _{zeg't maar} 30 nov 2007 11:53 (CET)

Correct en als je verder leest wat er met het merendeel daarvan is gebeurd, vind je (blz. 8) dat het belegd is, daarmee voor een reeks van jaren de toekomst veilig stellend. - RonaldB 30 nov 2007 13:27 (CET)

MADe, dank voor de tip, ik heb ze er weer ingezet, net als als de laatste keer, na 3 weken waren ze weer verwijderd, maar even afwachten.. En voor RonaldB, Dat Google ding rechtsbovenin daar is nog meer mee, op een schone Ubuntu Gutsy , firestarter installeren zodat de actieve connecties zichtbaar worden en dan Firefox opstarten, verder niets doen, dan neemt na precies na 5 minuten de browser contact op met de servers van Google om te melden dat mijn PC online is, altijd handig, kan de aan mij gerichte reclame campagne starten. mion 30 nov 2007 13:01 (CET)

Zoekresultaten met externe zoekmachine verbeteren

Het is volgens mij relatief eenvoudig om de zoekresultaten met een externe zoekmachine te verbeteren. Namelijk gewoon (automatisch intern) het woord wiki toevoegen aan het zoekargument. Hierdoor staat het te zoeken wikipedia artikel bij google, yahoo, msn bijna altijd bovenaan. Dit kan ook als argument meewegen om meer externe zoekmachines toe te voegen. Koektrommel 30 nov 2007 10:45 (CET)

Google, Yahoo en Live hebben de mogelijkheid om op een bepaald domein te zoeken. Dus als ik bijvoorbeeld jouw bijdragen wil vinden op de Nederlandse wikipedia dan klop ik het volgende in het zoekveld: koektrommel site:nl.wikipedia.org. Multichill 30 nov 2007 11:28 (CET)