Wikipedia:ORES

Objective Revision Evaluation Service (ORES) on web-palvelu, joka tarjoaa koneoppimiseen perustuvia palveluita Wikimedia-projekteille. ORES on suunniteltu helpottamaan esimerkiksi vandalismin havaitsemista ja poistamista. Se on osana Wikimedia Scoring Platform -projektia.

Status

Tällä hetkellä "advanced support" on kytkettynä päälle ja ORES on beta-ominaisuuksissa käytössä. API-rajapinnasta saa tuloksia ja muokkauksia pystyy luokittelemaan. Osumatarkkuus on vielä heikohko ja vaatisi lisää muokkausten arviointia parantuakseen.

Todo

Käyttöönottosivun kohdat

1. Basic support (phab:T158587) Tehty
2. Advanced support (mahdollisuus arvioida muokkauksia käyttöliittymän avulla) (phab:T161905) Tehty
3. Muokkauksen laatu (20k otos) -kampanjan tekeminen (phab:T163013) Tehty
4. Review tool (tuoreet muutokset lista) (siirryttiin suoraan tuoreiden muutosten uusiin suodattimiin)
5. Tuoreiden muutosten uudet suodattimet + ORES Tehty
6. Muokkauksen laatu v2 (5k otos) phab:T166909 (ks. keskustelu) Tehty
7. Vakautusbotti
   1. Käyttäjätunnus botille (sellainen joka toimii eri kielillä), sille reviewer-käyttöoikeus jotta se voi vakauttaa sivuja (tätä pitää pyytää Ejs-80:ltä), botille botti-käyttöoikeus Tehty
   2. botille käyttäjäsivu jossa kerrotaan mistä siinä on kyse + linkit logeihin (vrt käyttäjä:SeulojaBot) Tehty
   3. linkki github:iin ja github:iin englanninkielinen README [1] (kesken)
   4. Lista IP:stä joiden muokkaukset lähes aina kumotaan Tehty
   5. Lista sivuista joiden muokkaukset lähes aina kumotaan Tehty
   6. Jokin tapa testata bottia siten, että näkee mitä se vakauttaisi ilman, että se tekee mitään (?). Voi olla, että tähän riittää ohjeet siitä miten botin saa ladattua github:sta ja miten sen saa ajettua Tehty
   7. Vakautustilasto botin toiminnan seurantaa varten Tehty
   8. phab:T169457 - FlaggedRevs: Make null-edits optional
   9. Vakautustilastojen läpikäynti ja virheellisten positiivisten vähentäminen
8. PendingChangesBot
   1. ks. phab:T165848 Tehty
   2. ohjeet englanniksi Tehty
   3. konfiguraatio tulemaan wikisivulta Tehty
   4. Siirrettävä Ores-pistemäärän hakeminen ja version merkityt versiot tila botista pywikibotin-koodiin Tehty
   5. Arviointisäännöt
      1. done: autoreview, bot, formerbot, interwiki, ores, patrolled, reverted, pagecreator, wordtest
      2. Puuttuvia
         1. IP / username whitelist (sivu wikipediassa, mahdollisuus antaa yksi nimi parametrina)
         2. Jeblad: Aggregation of weak classification; if enough users reads a specific version without complaining, should that lead to an automated classification?

Kampanjat

Kampanjoita on ollut kaikkiaan kaksi, joista ensimmäinen valmistui 24. huhtikuuta 2017. Otokseen sisältyi 5542 näytettä. Toinen kampanja päätettiin järjestää vain muutama kuukausi ensimmäisen jälkeen, ORES:in tekemien luokituksien tarkkuuden parantamiseksi. Toisen kampanjan otokseen sisältyi 5423 näytettä ja se valmistui 7. huhtikuuta 2019, eli vajaa vuosi sen aloittamisesta.[2][3]

Mitä tällä voi tehdä?

• Pisteytystä voidaan käyttää yhtenä mittarina, kun listataan potentiaalisia uusia seulojia ja automaattiseulottuja käyttäjiä
• Pistetystä voidaan käyttää yhtenä sääntönä, jolla botti vakauttaa lyhyeksi ajaksi sivuja
• Pisteytystä voidaan käyttää yhtenä kriteerinä, jolla botti hyväksyy muokkauksia

Työkaluja

Tähän on listattu työkaluja, jotka hyödyntävät ORES:ia ja toimivat suomenkielisessä Wikipediassa.

RTRC – Real-Time Recent Changes

• Löytyy Asetuksista pienoisohjelmana
• Käyttöohjeet Metawikissä
• Suora linkki RTRC-työkaluun siten, että ORES-näkyy tuloksissa
  • ORES:n mukaan ongelmalliset muokkaukset ovat punaisella korostettuja; viemällä kursorin kolmion päälle näkee mistä syystä muokkaus on korostettu

ScoredRevisions

• Lähdekoodi: https://github.com/he7d3r/mw-gadget-ScoredRevisions
• Värittää muutokset tuoreet muutokset, linkitettyjen sivujen muutokset, tarkkailulista, käyttäjän muokkaukset ja artikkelin historia -sivuilla ORES-pistemäärän mukaan.
• Värit ovat aika räikeät, ja CSS-säännöt ovat päällekkäisiä merkittyjen versioiden vastaavien sääntöjen kanssa (molemmat värittävät samoja muokkauksia).

Raun

• https://tools.wmflabs.org/raun/?language=fi&project=wikipedia&userlang=en
• Suodatin suodattaa listasta pois vain seulojat, mutta ei automaattisestiseulottuja

PatruBOT

• Espanjankielisessä Wikipediassa toimiva ORES-pisteytykseen perustuva vandalismintorjuntabotti

Toimintosivut

• ORES-mallin tilastot

API

• https://ores.wikimedia.org/ui
  • https://ores.wmflabs.org/v2/scores/fiwiki/
  • https://ores.wmflabs.org/v2/scores/fiwiki/goodfaith?model_info
  • https://ores.wikimedia.org/scores/fiwiki?revids=16371561&models=goodfaith
• http://labels.wmflabs.org/campaigns/fiwiki/?campaigns=stats

Tietokantataulut ToolLabsissa

• mw:Extension:ORES/Schema - goodfaith/damaging true -pisteet kopioituvat mw:n tietokantaan (tuoreet muutokset -lista käyttää näitä)

Käännös

viestiryhmä	kääntämättä	yhteensä	käännetty	muuttunut	oikoluettu
core	16	3707	3691	5	723
core-0-mostused	1	760	759	1	288
ext-abusefilter	69	570	501	0	51
ext-cite	6	31	25	1	3
ext-cite-visualeditor	16	42	26	1	2
ext-flaggedrevs-0-all	91	450	359	0	67
ext-ores	9	60	51	3	37
wiki-ai	10	103	93	0	87

• Päivitetty 12.3.2019
• wiki-ai = Wiki labels (Käännökset näkee käytössä sivulla: http://labels.wmflabs.org/ui/)
• ext-ores = Extension:ORES, New filters for edit review (tuoreet muutokset -lista)
• New edit filters -käännökset: eri-rcfilters, rcfilters ja ores-rcfilters

Lisätietoa

Amir esittelemässä ORES-palvelua Wikimaniassa 2016.

• mw:ORES
• mw:Wikimedia Scoring Platform team
• mw:ORES review tool