rOpenGov R packages for open government data analytics

#minätutkin-twiittien aiheet

Wed, 06 Oct 2021 00:00:00 +0000

Kuukausi sitten, syyskuun alussa 2021, Twitterin #minätutkin oli suosittu. Itä-Suomen yliopiston akateeminen rehtori Tapio Määttä sysäsi ajatuksen liikkeelle, ja pian mukaan liitettiin sopiva aihetunniste. Tutkijat innostuivat tiivistämään työnsä twiitin merkkimäärään, ja suuri yleisö innostui yhtä lailla lukemastaan. Vaikka Suomesta löytyy ajantasaisia sivustoja kotimaisesta tutkimuksesta, uusimpana tutkimustietovaranto, niiden varsinainen fokus ei ole tehdä tiedettä helposti lähestyttäväksi. Toki ne saattavat onnistua siinäkin, mutta vain välillisesti.

Mistä sitten twiitattiin? Mitä olivat ne tieteenalat, joiden tutkijat ehtivät tai kiinnostuivat twiittaamaan? Kaikki eivät tietenkään edes kuulleet asiasta.

Päätin tehdä pienimuotoisen testin siitä, miten Kansalliskirjaston Finto AI -rajapintapalvelu palvelisi twiittien automaattisessa asiasanoituksessa. Heti alkuun pitää painottaa siitä, että Finto AI/Annif on toistaiseksi pelkkä suosittelija; ihmisen on tarkoitus tehdä lopulliset asiasanavalinnat. Näin toimitaan mm. Jyväskylän yliopiston JYX-julkaisuarkistossa, jossa palvelua käytetään opinnäytetöiden kuvailun apuna:

Opinnäytetyönsä järjestelmään jättävä opiskelija saa nähtäväkseen Annifin ehdottamat asiasanat, joita hän voi halutessaan muokata. Lopulliset asiasanat hyväksyy kirjastovirkailija tarkistuksen jälkeen. Myös Kirjavälitys Oy käyttää rajapintapalvelua tuottaessaan ennakkotietoja tulevista kirjajulkaisuista. Vastaavanlaista käyttöä pilotoidaan tällä hetkellä mm. Vaasan yliopiston Osuva-julkaisuarkistossa.

Tässä harjoituksessa annan kuitenkin mennä täysautomaatilla, kädet poissa ratilta.

Alla olevat koodit ovat GitHub-repossa.

Twiittien haku ja siivous

Kun haluaa kerätä twiittejä ilman erityisjärjestelyjä, on toimittava ripeästi. Vaikka #minätutkin-häntää on näkynyt aina näihin päiviin asti, hain tässä käsitellyt twiitit jo sunnuntaina 12.9. alkuiltapäivästä enkä sen jälkeen enää uudistanut hakua. Vilkkaimmat päivät olivat tiistai-torstai 7-9.9.

Harto Pöngän 10.9 keräämien tilastojen mukaan 5000 twiittiä vaikutti sopivalta ylärajalta. Ei uudelleentwiittauksia.

library(rtweet)
q <- "#minätutkin"
tweets <- search_tweets(q, n = 5000, include_rts = FALSE)

Siivous on enimmäkseen käsityötä. Aivan aluksi poistin selkeimpiä trollauksia, lukijoiden kiittäviä postauksia ja muita tässä yhteydessä epärelevantteja. Myöhemmin kävin vielä twiitit kertaalleen läpi ja filtteröin pois ne, jotka eivät olleet tutkijoilta itseltään vaan suurelta yleisöltä, tutkimusorganisaatiolta tai rahoittajalta. En edes pyrkinyt täydelliseen siivoukseen, ja lisäksi twiiteissä oli rajatapauksia.

Osa tutkijoista postitti useita #minätutkin-twiittejä. Joiltakin oli unohtunut ensimmäisestä aihetunniste - jolloin se ei siis tarttunut haaviini - jotkut halusivat täydentää, eräät taas jatkoivat aiheen parissa muulla tavoin, innostaen kolleegoita tulemaan mukaan yms. Yhdistin ne kaikki.

Tämän osuuden koodi on tiedostossa gettweets.R

Asiasanoitus

Finto AI -rajapintapalvelulle lähetetään asiasanoitettava teksti HTTP POST -kutsussa. Palautettavien asiasanojen lukumäärää voi säätää (limit), samoin niiden osumistarkkuuden kynnysarvoa (threshold). URL:ssa on oltava tieto projektista eli siitä, minkä kielisestä tekstistä on kyse. Palvelun ohjeistus on interaktiivinen Swagger-hiekkalaatikko.

En tiedä, kuinka luotettava Twitterin palauttama lang-arvo on, mutta joka tapauksessa käytin sitä. Satunnaisotannalla se näytti olevan oikeassa. Kieli ei kuitenkaan ole yksiselitteinen asia, sillä osa twiittaajista käyttää kahta kieltä samanaikaisesti.

make_body <- function(tw){
  list(
    text = tw,
    limit = 3
  ) -> body
  return(body)
}

resp <- httr::RETRY(verb = "POST",
                    url = paste0("https://ai.finto.fi/v1/projects/", project, "/suggest"),
                    body = make_body(tweet),
                    user_agent("https://github.com/tts/minatutkintweets"))

Asiasanoitus tarkoittaa toistuvaa rajapinnan kutsua. Finto AI:n käyttöohjeissa toivotaan, ettei rajapintaa kuormitettaisi samanaikaisilla kutsuilla, mikä on ymmärrettävää. Rajapinta on toistaiseksi täysin avoin, mitään rekisteröintiä ei ole. Otin yhteyttä Finton asiakaspalveluosoitteeseen, kun aloin epäillä koodini aiheuttavan ongelmia. Yritin näet lisätä kutsujen väliin Sys.sleep() -kutsun, mutta en onnistunut löytämään sille toimivaa koloa; kutsut palauttivat tyhjää. Finton vastaus oli rauhoittava: he eivät olleet huomanneet palvelussa mitään epänormaalista poikkeavaa liikennettä.

Kutsuihin ja tulosten parsimiseen lainasin ison osan vastaavasta koodista roadoi’lta, joka on yksi rOpenSci-yhteisön piirissä ylläpidettävistä lukuisista kirjastoista. Sain olla mukana roadoi’n hyväksyntäprosessissa. Siinä keskityin toiminnallisuuteen ja opasteisiin, nyt hyödynsin ensimmäistä kerran kirjaston koodia. Kysyin Najko Jahnilta, mihin hän asettaisi paussin. Najko ehdotti, että vaihtaisin httr:n tilalle kirjaston httr2. Tutustumisen paikka. Samoin se, miten vaihtaa plyr::llply modernimpaan purrr::map*-funktioperheeseen, jotta toisteisuus omassa koodissani vähenisi.

Mitä Finto AI ehdotti? Sen näkee twiittikohtaisesti tästä tekemästäni apurista. Valitse ensin päivä ja tunti, ja lopuksi yksi tuon tunnin aikana postitetuista twiiteistä. Kokeile myös vaihtaa palautettavien asiasanojen lukumäärää - ja klikkaa Hae!-nappia. Tulos palautuu muutamassa sekunnissa. Tässä omassa harjoitelmassani käytin kolmea asiasanaa, eikä kynnysarvoa ollut. Finto AI tarjoaa minkä tahansa omavalintaisen tekstin asiasanoitukselle tämän sivun.

Asiasanoituksen koodi on tiedostossa finto_ai_keywording.R ja interaktiivisen Shiny-sovelluksen tiedostossa app.R

Ryhmittely

Idea tähän koko harjoitukseen tuli Helsingin yliopiston Ekosysteemit ja ympäristö -tutkimusohjelman professori Sakari Kuikalta. Hän ehdotti puolileikillään (näin ymmärsin), että twiittien perusteella katsottaisiin “mitkä tieteen alat tulivat esiin, paljonko ne saivat kannatusta ja kuinka suuri niiden rahoitusosuus Suomessa on?”

Miten erottaa twiittien vapaasta kielenkäytöstä tieteenala? Vaikeasti. Ilman luonnollisen kielen käsittelyn menetelmiä erotuskyky on enintään “sinne päin”. Seuraavalla #minätutkin-kierroksella tutkijoiden tulee käyttää twiiteissään Tilastokeskuksen tieteenalaluokitusta!

Vakavasti puhuen oma tavoitteeni oli saada aikaan visualisointi siitä, mistä aiheista suunnilleen twiitattiin ja mitkä niiden suhteet olivat päivittäin. Pelkkien asiasanojen käyttö ei tuntunut järkevältä. Niitä tulee liikaa. Olisin voinut pysyä tiukasti yhden asiasanan politiikassa per twiitti, jolloin kirjo olisi ollut pienempi, mutta siinä olisi luultavasti menetetty iso osa twiittien asiasisällöstä. Sitä paitsi ensimmäinen asiasana voi olla täydellinen huti.

Finto-palvelu yllättää monipuolisuudellaan. En ihan heti ymmärtänyt, mitä kaikkea onkaan tarjolla. Tartuin ensimmäiseen löydökseen ja hain asiasanoille yhtä tasoa yleisemmän termin (broader term). Niitä parsiessa kävin vielä kerran läpi vaihtoehtoja ja kas, Finto API:n sanastokohtaisista metodeista löytyi get_vocid_data, joka palauttaa mm. asiasanan käsiteryhmän, yhden tai useamman. Ryhmiäkin on paljon, mutta oleellisesti vähemmän kuin erilaisia asiasanoja.

Tämän osuuden koodi on tiedostossa finto_ontology.R.

Visualisointi

Olen seurannut R-ekosysteemin #tidytuesday-tapahtumaa. Viikolla 37 julkaistu datasetti käsitteli USA:n Billboard Top 100 -listaa. Sen visualisoinneista huomio kiinnittyi Georgios Karamanisin näyttävään toteutukseen, jossa vaaka-akselilla on vuosi ja pystyakselilla jaettu pylväsgraafi musiikkityylien suhteellisista osuuksista kunakin vuonna. Otin hänen ggplot2-koodistaan mallia.

Karamanisilla musiikkityylit ovat nimen mukaisessa aakkosjärjestyksessä, suuruuserot käyvät ilmi kirjasimen koosta. #minätutkin-esitykseen halusin sen sijaan käsiteryhmät koon mukaisessa järjestyksessä, mielellään niin että samalla ryhmällä on aina sama väri. Ollaan faktoreiden (factor) järjestelyn alueella. Lopputuloksessa on parantamisen varaa, sillä löytämäni keino tehdä tämä rikkoo ryhmävärityksen, kun ryhmiä on enemmän kuin 35. Näin ollen rajasin niiden lukumäärää niin, että jätin pois harvemmin esiintyneet.

#minätutkin-twiittien aiheet 6-12.9.2021

Visualisoinnin koodi on tiedostossa viz.R ja visualisoinnin kohteena ollut data tiedostossa day_group_n.csv.

Lopuksi

Finto AI ei suinkaan asiasanoita virheettä eikä sen ole nykymuodossa tarkoituskaan, se ehdottaa. Päätelmien tekemisten kanssa on siis oltava varovainen. Joitakin havaintoja voi silti tehdä.

Suhteelliset erot ovat pieniä yleisimpien käsiteryhmien välillä. Kiinnostavasti klimatologia on ensimmäisen päivän neljän suuren pioneeriryhmän joukossa, mutta jää sen jälkeen sivuun. Historia taas on tasaisesti edustettuna kaikkina päivinä. Väestötiede sisältää asiasanoja, jotka liittyvät perhepolitiikkaan, aluesuunnitteluun, maahanmuuttoon ja siirtolaisuuteen.

Finto AI on lupaava ehdotuspalvelu, jolle toivoo menestystä jatkossakin, ja pitkää ikää. Tarkkuus varmasti lisääntyy ajan myötä.

Ajankohtaista avoimen hallinnollisen datan avaamisessa

Fri, 06 Aug 2021 00:00:00 +0000

Aika ajoin on hyödyllistä koostaa yhteen paikkaan uutisia ajankohtaisista kotimaisista ja ulkomaisista datan avaamiseen liittyvistä kehityskuluista. Tähän kirjoitukseen on koottu tietoa meneillään olevista tai juuri päättyneistä lakihankkeita tai muista uutisista, joilla saattaa olla relevanssia rOpenGov-verkoston työn kannalta.

Tässä kirjoituksessa esittämät näkemykset ja tulkinnat ovat omiani eikä kirjoitusta kannata käyttää autoritatiivisena lähteenä.

1 Julkisen hallinnon API-linjaukset

Marinin hallitusohjelman Elinvoimainen Suomi -osiossa digitalisaation hyödyntäminen ja uusien yksityisen ja julkisen sektorin yhteistyön toimintamallien kehittäminen ja käyttöönotto nähdään yhtenä tulevaisuuden menestyksen rakennuspalikkana.

Tavoitteeksi on asetettu, että Suomi tunnettaisiin tulevaisuudessa ”teknologisen kehityksen, innovatiivisten hankintojen ja kokeilukulttuurin edelläkävijänä”. Tavoitteen saavuttamiseksi määritellään useita keinoja, joista yksi on pyrkimys edistää julkisen sektorin teknologia- ja digitalisaatiokyvykkyyttä sekä kehittämään julkisen ja yksityisen sektorin yhteistyötä.

Edellä mainitun tavoitteen alle hallitusohjelmassa on listattu useampia tiukemmin määriteltyjä osatavoitteita, esimerkiksi:

Laaditaan julkisen sektorin datan avaamisen ja hyödynnettävyyden strategia toimenpidesuunnitelmineen ottaen huomioon tietosuojavaikutukset ja mahdolliset lainsäädäntötarpeet. Lähtökohtana on, että julkiset toimijat avaavat julkiset rajapinnat, jos niitä ei ole erityistä syytä pitää niitä suljettuna.

Edistetään yritysten ja yrittäjien datan jakamista ekosysteemien sisällä.

Edistetään reaaliaikataloutta rakenteisten sähköisten laskujen ja kuittien laajalla käyttöönotolla.

Jatketaan arjesta ja liiketoiminnasta sujuvampaa tekevän AuroraAI-verkon kehittämistä tietoturvallisesti ja eettisesti kestävällä tavalla menokehyksen sen salliessa.

Listassa ensimmäiseksi mainittua tavoitetta edistämään on erillinen Valtiovarainministeriön Tiedon hyödyntämisen ja avaamisen hallitusohjelmahanke (hierarkia on siis Hallitusohjelma > Strategiset kokonaisuudet > Tavoitteet > Hankkeet). Hankkeen tavoitteena on edistää ”tietojen ja toimintojen hyödyntämistä yhteneväisellä tavalla ensisijaisesti ohjelmointirajapintojen (API) kautta”, mikä rOpenGovin pakettien kehitystyön kannalta tämä onkin kiinnostavaa.

API-linjausten kommentointi päättyi jo 31.1.2021. API-linjausten toimeenpano-ohjeiden valmistelu on aloitettu keväällä 2021 ja valmista pitäisi tulla vuoden lopulla.

Lisätietoja hankesivulta sekä API-linjauksiin liittyvästä Valtiovarainministeriön tiedotteesta.

2 Avoimen datan direktiivin täytäntöönpano kansallisessa lainsäädännössä

EU:n avoimen datan direktiivi 2019/1024 on pantu täytäntöön ja tullut voimaan kansallisessa lainsäädännössä 17.7.2021 alkaen. Direktiivin tarkoituksena on edistää julkisen sektorin toimijoiden hallussa olevan ja julkisen sektorin tuottaman datan uudelleenkäyttöä kaupallisissa tai muissa kuin kaupallisissa tarkoituksissa.

Hankkeen pohjalta annetut lait ovat:

Direktiivin täytäntöönpanon keskeiset vaikutukset on tiivistetty seuraavanlaisesti (lihavoinnit omia):

Tiheästi tai reaaliaikaisesti päivittyvien tietojen eli niin sanotun dynaamisen datan on jatkossa oltava tietyin ehdoin saatavilla teknisen rajapinnan kautta.

Arvokkaiden tietoaineistojen on oltava saatavilla teknisen rajapinnan kautta maksutta. Euroopan komissio antaa myöhemmin luettelon näistä tietoaineistoista täytäntöönpanosäädöksessään.

Sellaisten tutkimusaineistojen, jotka on tuotettu julkisin varoin ja jotka on asetettu julkisesti saataville tietovaraston kautta, on oltava saatavilla maksutta, sekä tietyin ehdoin koneluettavassa muodossa.

Tiettyjen yleishyödyllisten palveluiden tuottamista koskevien asiakirjojen uudelleenkäytön ehtoja yhdenmukaistetaan.

Tiheästi tai reaaliaikaisesti päivittyvän tiedon osalta tietyin ehdoin vaikuttaisi viittaavan siihen, että viranomainen voi olla tarjoamatta tietoa teknisen rajapinnan kautta mikäli tämä aiheuttaisi ”kohtuutonta vaivaa taloudellisista tai teknisistä syistä”.

Tällöin tiedon tulee kuitenkin olla saatavilla ”sellaisella aikavälillä tai sellaisin tilapäisin teknisin rajoituksin, jotka eivät tarpeettomasti haittaa sen hyödyntämistä”, minkä tulkitsen tarkoittavan sitä, että tiheästi päivittyneet tiedot voidaan julkaista myös jälkikäteen ja/tai säännöllisin väliajoin vaikkapa csv-muotoisina tiedostoina netissä. Tämä voinee tulla myös kyseeseen, mikäli teknisen rajapinnan toiminnassa ilmenisi väliaikaisia teknisiä ongelmia. Tiedostojen ja rajapintayhteyden eroja on käsitellyt esimerkiksi Helsinki Region Infoshare ohjeissaan datan avaajalle.

Olettaisin lain hengen olevan kuitenkin sellainen, että julkisten organisaatioiden tulisi pitkällä aikavälillä budjetoida varoja rajapintojen käyttöönottoon ja riittävään tekniseen infrastruktuuriin. Tiedon loppukäyttäjien antama palaute voi toimia tässä kirittäjänä.

Arvokkaiden tietoaineistojen osalta Euroopan komission täytäntöönpanosäädökset lienevät vielä tuloillaan. Arvokkaista tietoaineistosta tullaan säätämään valtioneuvoston asetuksella tai muualla lainsäädännössä.

Open Knowledge Finland nosti 23.11.2020 antamassaan lausunnossa esille, että lakiesityksessä on tehty ainoastaan minimi ja että tavoitteet on asetettu aivan liian matalalle, jotta Suomea voisi aidosti kutsua edelläkävijämaaksi.

Suomen ongelmana pidetään avoimeen dataan pohjautuvan tietoperustaisen päätöksenteon puuttumista ja eri ministeriöiden alaisten organisaatioiden tekemää päällekkäistä työtä. Lainsäädäntöä ja toimintatapoja pidetään ”paperiaikaisina”, joissa viranomainen edelleen ”luovuttaa tietoa” pyynnöstä ja avoimen datan etuja ei ole täysimääräisesti ulosmitattu julkisen sektorin tietotyön kehittämisessä.

Ongelmallisena pidetään myös tutkimusjulkaisujen rajaamista julkisin varoin tuotettujen tutkimusaineistojen uudelleenkäytöstä annetun lain ulkopuolelle.

Lisätietoja Valtiovarainministeriön tiedotteessa, hankesivulla ja Eduskunnan kirjaston Lakihankkeiden tietopaketit -sivuilta

3 Viro avaa valtio-omisteisen lähdekoodin

Virossa 1.6.2021 voimaan tulleen lain perusteella kokonaan julkisessa omistuksessa olevat ohjelmistot tai näiden lähdekoodi on julkaistava kokonaan tai osittain. Mikäli ainoastaan osa lähdekoodista on julkisessa omistuksessa, tämä osa on tehtävä julkiseksi. Lisäksi ohjelmistosta vastuussa olevan tahon on julkaistava kuvaus ohjelmistosta sekä määriteltävä selkeät ehdot ohjelmiston käytölle.

Virolla on ohjelmiston julkaisua varten oma GitLab-alustalla toteutettu julkinen versionhallinnan varastojen (repository) hosting-palvelussa: koodivaramu.eesti.ee. Kirjoitushetkellä koodivaramussa on 109 erillistä projektia, joista merkittävässä osassa käytetään esimerkiksi vapaata MIT-lisenssiä.

Lisätietoja Viron mallista Open Source Observatoryn (OSOR) uutisesta ja Riigi Teataja virallisessa lehdessä julkaistusta lakitekstistä (viroksi).

3.1 Julkisen sektorin avoin lähdekoodi Suomessa

Suomessa täysin vastaavaa palvelua ei ole. Suomessa on lain sijasta Julkisen hallinnon tietohallinnon neuvottelukunnan (JUHTA) alaisen JHS-jaoston muotoilema suositus JHS 169 Avoimen lähdekoodin ohjelmien käyttö julkisessa hallinnossa. JHS-suosituksia valmisteltiin 1992-2019 valtion ja kuntien yhteistyönä, mutta JHS-järjestelmä lakkautettiin 2020 tiedonhallintalain voimaantulon myötä.

Solita Oy:n aloitteesta avattu avoinkoodi.fi-sivusto täyttää osittain saman tavoitteen kuin koodivaramu. Sivuston vetovastuu näyttää sittemmin siirtyneen Suomen avoimien tietojärjestelmien keskus - COSS ry:lle. Käyttäjät voivat ehdottaa sivuston listauksista puuttuvia projekteja tai tehdä pull requestin projektin GitHub-repoon.

4 Ostolaskudatan avaaminen Varsinais-Suomessa

Julkisten hankintojen ja ostolaskujen avaaminen etenee hitaasti mutta vääjäämättömästi. Valtion ja kuntien (Helsinki ja Vantaa) ostolaskuja on julkaistu tutkihankintoja.fi-sivustolla vuodesta 2016 lähtien. Helsingin kaupungin ostoista on dataa myös avoindata.fi-sivustolla vuodesta 2012 alkaen. Käsittelin kyseistä aineistoa blogikirjoituksessa tänä keväänä.

Ostolaskudata on ilmeisen mielenkiintoista monelle eri taholle, esimerkiksi kilpailutuksiin osallistuville yrittäjille. Varsinais-Suomen Yrittäjät onkin avannut vuonna 2019 handata.fi-sivuston, jossa pystyy kirjautumisen jälkeen tarkastelemaan manner-Suomen 295 kunnan ostotietoja (Yrittäjäsanomat 2019). Tiedot ovat osittain (maksuttoman) rekisteröitymisen takana.

Vuonna 2021 monet kunnat ovat edelleen vasta avaamassa ostolaskudataansa. Ainoastaan Lieto, Paimio ja Kaarina ovat kirjoitushetkellä julkaisseet ostolaskunsa. Alla olevassa taulukossa esitetään, mistä lähtien dataa on ollut saatavilla tai milloin kuntien ostolaskudatan voidaan tämän hetkisten tietojen perusteella odottaa tulevan julkiseksi (Lähde: em. yrittajat.fi-uutisartikkeli ja TS.fi 9.6.2021):

Table 4.1: Varsinais-Suomen kuntien ostolaskujen julkaisuvuosi tai odotettu julkaisuvuosi
Kunta	Julkaisuvuosi
Lieto	2015
Paimio	2018
Kaarina	2021
Loimaa	2021 (kesken)
Masku	2021 (kesken)
Turku	2022
Salo	2022
Uusikaupunki	2022
Raisio	Selvitystyö käynnistetty
Parainen	Selvitystyö käynnistetty
Mynämäki	Selvitystyö käynnistetty
Kemiönsaari	Selvitystyö käynnistetty
Laitila	Ei valmistelussa
Kustavi	Ei valmistelussa
Nousiainen	Ei julkaista

Ostolaskudatan avaamisen edistämiseksi Suomen Kuntaliitto julkaisi toukokuussa 2021 kuntalaskudatan avaamista käsittelevän ohjeen, joka korvasi vuonna 2016 julkaistun aiemman ohjeen.

Ohjeistuksessa käydään läpi perustietoja ostolaskuista ja asiaan liittyvistä standardeihin ja ohjeisiin. Ostolaskulla esimerkiksi tarkoitetaan sellaista laskua, joka liittyy hankittuun tuotteeseen, investointiin tai palveluun, minkä hankinnassa on noudatettu hankintalakia tai kunnan pienhankintaohjeita. Tämä rajaa ulkopuolelle esimerkiksi avustukset, palkat, veromaksut ja muut tilitykset. Melko merkittävä osa kunnan menoista, esimerkiksi henkilöstömenot, siis jäävät luonnollisesti ostolaskujen ulkopuolelle.

Ostolaskudatan sisältämät tiedot tileistä ja palveluluokituksista saadaan Valtiovarainministeriön ylläpitämästä Kuntien ja kuntayhtymien automatisoidun talousraportoinnin käsikirjasta (AURA). Kuntien sote-menojen osalta sensitiivisiä sote-sektoriin liittyviä tietojen yhdistely taas perustuu Valtiokonttorin ylläpitämään ohjeistukseen.

Jäämme mielenkiinnolla seuraamaan, kuinka yhdenmukaisesti ostolaskudata julkaistaan eri puolilla Suomea. Yhtenäiset ohjeistukset ja standardit helpottavat datan vertailua ja pienentävät datan käsittelyä helpottavien ratkaisujen kehitysaikaa.

5 Lopuksi

Tämä listaus ei ole missään nimessä tyhjentävä. Toisaalta kirjoituksen tarkoitus ei ollut toisintaa Open Source Observatoryn tai vastaavien sivustojen uutistulvaa suomen kielellä vaan poimia note-to-self -tyylisesti joitakin mielenkiintoisia kehityskulkuja, jotka saattavat vaikuttaa rOpenGovin pakettikehitykseen ja tarjontaan tulevaisuudessa.

Jäikö lista mielestäsi vajaaksi? Kerro se kommenteissa!

Helsingin ostodatan visualisointi geofi-paketilla

Thu, 01 Apr 2021 00:00:00 +0000

Helsingin kaupungin tekemien palvelu-, tarvike- ja käyttöomaisuusostojen data on ollut avoimesti saatavilla vuodesta 2014 asti. Avattujen datojen joukossa kaupungin ostodata lukeutuu epäilemättä kiinnostavimpien joukkoon ja se on ollut useiden erilaisten sovellusten ja visualisointien lähtökohtana. Tuon oman lisäni näiden sovellusten jatkoksi yhdistämällä yritysdatan paikkatietoaineistoihin ja visualisoimalla tiedon CRANissa vasta äskettäin julkaistua geofi-pakettia hyödyntämällä.

Tätä kirjoitusta varten olen yhdistänyt valmiiseen datasettiin tiedon yritysten kotipaikasta kaupungin, kadun ja postinumeroalueen tarkkuudella. Nämä tiedot saatiin haettua Patentti- ja rekisterihallituksen avoimen datan palvelusta aineistosta löytyneiden y-tunnusten avulla.

R soveltuu melkein miljoona riviä sisältävän aineiston tarkasteluun ja käsittelyyn erinomaiseksi työkaluksi. Excelin VLOOKUP- ja Find & Replace -toiminnoilla aineiston käsittely vaati välillä kymmenien sekuntien odottelua, kun taas R:n dplyr-paketin join- ja mutate-operaatiot olivat salamannopeita.

Menetelmän rajoitteena voi pitää sitä, että palvelusta oli saatavissa tietoja ainoastaan osakeyhtiöistä, osuuskunnista ja vakuutusyhtiöistä, joiden tiedot on kirjattu rekisteriin 7.11.2014 alkaen. Erilaiset julkiset instituutiot (esim. THL, Digi- ja väestötietovirasto), merkittävääkin toimintaa harjoittavat rekisteröidyt yhdistykset (esim. Suomen Kuntaliitto, Allergia-, Iho- ja Astmaliitto) tai toiminimet jäävät siis tästä tarkastelusta ulos. Jossain muussa kontekstissa tämä rajoite voisi olla ongelma, mutta tämän demonstraation / kirjoituksen puitteissa rajoitteen olemassaolo voidaan ainoastaan todeta ja siirtyä eteenpäin.

Hadley Wickhamin httr-paketin vignette Best practices for API packages antoi hyvät lähtökohdat rakentaa oma kustomoitu funktio prh_api, jonka avulla yritysten tiedot pystyttiin lataamaan “helposti”. Helposti-sana on lainausmerkeissä, sillä vaikka aineiston lataaminen oli sinänsä vaivatonta, PRH:n APIin tehtävien kutsujen lukumäärä oli rajattu 300 kutsuun minuutissa, kaikille käyttäjille jaettuna. En ollut todennäköisesti ainoa käyttäjä linjoilla, sillä yhden yrityksen tietojen lataamisessa kesti keskimäärin 4 sekuntia, jolloin 30000 uniikin y-tunnuksen läpikäymisessä vierähti tovi.

Aineiston lataus ja käsittely

Ladataan aluksi aineisto ja poistetaan ne rivit, joissa on epävalidi y-tunnus hetu-paketin bid_ctrl-funktiota hyödyntämällä:

library(hetu)
library(dplyr)
helsingin_ostot <- read.csv("http://openspending.hel.ninja/files/ostot/helsingin-ostot-all.csv")
helsingin_ostot$valid_ytunnus <- bid_ctrl(helsingin_ostot$toimittaja_ytunnus)
helsingin_ostot2 <- helsingin_ostot[which(helsingin_ostot$valid_ytunnus),]

Tässä vaiheessa prosessia PRH:n APIsta ladattaisiin uniikit y-tunnukset (jotta saman y-tunnuksen tietoja ei ladattaisi turhaan useaan kertaan) ja yhdistettäisiin nämä tiedot ostodatan kanssa. Koska tietojen lataaminen y-tunnusten perusteella on kohtuuttoman aikaavievä operaatio, olen käyttänyt tässä kirjoituksessa etukäteen valmisteltua datasettiä. Seuraava koodinpätkä on ainoastaan esimerkkinä prosessista:

# Uniikit y-tunnukset sisältävä vektori
unique_ytunnus <- unique(helsingin_ostot2$toimittaja_ytunnus)

# Esimerkki: Yhden y-tunnuksen tietojen lataaminen ja haluttujen tietojen suodattaminen

yrityksen_tiedot <- jsonlite::fromJSON("http://avoindata.prh.fi/tr/v1/0494571-4", simplifyVector = TRUE)
poimitut_tiedot <- NULL
poimitut_tiedot$businessId <- yrityksen_tiedot$results$businessId
poimitut_tiedot$street <- yrityksen_tiedot$results$addresses[[1]]$street[1]
poimitut_tiedot$city <- yrityksen_tiedot$results$addresses[[1]]$city[1]
poimitut_tiedot$postCode <- yrityksen_tiedot$results$addresses[[1]]$postCode[1]

poimitut_tiedot <- as.data.frame(poimitut_tiedot)

helsingin_ostot3 <- left_join(x = helsingin_ostot2, y = poimitut_tiedot, by = c("toimittaja_ytunnus" = "businessId"))

Kun y-tunnuksia on enemmän kuin yksi, yllä olevasta koodista voidaan muodostaa oma funktionsa, jota voidaan hyödyntää lapply-funktion kanssa.

Mikäli yritykselle oli saatavissa postinumeroalue, sille oli pääsääntöisesti tallennettu myös tieto kadusta ja kaupungista. Aineiston kattavuutta voidaan näin ollen tarkastella yksinkeraisesti aineistossa olevien ja puuttuvien postinumeroiden suhdelukuna, joka visualisoidaan pylväsdiagrammeilla.

# Ladataan valmisteltu datasetti
load("~/helsingin_ostot3.RData")
library(ggplot2)
ggplot(helsingin_ostot3, aes(fill=is.na(postCode), x=year)) +
  geom_bar(position="stack", stat="count") +
  labs(x = "Vuosi", y = "Rivien lkm", fill = "Puuttuva \npostinumero")

Huomataan, että puuttuvien postinumeroiden osuus pienenee mitä lähemmäksi nykyhetkeä tulemme.

Top-20 -lista: Mistä kunnista Helsinki ostaa eniten

Yrityksen postinumeron tietäminen on hyvä lähtökohta lähteä selvittämään, mistä Helsingin kaupungin ostot tulevat. Postinumeroalueiden perusteella piirretty kartta-aineisto on kuitenkin ehkä liiankin yksityiskohtainen, joten tyydymme tässä tapauksessa kuntatason tarkasteluun.

Geofi-pakettia hyödyntämällä postinumeron yhdistäminen kuntaan on helppoa. Tarkastelu ei ole aivan täydellinen, sillä postinumeroalueiden rajat eivät aina noudata kuntarajoja täydellisesti ja postinumeroalueelle määritelty kuntatunnus riippuu siitä, “minkä kunnan rakennuksia alueella on eniten (VTJ:n mukaan)” (ks. Tilastokeskuksen sivut). Tässä tapauksessa olisi voitu hyödyntää myös aineistoon jo ladattua tietoa yrityksen kotikunnasta (poimitut_tiedot$city), mutta kuntanimien vaihtelevien kirjoitusasujen, mahdollisten kirjoitusvirheiden tai ruotsinkielisten kuntanimien vuoksi pidin varmempana ratkaisuna kunnan määrittämistä postinumeron avulla.

library(geofi)
library(dplyr)
zipcodes <- geofi::get_zipcodes(year = 2021)

# Muutetaan sf-objekti tavalliseksi data frameksi, valitaan sopivat sarakkeet
zipcodes <- as.data.frame(zipcodes) %>% 
  select(kuntanro, posti_alue)
helsingin_ostot4 <- dplyr::left_join(x = helsingin_ostot3, y = zipcodes, by=c("postCode" = "posti_alue"))

municipalities <- geofi::get_municipalities(year = 2021)
municipalities <- municipalities %>% 
  select(kunta, kunta_name)

# Valitaan sopivat sarakkeet kuntadatasta
# Käytetään right_joinia siksi, että uuden muuttujan luokka säilyy "sf"
helsingin_ostot4 <- dplyr::right_join(x = municipalities, y = helsingin_ostot4, by=c("kunta" = "kuntanro"))

# Ryhmitellään ostot kunnan nimen mukaan
helsingin_ostot5 <- helsingin_ostot4 %>% 
  group_by(kunta_name) %>% 
  summarise(kunta_summa = sum(as.numeric(summa), na.rm = FALSE)) 

# Tarkastellaan missä kunnissa on suurimmat ostot
slice_max(helsingin_ostot5, order_by = kunta_summa, n = 20)

## Simple feature collection with 20 features and 2 fields (with 1 geometry empty)
## geometry type:  MULTIPOLYGON
## dimension:      XY
## bbox:           xmin: 215353.4 ymin: 6640920 xmax: 588843.4 ymax: 7298654
## projected CRS:  ETRS89 / TM35FIN(E,N)
## # A tibble: 20 x 3
##    kunta_name  kunta_summa                                                  geom
##    <chr>             <dbl>                                    <MULTIPOLYGON [m]>
##  1 <NA>       12164973424.                                                 EMPTY
##  2 Helsinki    5214226687. (((402737.7 6680700, 402069.8 6680535, 400326.8 6678…
##  3 Espoo        741586021. (((375773.7 6691597, 377355.9 6680366, 379983.8 6681…
##  4 Vantaa       629136624. (((392811.8 6694857, 399192.7 6692524, 396012.8 6689…
##  5 Kuopio       470253261. (((581015.6 7009317, 585462.3 7007121, 588843.4 7002…
##  6 Kouvola      149758496. (((511075 6780902, 512323 6772856, 508132 6769735, 5…
##  7 Tuusula      129772884. (((397271.6 6711736, 391885.8 6710060, 392411.8 6702…
##  8 Vaasa         90367794. (((259700 7001591, 253892.6 6990776, 242914.5 700120…
##  9 Turku         61425478. (((251038.1 6731422, 245370.1 6713651, 244865.9 6708…
## 10 Tampere       60124288. (((346626.3 6854536, 347270.1 6836030, 334112.1 6814…
## 11 Hyvinkää      51569708. (((396836.4 6726577, 392888.2 6717250, 385516.6 6715…
## 12 Kerava        49833397. (((399192.7 6692524, 392811.8 6694857, 392727.4 6700…
## 13 Raasepori     44527631. (((299881.1 6640940, 297472.1 6640920, 296412.5 6642…
## 14 Oulu          42513844. (((418101.2 7220618, 417351.5 7219858, 415092.4 7219…
## 15 Lahti         42463258. (((448838.6 6774406, 453144.3 6766188, 452204.9 6761…
## 16 Nurmijärvi    22549476. (((385516.6 6715109, 388809.1 6711136, 382590.6 6697…
## 17 Kemi          21518412. (((396561 7287772, 392601.9 7283067, 392361.4 728345…
## 18 Raisio        20195233. (((239031.6 6717088, 236093.7 6712495, 230992.2 6711…
## 19 Porvoo        18877028. (((441843.9 6673817, 440194.5 6673207, 436276.1 6673…
## 20 Padasjoki     18830945. (((422133.8 6800321, 420573.8 6797563, 415159 679860…

Suurimmat ostot sijoittuvat odotetusti Helsinkiin, Espooseen ja Vantaalle. Hieman yllättäen Kuopio kiilaa lähempänä pääkaupunkiseutua sijaitsevien Kouvolan ja Tuusulan edelle.

Kaikista suurin summa jyvittyy kuitenkin luokittelun ulkopuolelle jääneelle NA-joukolle, 12 miljardia euroa 8 vuoden ajalta. Tämä summa on itse asiassa suurempi kuin kaikkien kaupungeille jyvitettyjen hankintojen summa yhteensä, mikä osoittanee muilta kuin osakeyhtiöiltä tehtävien hankintojen merkityksen Helsingin kaupungille.

Kartta ja virtauskartta top-20-kaupungeista

Merkitään vielä nämä 20 tärkeintä kuntaa kartalle:

library(sf)
library(dplyr)

# Poistetaan NA-joukko eli yritykset, joiden kotipaikkaa ei pystytty määrittämään
helsingin_ostot6 <- helsingin_ostot5 %>% 
  filter(kunta_name %in% setdiff(helsingin_ostot5$kunta_name, c(NA)))

kunnat_top20_summat <- slice_max(helsingin_ostot6, order_by = kunta_summa, n = 20)

# Korostetaan top 20 kuntia
ggplot() +
  geom_sf(data = helsingin_ostot6, aes(fill = kunta_summa), color = alpha("white", 1/3)) +
  labs(fill = "Helsingin ostot, €") +
  scale_fill_gradient2(n.breaks = 6, trans = "log10") +
  geom_sf(data = kunnat_top20_summat, col="red", size=1)

Geofi-paketissa on mahdollisuutena piirtää kartalle kuntakeskuksia merkitsevät pisteet. Pienellä muunnoksella näistä POINT-muotoisista geometrioista saadaan muodostettua LINESTRING-muotoisia viivoja, joiden alkupiste on halutussa kunnassa ja loppupiste Helsingissä. Kartan päälle lisättynä kartta ja viivasymbolit muodostavat virtauskartan, jolla voidaan kuvata eri alueiden välisiä virtoja. Tällaiset kartat ovat parhaimmillaan erittäin näyttäviä, mutta tässä tapauksessa tyydymme hyvin yksinkertaiseen esimerkkiin:

# Luodaan kuntakeskusten välille LINESTRING-viivat
keskukset <- geofi::municipality_central_localities

# Hyödynnetään base-R:n tolower-funktion help filestä löytyvää capwords-funktiota
# Toinen vaihtoehto olisi käyttää fuzzyjoin-pakettia
capwords <- function(s, strict = FALSE) {
    cap <- function(s) paste(toupper(substring(s, 1, 1)),
                  {s <- substring(s, 2); if(strict) tolower(s) else s},
                             sep = "", collapse = " " )
    sapply(strsplit(s, split = " "), cap, USE.NAMES = !is.null(names(s)))
}

# Muutetaan kuntien nimet ALL CAPS -> Capital Case
keskukset$teksti <- capwords(keskukset$teksti, strict = TRUE)

# Lisätään aineistoon ostosummat
keskukset <- left_join(keskukset, as.data.frame(helsingin_ostot6)[,1:2], by = c("teksti" = "kunta_name"))

# Lasketaan Helsingin ja kuntakeskusten välinen välimatka (km)
keskukset$distance_to_hel <- NULL
keskukset$distance_to_hel <- st_distance(keskukset$geom, y=keskukset$geom[210,])
keskukset$distance_to_hel <- as.integer(keskukset$distance_to_hel / 1000)

keskukset_linestring <- st_cast(st_union(keskukset$geom[1,], keskukset$geom[210,], by_feature=TRUE),"LINESTRING")
for (i in 1:nrow(keskukset)) {
  keskukset_linestring[i] <- st_cast(st_union(keskukset$geom[i,], keskukset$geom[210,], by_feature=TRUE),"LINESTRING") 
}

keskukset_helsinkiin <- keskukset

keskukset_helsinkiin$geom <- keskukset_linestring

keskukset_helsinkiin <- keskukset_helsinkiin[which(keskukset_helsinkiin$teksti %in% kunnat_top20_summat$kunta_name),]

# Määritetään viivojen paksuudet siten, että Helsinki, Espoo ja Vantaa saavat 0
# ja siitä eteenpäin 4, 3, 2, 2, 1, 1...
ggplot() +
  geom_sf(data = helsingin_ostot6, aes(fill = kunta_summa), color = alpha("white", 1/3)) +
  labs(fill = "Helsingin ostot, €") +
  scale_fill_gradient2(n.breaks = 6, trans = "log10") +
  geom_sf(data = arrange(keskukset_helsinkiin, desc(kunta_summa)), col=alpha("red", 1/2), size=c(0,0,0,4,3,2,2,rep(1, 13)))

Eri muuttujia yhdisteltäessä on hyödyllistä säilyttää luotavien muuttujien luokkana “sf”, mistä johtuen yllä olevassa esimerkissä käytettiin sekä left_join että right_join funktioita. Tämä johtuu siitä, että muuten ggplot2 ei välttämättä osaa löytää geom-saraketta, jossa karttojen piirtämiseen tarvittavat koordinaatit sijaitsevat.

Kunnan etäisyyden ja kunnassa sijaitsevien yritysten lukumäärän vaikutus

Tarkastellaan lopuksi yksinkertaisilla sirontakuvioihin sovitetuilla suorilla, miten kunnassa sijaitsevien yritysten lukumäärä sekä kunnan etäisyys Helsingistä vaikuttaa Helsingin kaupungin tekemien ostojen suuruuteen.

library(sf)

# Ladataan Statfinista yritysten lukumäärä Suomen kunnissa
# /PXWeb/api/v1/fi/StatFin/yri/alyr/statfin_alyr_pxt_11dc.px
library(pxweb)
library(fuzzyjoin)

pxweb_query_list <- 
  list("Vuosi"=c("2019"),
       "Kunta"=c("*"),
       "Tiedot"=c("Tplukumaara2"))

# Download data 
px_data <- 
  pxweb_get(url = "https://pxnet2.stat.fi/PXWeb/api/v1/fi/StatFin/yri/alyr/statfin_alyr_pxt_11dc.px",
            query = pxweb_query_list)

# Convert to data.frame 
px_data_frame <- as.data.frame(px_data, column.name.type = "text", variable.value.type = "text")

# Yhdistetään dataa
yritykset <- left_join(x = px_data_frame, y = as.data.frame(helsingin_ostot5), by=c("Kunta"="kunta_name"))

# Poistetaan "kunnat" KOKO SUOMI, Tuntematon ja kunnat joista ei ole tilauksia
yritykset <- yritykset[which(!is.na(yritykset$kunta_summa)),]
# Poistetaan kuntarajojen geometria
yritykset <- as.data.frame(yritykset)
yritykset <- yritykset[,-5]

# Ladataan kuntakeskusten sijaintitiedot
keskukset <- geofi::municipality_central_localities

# Lisätään aineistoon ostosummat
keskukset <- left_join(keskukset, as.data.frame(helsingin_ostot6)[,1:2], by = c("teksti" = "kunta_name"))

# Lasketaan Helsingin ja kuntakeskusten välinen välimatka (km)
keskukset$distance_to_hel <- NULL
keskukset$distance_to_hel <- st_distance(keskukset$geom, y=keskukset$geom[210,])
keskukset$distance_to_hel <- as.integer(keskukset$distance_to_hel / 1000)

# Valitaan ainoastaan tarvittavat sarakkeet
keskukset <- keskukset %>% 
  dplyr::select(teksti, distance_to_hel, geom)
  
# Hyödynnetään fuzzyjoin-pakettia, jotta kuntien nimiä ei tarvitse erikseen siistiä
yritykset <- fuzzyjoin::regex_left_join(x = yritykset, y = keskukset, by=c("Kunta" = "teksti"), ignore_case = TRUE)

# Poistetaan aineistosta outlier, Helsinki
yritykset <- yritykset[-which(yritykset$Kunta == "Helsinki"),]

# Piirretään scatter-plotit, joihin on sovitettu LOESS-menetelmällä tasoitettu sovitekäyrä
par(mfrow=c(1,2))
scatter.smooth(x=yritykset$`Yritysten toimipaikat (lkm)`, y=log10(yritykset$kunta_summa), span = 1/5)
scatter.smooth(x=yritykset$distance_to_hel, y=log10(yritykset$kunta_summa))

# Vertaillaan kahta eri regressiomallia
fit1 <- lm(log10(kunta_summa) ~ `Yritysten toimipaikat (lkm)`, data=yritykset)
fit2 <- lm(log10(kunta_summa) ~ `Yritysten toimipaikat (lkm)` + distance_to_hel, data=yritykset)

# Haluttaessa voidaan katsoa myös regressiosuorat
# abline(lm(log10(kunta_summa) ~ `Yritysten toimipaikat (lkm)`, data=yritykset))
# abline(lm(log10(kunta_summa) ~ `Yritysten toimipaikat (lkm)` + distance_to_hel, data=yritykset))

summary(fit1)

## 
## Call:
## lm(formula = log10(kunta_summa) ~ `Yritysten toimipaikat (lkm)`, 
##     data = yritykset)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -3.2431 -0.7991  0.0834  0.9631  2.4039 
## 
## Coefficients:
##                                 Estimate Std. Error t value            Pr(>|t|)
## (Intercept)                   4.75557723 0.07845464   60.62 <0.0000000000000002
## `Yritysten toimipaikat (lkm)` 0.00039387 0.00003411   11.55 <0.0000000000000002
##                                  
## (Intercept)                   ***
## `Yritysten toimipaikat (lkm)` ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 1.159 on 294 degrees of freedom
## Multiple R-squared:  0.312,  Adjusted R-squared:  0.3097 
## F-statistic: 133.3 on 1 and 294 DF,  p-value: < 0.00000000000000022

summary(fit2)

## 
## Call:
## lm(formula = log10(kunta_summa) ~ `Yritysten toimipaikat (lkm)` + 
##     distance_to_hel, data = yritykset)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -3.3314 -0.7943  0.1029  0.9196  2.7113 
## 
## Coefficients:
##                                  Estimate  Std. Error t value
## (Intercept)                    5.24186205  0.13519748  38.772
## `Yritysten toimipaikat (lkm)`  0.00036832  0.00003366  10.943
## distance_to_hel               -0.00158104  0.00036166  -4.372
##                                           Pr(>|t|)    
## (Intercept)                   < 0.0000000000000002 ***
## `Yritysten toimipaikat (lkm)` < 0.0000000000000002 ***
## distance_to_hel                          0.0000172 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 1.126 on 292 degrees of freedom
##   (1 observation deleted due to missingness)
## Multiple R-squared:  0.3543, Adjusted R-squared:  0.3499 
## F-statistic: 80.13 on 2 and 292 DF,  p-value: < 0.00000000000000022

Huomataan, että kunnassa sijaitsevien yritysten lukumäärä ja kunnan etäisyys Helsingistä ovat yhteydessä siihen, kuinka paljon ostoja Helsingin kaupunki tekee kunnassa sijaitsevilta yrityksiltä. Jo visuaalisesta tarkastelusta kuitenkin huomaamme, että myös hieman kauempana sijaitsevista ja pienemmistä kunnista (esimerkiksi Kemi ja Padasjoki) tulevien yritysten on mahdollista myydä palveluitaan Helsingin kaupungille.

Kunnan yritystiheyden kasvattaminen on hidasta ja sijainnin muuttaminen mahdotonta, joten kuntien elinvoimaisuutta pohtivien poliitikkojen, viranhaltijoiden ja konsulttien kannattaa tarkastella sitä, mikä erottaa Kemin ja Padasjoen kaltaisten kuntien yritykset muista. Helsingin kaupungin ostot -aineisto onkin otollinen tämän kaltaisen yritystason tarkastelun lähtöpisteeksi.

Lopuksi

Tieto eri kunnissa sijaitsevien yritysten menestymisestä Helsingin kaupungin tarjouskilpailuissa on mielenkiintoista monesta eri näkökulmasta. Huomaamme, että yrityksen sijainnilla on merkitystä, mutta aineisto ei yksinään vastaa kysymykseen, miksi näin on.

Asiaa voitaisiin selittää pk-seudulla toimivien yritysten ja Helsingin kaupungin hankinnoista päättävien ihmisten verkostoilla, muualla Suomessa sijaitsevien yritysten korkeammilla transaktiokustannuksilla ja vähäisemmällä informaatiolla. Myös se, että suurin osa yrityksistä on keskittynyt Suomessa pääkaupunkiseudulle (ks. Manninen & Tölli 2019) voi selittää sitä, miksi suuri osa Helsingin kaupungin hankinnoistakin keskittyy pääkaupunkiseudulle. Muiden kaupunkien tapauksissa merkittävä osa ostoista saattaisi tulla pääkaupunkiseudulta ja Helsingistä nimenomaan tästä syystä.

Viime kädessä kyse ei tietenkään ole pelkästään Helsinki vs. muu Suomi -asetelmasta vaan siitä, millaisia todellisia tai kuviteltuja esteitä suomalaisilla yrityksillä on laajemmassa mittakaavassa osallistua koko EU:n sisämarkkina-alueen toimintaan. Vaikka EU:n sisämarkkinat ovat teoriassa avoimet, kaupankäynnin esteet tulevat eri tavalla vastaan, kun yhteistä kieltä ei välttämättä ole ja kansalliset lainsäädännöt vaihtelevat. Suomi liittyi EU:n jäseneksi vuonna 1995, mutta vielä yli 25 vuotta myöhemmin suomalaisten pk-yritysten valmiuksista osallistua sisämarkkinoille kannetaan huolta (ks. esim. Teknologiateollisuus 2021).

Ulkomaankaupan tilastoihin liittyvää aineistoa ja asiaan liittyviä analyyseja on saatavilla runsaasti eri lähteistä, joten tähän aihepiiriin tuskin pureudutaan tämän blogin kontekstissa - paitsi jos asia saadaan yhdistettyä jonkin R-paketin yhteyteen.

PXWeb-tilastot kartalla

Thu, 28 Jan 2021 10:02:45 +0000

Kuulen usein vaikeuksista esittää Tilastokeskuksen PxWeb-rajapinnan kautta jaettavia tilastoaineistoja kartalla. ropengov-projektissa on kehitetty R-kielen työkaluja sekä pxweb-rajapinnan hyödyntämiseen että Tilastokeskuksen paikkatietorajapinnan hyödyntämiseen (geofi).

Tässä esimerkissä näytetään miten teet karttoja R-ohjelmalla PxWeb-rajapinnan datoista sekä kunta- että postinumeroaluepohjaisten aluejakojen mukaisesti.

Väkiluku kuntatasolla vuoden 2020 aluejaolla

Tässä esimerkissä haemme viimeisimmän kuntatason tiedon väkiluvusta vuoden 2020 aluejaolla. Tieto löytyy kuntien avainluvut osiosta.

Alla olevassa giffistä saat käsityksen mitä prosessi edellyttää:

Aluksi siis ladataan paketit sekä datojen hakemiseen, käsittelyyn että visualisointiin.

# datat
library(pxweb) # Tilastokeskuksen pxweb-rajapinta
library(geofi) # Tilastokeskuksen wfs-rajapinta
# käsittely & siivoaminen
library(dplyr) 
library(tidyr)
library(janitor)
# visualisointi
library(ggplot2)

Sitten haetaan taajama-aste -data pxweb-rajapinnasta ja kuntajat wfs-rajapinnasta, ja liitetään data yhteen.

# WFS-data
muni20 <- get_municipalities(year = 2020)

# PXWEB-data
pxweb_query_list <- 
  list("Alue 2020"=c("*"),
       "Tiedot"=c("M411"))

# Download data 
px_data <- 
  pxweb_get(url = "http://pxnet2.stat.fi/PXWeb/api/v1/fi/Kuntien_avainluvut/2020/kuntien_avainluvut_2020_viimeisin.px",
            query = pxweb_query_list)

# Convert to data.frame 
px_data <- as_tibble(as.data.frame(px_data, column.name.type = "text", variable.value.type = "text"))

map <- left_join(muni20,
                 clean_names(px_data), by = c("name_fi" = "alue_2020"))

Sitten tehdään kartta, jossa täyttövärinä käytetään muuttujaa kuntien_avainluvut, joka siis yhtä kuin Väkiluku, 2019.

ggplot(map, aes(fill = kuntien_avainluvut)) + geom_sf()

Väkiluku maakuntatasolla

`geofi’-paketin kuntaluokitusavaimen avulla voi aggregoida datan kuntatasolta ylöspäin Tilastokeskuksen luokittelurajapinnan tietojen avulla. Seuraavassa koodikimpaleessa väkiluku aggregoidaan maakuntatasolle.

mk_map <- map %>% 
  group_by(maakunta_name_fi) %>% 
  summarise(kuntien_avainluvut = sum(kuntien_avainluvut))

ggplot(mk_map) + 
  geom_sf(aes(fill = kuntien_avainluvut)) +
  geom_sf_text(aes(label = paste(maakunta_name_fi, "\n",kuntien_avainluvut)), 
               size = 3, 
               color = "white")

Väkiluku postinumeroalueittain

Postinumeroaluetasolla prosessi on pitkälti sama. Ensin haetaan datat ja yhdistellään

zipcodes <- get_zipcodes(year = 2020) 

pxweb_query_list <- 
  list("Postinumeroalue"=c("*"),
                           "Tiedot"=c("he_vakiy"))

px_data <- 
 pxweb_get(url = "http://pxnet2.stat.fi/PXWeb/api/v1/fi/Postinumeroalueittainen_avoin_tieto/2020/paavo_pxt_12ey.px",
           query = pxweb_query_list)
paavo <- as_tibble(as.data.frame(px_data, 
                                       column.name.type = "text", 
                                       variable.value.type = "text")) %>% 
  clean_names() %>% 
  mutate(postinumeroalue = sub(" .+$", "", postinumeroalue))


map <- left_join(zipcodes, paavo, by = c("posti_alue" = "postinumeroalue"))
ggplot(map) + 
  geom_sf(aes(fill = asukkaat_yhteensa_2018_he), color = alpha("white", 1/3))

Turun pienaluetilastojen visualisointi R:ssä

Wed, 23 Dec 2020 00:00:00 +0000

Yleistä

Turun kaupunki avasi syksyllä 2020 pienaluetilastoja, jotka antavat jo ennestään saatavilla olleiden postinumeroaluekohtaisten tilastojen ohella mahdollisuuden tarkastella Turun kaupungin alueita hienojakoisemmin kuin aiemmin on ollut mahdollista.

Tietoa on kirjoitushetkellä saatavissa Turussa sijaitsevista rakennuksista, asunnoista ja vapaa-ajanasunnoista (esim. hallintaperuste, valmistumisvuosi, kerrosala), muuttoliikkeestä ja väestönmuutoksista (esim. syntymät, kuolemat, muutto kuntaan ja kunnasta pois) ja väestörakenteesta (asukkaiden ikä, sukupuoli, kieli, veronalaiset tulot).

Ainakin toistaiseksi Turun kaupunki tarjoaa valmiissa muodossa ainoastaan pienaluetilastoja sekä koko kaupungin kattavia tilastoja. Kaupunkitasoista dataa on saanut jo pitkään Tilastokeskuksen sivuilta, joten varsinainen uutuusarvo liittyykin nimenomaan pienaluetilastoihin. Pienaluetilastoista voidaan tarvittaessa aggregoida ylemmän tason alueita kuten tilastoalueita ja suuralueita.

Pienaluetilastojen sisältämä data on Tilastokeskuksen asettamien ehtojen vuoksi rajattu siten, että tietoja ei julkisteta niiltä alueilta, joilla asuu alle 100 henkilöä tai alle 100 asuntokuntaa / perhettä, käy töissä alle 100 henkilöä tai joilla sijaitsee alle 10 asuinrakennusta.

Suurin osa julkaistuista pienaluedatoista on itse asiassa aikasarjadataa, joten mielenkiintoisten ajallisten muutosten tarkastelu on mahdollista. Ilmiselvästi mielenkiinnon kohteena olevien alueiden tulisi kuitenkin pysyä suhteellisen muuttumattomina, jotta vertailu olisi mielekästä. Tilastokeskuksen sivuilta löytyvän artikkelin (Tammilehto-Luode, 2009) mukaan “[k]untien sisäinen aluejako on syntynyt kuntien omien tarpeiden pohjalta”.

Turussakin kaupunki on kehittynyt 10 vuoden aikana, uusia asuinalueita on rakennettu ja väkilukukin on kasvanut yli 10 000 asukkaalla. Pienalueiden rajat saattavat muuttua samalla kun kaupunki kasvaa ja kehittyy. Aluejakojen pysyvyys ei tietenkään ole vakio laajemmassakaan mittakaavassa, sillä kuntaliitoksia ja kuntarajojen uudelleenvetoja tapahtuu melkein vuosittain (ks. Tilastokeskuksen luokitustiedotteet), postinumeroalueita muutetaan (ks. Postin sivut) ja maakuntien rajojakin vedetään toisinaan uudelleen.

Pienaluetilastojen yhdistäminen karttatietoaineistoon vaatii enemmän manuaalista työtä kuin esimerkiksi Tilastokeskuksen sivuilta pxweb-paketilla ladatun tiedon visualisointi geofi-pakettia käyttämällä. Tähän saadaan tulevaisuudessa mahdollisesti muutos, mutta tämän blogitekstin on tarkoitus demonstroida nykyhetkessä, kuinka helppoa datan visualisointi on ilman erikoistuneita pakettejakin.

Pienaluetilastojen lataaminen ja visualisointi

# px-muotoisen datan lukemiseen tarvittava paketti
library(pxR)
# Datan käsittelyyn tarvittavat tidyverse-paketit
library(dplyr)
library(tidyr)
# Geospatiaalisen datan käsittelyyn tarvittavat paketit
library(sf)
library(ggplot2)

Käytän tässä kirjoituksessa pxR-pakettia, sillä ainakin toistaiseksi Turun kaupunki toimittaa pienaluetilastonsa px-muodossa. Px-tiedostomuoto on moniulotteisen tilastotaulukon eli kuution tallennusformaatti, josta voi saada jonkinlaista lisätietoa esimerkiksi vuonna 2008 julkaistusta käsikirjasta tai Ruotsin SCB:n tiedostomuodon määrittelystä. Px-dataa voidaan Windows-koneilla käsitellä erillisellä PxWin-ohjelmistolla, mutta Macin tai Linuxin käyttäjille tämä ei valitettavasti ole vaihtoehto.

pxR-paketti ei lue pysty lukemaan kaikkia tarjolla olevia .px-muodossa olevia tietoaineistoja, mutta toivottavasti paketin kehitystyö korjaa ongelman tulevaisuudessa tai avointa dataa tarjotaan jatkossa toisenlaisessa muodossa.

# URL lähde: https://www.avoindata.fi/data/fi/dataset/turun-kaupungin-pienaluetilastoja
url_data <- "https://dev.turku.fi/datasets/pienaluetilastot/turku-asunnot-r03e.px"

# pxR-paketin standardinomainen tapa lukea Tilastokeskuksen px-dataa ei toimi:
# read.px(filename = url)
#Error in scan(tc, na.strings = na.strings, quote = NULL, quiet = TRUE) : 
#  scan() expected 'a real', got '..'

# Käytetään argumenttia na.strings = c(".."), jolloin data voidaan lukea
px_data <- read.px(url_data, na.strings = c(".."))

Vuoden 2008 PC-Axis-tiedostomuodon käsikirjasta voidaan lukea, että pistekoodi “..” tarkoittaa tietoa, jota ei ole saatu, joka on epävarmaa tai joka on salassapitosäännön alaista. Kuten aiemminkin mainittiin, Turun kaupunki on rajannut julkaisemiensa aineistojen laajuutta. Puuttuvan tiedon voikin suurimmalti osalti selittää salassapitosäännöksen mukaisella rajauksella, mistä johtuen kahden pisteen pistekoodi lienee tullut valituksi.

Tarkastellaan seuraavaksi lataamamme px_data-objektin sisältöä:

# px_data-objektin sisältämät avainsanat
names(px_data)
## [1] "AXIS.VERSION"       "CHARSET"            "CODEPAGE"           "CODES"              "CODES.sv."         
## [6] "CONTACT"            "CONTACT.sv."        "CONTENTS"           "CONTENTS.sv."       "CONTVARIABLE"      
## [11] "CONTVARIABLE.sv."   "COPYRIGHT"          "CREATION.DATE"      "DATA"               "DECIMALS"          
## [16] "DESCRIPTION"        "DESCRIPTION.sv."    "DESCRIPTIONDEFAULT" "DOMAIN"             "DOMAIN.sv."        
## [21] "HEADING"            "HEADING.sv."        "LANGUAGE"           "LANGUAGES"          "LAST.UPDATED"      
## [26] "MATRIX"             "NOTE"               "NOTE.sv."           "SHOWDECIMALS"       "SOURCE"            
## [31] "SOURCE.sv."         "STUB"               "STUB.sv."           "SUBJECT.AREA"       "SUBJECT.AREA.sv."  
## [36] "SUBJECT.CODE"       "TIMEVAL"            "TIMEVAL.sv."        "TITLE"              "TITLE.sv."         
## [41] "UNITS"              "UNITS.sv."          "VALUES"             "VALUES.sv."         "VARIABLE.TYPE"     
## [46] "VARIABLE.TYPE.sv."

# px_data-objektin luokka
class(px_data)
# [1] "px"

# px_data-objektin rakenne: Tulostaa erittäin pitkän listan tietoja, jota en toista tässä esimerkissä
str(px_data)

# Muoto, jossa px_data-objektin tiedot on tallennettu
typeof(px_data)
# [1] "list"

Huomataan, että suurin osa px_data-objektin sisällöstä on erilaista metatietoa, joka on tietojen raportoinnin kannalta yleensä hyvä ottaa huomioon. Olennaisin tieto löytyy kuitenkin jo otsikosta: Asunnot osa-alueittain huoneistotyypin ja hallintaperusteen mukaan vuosina 2015-2019. Numeerisen tilastotiedon tarkastelun ja visualisoinnin kannalta kiinnostavin sisältö löytyy DATA-avainsanan takaa. DATA-elementti sisältää vastaavasti data.framen nimeltä value, josta olemme kiinnostuneita.

# Muodostetaan uusi muuttuja turku_data px_data-objektin sisältämästä data.framesta
turku_data <- px_data$DATA$value

# px_data -objektin kuvauksen tallentaminen voi olla hyödyllistä myöhemmin
turku_data_otsikko <- px_data$DESCRIPTION$value
turku_data_otsikko

## [1] "R03E Asunnot osa-alueittain huoneistotyypin ja hallintaperusteen mukaan 31.12, 2015-2019"

dim(turku_data)

## [1] 50435     5

summary(turku_data)

##                            Hallintaperuste                 Huoneistotyyppi 
##  Hallintaperusteet yhteensä        :7205   Huoneistotyypit yhteensä: 4585  
##  Omistaa talon                     :7205   1h+kk/kt                : 4585  
##  Omistaa asunnon osakkeet          :7205   1h+k                    : 4585  
##  Arava- tai korkotukivuokra-asunto :7205   2h+kk/kt                : 4585  
##  Muu vuokra-asunto                 :7205   2h+k                    : 4585  
##  Asumisoikeusasunnot               :7205   3h+k/kk/kt              : 4585  
##  Muu tai tuntematon hallintaperuste:7205   (Other)                 :22925  
##   Vuosi                                 Osa.alue         value          
##  2015:10087   853 Turku                     :  385   Min.   :     0.00  
##  2016:10087   853101001 Rauhankatu VII      :  385   1st Qu.:     0.00  
##  2017:10087   853101002 Ursininkatu pohj.   :  385   Median :     2.00  
##  2018:10087   853101003 Ursininkatu et.     :  385   Mean   :    99.96  
##  2019:10087   853101004 Kristiinankatu et.  :  385   3rd Qu.:    23.00  
##               853101005 Kristiinankatu pohj.:  385   Max.   :119908.00  
##               (Other)                       :48125   NA's   :4158

dim-komennon tulos kertoo, että data.framessa on 50435 riviä ja 5 saraketta. Summaryn tulkitseminen on tässä yhteydessä hieman hankalampaa, mutta käytännössä luvut kertovat, kuinka monta kertaa kukin uniikki rivi esiintyy tässä pitkässä muodossa olevassa taulukossa. Numeroista ei siis voi tehdä päätelmiä minkään ryhmän jäsenten lukumäärästä vaan ennemmin siitä, kuinka monta kertaa kukin muuttuja esiintyy taulukossa.

Olemme tällä kertaa kiinnostuneita eri pienalueiden tiedoista. Visualisoinnin yksinkertaistamiseksi tarkastelemme omistusasujien määrän suhdetta kaikkiin asumismuotoihin, joten valitsemme siis Hallintaperuste-sarakkeesta “Hallintaperusteet yhteensä”, “Omistaa talon” ja “Omistaa asunnon osakkeet”. Huoneistotyypin osalta emme tee erottelua. Osa.alue- ja Vuosi-sarakkeista voimme ottaa kaikki tiedot, sillä tarvittavat rajaukset voidaan tehdä samalla kun tilastotietoja yhdistetään paikkatietoon.

Pelkästään pienalueita tarkasteltaessa uuden area_code -sarakkeen luominen ei ole välttämätöntä, sillä pienaluedatan sisältävät tietoaineistot sekä pienalueiden paikkatietoaineistot käyttävät toisiaan vastaavia nimikkeitä. Muiden aineistojen kanssa toimiessa on kuitenkin hyödyllistä, että numeromuodossa oleva aluekoodi ja alueen nimi erotellaan erillisiksi sarakkeiksi.

turku_data2 <- turku_data %>% 
  filter(Hallintaperuste %in% c("Hallintaperusteet yhteensä", "Omistaa talon", "Omistaa asunnon osakkeet"), Huoneistotyyppi == "Huoneistotyypit yhteensä")

summary(turku_data2)

##                            Hallintaperuste                 Huoneistotyyppi
##  Hallintaperusteet yhteensä        :655    Huoneistotyypit yhteensä:1965  
##  Omistaa talon                     :655    1h+kk/kt                :   0  
##  Omistaa asunnon osakkeet          :655    1h+k                    :   0  
##  Arava- tai korkotukivuokra-asunto :  0    2h+kk/kt                :   0  
##  Muu vuokra-asunto                 :  0    2h+k                    :   0  
##  Asumisoikeusasunnot               :  0    3h+k/kk/kt              :   0  
##  Muu tai tuntematon hallintaperuste:  0    (Other)                 :   0  
##   Vuosi                               Osa.alue        value         
##  2015:393   853 Turku                     :  15   Min.   :     0.0  
##  2016:393   853101001 Rauhankatu VII      :  15   1st Qu.:    40.5  
##  2017:393   853101002 Ursininkatu pohj.   :  15   Median :   161.0  
##  2018:393   853101003 Ursininkatu et.     :  15   Mean   :   918.0  
##  2019:393   853101004 Kristiinankatu et.  :  15   3rd Qu.:   593.5  
##             853101005 Kristiinankatu pohj.:  15   Max.   :119908.0  
##             (Other)                       :1875   NA's   :162

# Luodaan uusi muuttuja area_code poistamalla Osa.alue-muuttujasta aakkoset, välimerkit ja välilyönnit
turku_data2 <- turku_data2 %>% 
  dplyr::mutate(area_code = gsub("[[:alpha:]]*[[:punct:]]*[[:blank:]]*", "", turku_data2$Osa.alue))

# Muutetaan pitkä datamuoto leveäksi
turku_data2 <- turku_data2 %>% 
  tidyr::pivot_wider(id_cols = c("Vuosi", "area_code"), names_from = "Hallintaperuste", values_from = "value")

# Siivotaan sarakkeita käytettävämpään muotoon
turku_data2 <- turku_data2 %>% 
  dplyr::mutate(omistusasunto = `Omistaa talon` + `Omistaa asunnon osakkeet`) %>% 
  dplyr::mutate(muu_asumismuoto = `Hallintaperusteet yhteensä` - omistusasunto) %>% 
  dplyr::rename(hallintaperusteet_yhteensa = `Hallintaperusteet yhteensä`) %>% 
  dplyr::select(-c(`Omistaa talon`, `Omistaa asunnon osakkeet`))

Seuraavaksi yhdistämme datatiedot geospatiaaliseen dataan käyttämällä sf-pakettia sekä visualisointiin ggplot2-pakettia.

url_geo <- "http://dev.turku.fi/datasets/aluejaot/pienalueet-4326.geojson"

turku_pienalueet <- sf::st_read(dsn = url_geo)

## Reading layer `aj_osa-alue_20200415_area' from data source `http://dev.turku.fi/datasets/aluejaot/pienalueet-4326.geojson' using driver `GeoJSON'
## Simple feature collection with 129 features and 1 field
## geometry type:  POLYGON
## dimension:      XY
## bbox:           xmin: 22.06614 ymin: 60.33351 xmax: 22.45816 ymax: 60.73729
## geographic CRS: WGS 84

turku_pienalueet <- turku_pienalueet %>% 
  mutate(area_code = gsub("[[:alpha:]]*[[:punct:]]*[[:blank:]]*", "", turku_pienalueet$id))

dat <- dplyr::left_join(turku_pienalueet, turku_data2, by = "area_code")

Visualisoidaan omistusasujien osuus suhteessa kaikkiin asumismuotoihin:

viz_dat <- dat %>% 
  filter(Vuosi == 2019)

ggplot(viz_dat) +
  geom_sf(aes(fill = omistusasunto / hallintaperusteet_yhteensa), color = alpha("white", 1/3)) +
  labs(fill="Omistusasujien osuus 2019")

Kuten huomataan, osasta pienalueista data puuttuu kokonaan. Pienalueita käytettäessä kartasta tulee helposti turhan yksityiskohtaista piiperrystä. Eräs ratkaisu tähän olisi tehdä pienaluekuvista kartogrammi (esim. cartogram-pakettia käyttämällä), jossa väkirikkaammat pienalueet piirrettäisiin suhteellisesti suurempina kuin harvaan asutummat pienalueet. Tällöin kartan maantieteellinen vastaavuus kuitenkin vääristyisi ja “karttakuva” muuttuisi entistä abstraktimman tason visualisoinniksi.

Toinen ratkaisu on muodostaa pienaluetilastoista suurempia alueita ryhmittelemällä ne uudelleen.

Pienalueiden uudelleenryhmittely tilastoalueiksi ja suuralueiksi

Turku voidaan jakaa 9 suuralueeseen, 45 tilastoalueesta ja 129 pienalueesta. Jokainen suuralue sisältää useamman tilastoalueen ja useimmat tilastoalueet sisältävät useita pienalueita. Joidenkin ilmeisesti harvaan asuttujen alueiden tapauksessa tilastoalueet sisältävät ainoastaan yhden pienalueen.

Useimmat aiemmin muodostetut aluekoodit muodostuvat 9 numerosta, esimerkkinä “853943130 Saramäki - Paimala”. 853 on Turun kaupungin kuntakoodi, 9 on Maaria-Paattisen suuralueen numero, 43 on Etelä-Maarian tilastoalueen numero ja 130 on Saramäki-Paimalan pienaluekoodi. Koska numerosarja on kaikkien tapausten osalta saman pituinen ja eri alueita merkitsevät numerot ovat aina samassa kohdassa, koodi pystytään helposti purkamaan osiin:

dat$suuralue <- substring(dat$area_code, first = 4, last = 4)
dat$tilastoalue <- substring(dat$area_code, first = 5, last = 6)
dat$pienalue <- substring(dat$area_code, first = 7, last = 9)

dat_suuralue <- sf::st_make_valid(dat) %>%
    dplyr::filter(Vuosi == 2019) %>% 
    dplyr::group_by(suuralue) %>% 
    dplyr::summarise(hallintaperusteet_yhteensa = sum(hallintaperusteet_yhteensa, na.rm = TRUE), 
                     omistusasunto = sum(omistusasunto, na.rm = TRUE), muu_asumismuoto = sum(muu_asumismuoto, na.rm = TRUE)) 

dat_tilastoalue <- sf::st_make_valid(dat) %>%
    dplyr::filter(Vuosi == 2019) %>% 
    dplyr::group_by(tilastoalue) %>% 
    dplyr::summarise(hallintaperusteet_yhteensa = sum(hallintaperusteet_yhteensa, na.rm = TRUE), omistusasunto = sum(omistusasunto, na.rm = TRUE), muu_asumismuoto = sum(muu_asumismuoto, na.rm = TRUE))

Lopuksi visualisoidaan:

ggplot(dat_suuralue) +
    geom_sf(aes(fill = omistusasunto / hallintaperusteet_yhteensa), color = alpha("white", 1/3)) +
    labs(fill="Omistusasujien osuus 2019")

ggplot(dat_tilastoalue) +
    geom_sf(aes(fill = omistusasunto / hallintaperusteet_yhteensa), color = alpha("white", 1/3)) +
    labs(fill="Omistusasujien osuus 2019")

Hyvännäköinen karttakuva saattaa vaatia informatiivisuuden vuoksi lisää tietoja, esimerkiksi alueiden nimet sisältävät labelit. Px-data ei sisältänyt kuin pienalueiden nimet, joten tilastoalueiden ja suuralueiden nimet joutuisi kirjoittamaan joko käsin tai lataamaan toisesta lähteestä.

Tätä blogikirjoitusta varten tein Turun kaupungin aluejaot sisältävän pdf-kartan pohjalta csv-tiedoston, joka sisältää alueiden numerokoodit ja nimet. Aiemmasta jaottelusta poiketen numerokoodit ovat hieman pidempiä, joten muokkaamme dat-objektin koodit csv-tiedostoa vastaaviksi:

dat$pienalue <- paste(dat$suuralue, dat$tilastoalue, dat$pienalue, sep="")
dat$tilastoalue <- paste(dat$suuralue, dat$tilastoalue, sep="")

dat_tilastoalue <- sf::st_make_valid(dat) %>%
    dplyr::group_by(tilastoalue) %>% 
    dplyr::summarise(hallintaperusteet_yhteensa = sum(hallintaperusteet_yhteensa, na.rm = TRUE), omistusasunto = sum(omistusasunto, na.rm = TRUE), muu_asumismuoto = sum(muu_asumismuoto, na.rm = TRUE))

# Luetaan sisään csv-tiedosto, jossa ei ole otsakeriviä
aluekoodit <- read.csv("turku_alueet.csv", header = FALSE)

head(aluekoodit)

##                           V1
## 1     1 Suuralue 1: Keskusta
## 2              101 VI ja VII
## 3      101001 Rauhankatu VII
## 4  101002 Ursininkatu pohj. 
## 5     101003 Ursininkatu et.
## 6 101004 Kristiinankatu et.

Kuten huomataan, alueiden nimet ja numerokoodit pitkässä muodossa ovat yhdessä sarakkeessa. Ainakin dplyr vaatii, että kaksi yhdistettävää taulukkoa sisältävät ainakin yhden sarakkeen, joka sisältää toisiaan täydellisesti vastaavaa tietoa ja jonka avulla taulukoiden rivit voidaan yhdistää toisiinsa. Fuzzyjoin-pakettia hyödyntämällä tästä täydellisen vastaavuuden vaatimuksesta voitaisiin kenties luopua ja osittainen vastaavuuskin riittäisi, mutta käytän tässä blogikirjoituksessa dplyriä ja muodostan toisiaan täydellisesti vastaavat sarakkeet.

# Poistetaan rivien alusta numero + välilyönti ja muodostetaan uusi sarake
aluekoodit$nimi <- gsub("^[0-9]*[[:blank:]]", "", aluekoodit$V1)

# Muodostetaan uusi muuttuja x1, joka sisältää alun numeroiden + välilyönnin merkkimäärän
x1 <- regexpr("^[0-9]*", aluekoodit$V1)

# Käytetään tietoa merkkimäärästä hyväksi alun numerokoodeja poimittaessa
aluekoodit$numero <- regmatches(aluekoodit$V1, x1)

# Yhdistetään aluekoodit-muuttujan nimet dat-objekteihin numeroiden perusteella
dat_suuralue <- dplyr::left_join(dat_suuralue, aluekoodit, by = c("suuralue" = "numero"))
dat_tilastoalue <- dplyr::left_join(dat_tilastoalue, aluekoodit, by = c("tilastoalue" = "numero"))

Visualisoinnit labeleiden kanssa:

ggplot(dat_suuralue) +
    geom_sf(aes(fill = omistusasunto / hallintaperusteet_yhteensa), color = alpha("white", 1/3)) +
    geom_sf_text(aes(label = nimi), size = 2, color = "red", fontface = "bold", check_overlap = TRUE) +
    labs(fill="Omistusasujien osuus 2019")

## Warning in st_point_on_surface.sfc(sf::st_zm(x)): st_point_on_surface may not
## give correct results for longitude/latitude data

ggplot(dat_tilastoalue) +
    geom_sf(aes(fill = omistusasunto / hallintaperusteet_yhteensa), color = alpha("white", 1/3)) +
    geom_sf_label(aes(label = nimi), size = 2) +
    labs(fill="Omistusasujien osuus 2019")

## Warning in st_point_on_surface.sfc(sf::st_zm(x)): st_point_on_surface may not
## give correct results for longitude/latitude data

Kuten huomataan, suuri määrä tekstiä tai labeleita saa kartan näyttämään sotkuiselta. Teemakartat ovatkin kaikista hyödyllisimmillään alueellisten trendien, esimerkiksi työttömyysasteen tai asukkaiden keski-iän nopeaan silmäilyyn, jolloin alueen nimikkeellä ei välttämättä ole niin suurta merkitystä.

Toisaalta nimikkeiden kiinnittäminen paikkatietoon ei myöskään ole turhaa, jos paikkatietoja haluaa visualisoida staattisten karttojen sijaan interaktiivisessa näkymässä. Tällöin informaatiota voidaan esittää pop-up -ikkunassa ja labeleiden tekstiä voidaan samalla muotoilla monipuolisesti html-tageja käyttäen.

Esimerkki ajallisen muutoksen visualisoimisesta

Turussa on opiskelijakaupunkina suuri kysyntä opiskelijoille soveltuvista yksiöistä. Seuraavassa esimerkissä katsomme, kuinka yksiöiden määrä on muuttunut vuodesta 2015 vuoteen 2019 eri alueilla.

turku_data_yksiot <- turku_data %>% 
  filter(Hallintaperuste %in% c("Hallintaperusteet yhteensä"), Huoneistotyyppi %in% c("1h+kk/kt", "1h+k")) %>% 
  tidyr::pivot_wider(id_cols = c("Osa.alue", "Vuosi"), names_from = "Huoneistotyyppi", values_from = "value") %>%
  # Yhdistetään 1h + kk ja 1h+k yhdeksi faktoriksi
  mutate(yksiot = `1h+kk/kt` + `1h+k`) %>% 
  select(-c(`1h+kk/kt`, `1h+k`)) %>% 
  # Järjestetään data nimen perusteella (ja samalla vuoden perusteella aikajärjestykseen)
  group_by(Osa.alue) %>% 
  arrange(Osa.alue, by_group = TRUE) %>% 
  # Vertaillaan vuoden 2015 ja 2019 tilannetta, joten lag = 4
  mutate(muutos_2015_2019 = yksiot / dplyr::lag(yksiot, n = 4)) %>% 
  # Jätetään taulukkoon vain 2019 havainnot
  filter(Vuosi %in% c("2019"))

# Aineiston tunnusluvut
summary(turku_data_yksiot$muutos_2015_2019)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
##  0.2143  1.0000  1.0195     Inf  1.1643     Inf      13

# Tarkastellaan, miltä muutoksen suuruus näyttää yläpäässä
turku_data_yksiot %>% arrange(desc(muutos_2015_2019))

## # A tibble: 131 x 4
## # Groups:   Osa.alue [131]
##    Osa.alue                          Vuosi yksiot muutos_2015_2019
##    <fct>                             <fct>  <dbl>            <dbl>
##  1 853216047 Toijainen               2019       2           Inf   
##  2 853323072 Skanssi                 2019     174            58   
##  3 853527087 Kuuvuori                2019     508             3.30
##  4 853633099 Impivaara               2019      45             3   
##  5 853113037 Otkantti                2019      29             2.9 
##  6 853105018 Kakola                  2019     523             2.04
##  7 853214041 Jänessaari              2019       2             2   
##  8 853526081 Asuin-Itäharju          2019     395             1.98
##  9 853708027 Autistenaukio - Oikotie 2019     129             1.87
## 10 853736110 Ruohonpää länt.         2019     255             1.67
## # … with 121 more rows

# Yhdistetään aineisto geospatiaaliseen dataan
dat2 <- dplyr::inner_join(turku_pienalueet, turku_data_yksiot, by = c("id" = "Osa.alue"))

Huomataan, että Skanssin kaupunginosassa yksiöiden rakentamistahti on ollut huomattavasti nopeampaa kuin muualla Turussa (2016 3 yksiötä, 2019 174 yksiötä). Tämä selittyy Skanssin kaupunginosan edelleen jatkuvalla kehityksellä. Toisella alueella, Toijaisessa, muutoksen suuruus on “mittaamattoman suuri” alussa olleen yksiöiden lukumäärän oltua 0. Teemakartan piirtämisen kannalta näin räikeästi muista poikkeavat outlierit tekee pääasiassa muutaman prosentin vuosittaisten muutosten visualisoimisesta mahdotonta, joten poistamme kaksi suurinta havaintoa ja piirrämme lopuksi kartan:

dat2 <- dat2 %>% 
  mutate(muutos_2015_2019 = ifelse(muutos_2015_2019 > 3, NA, muutos_2015_2019))

ggplot(dat2) +
    geom_sf(aes(fill=muutos_2015_2019), color = alpha("white", 1/3)) +
    labs(fill="Yksiöiden määrän muutos 2015-2019, 100 %") +
    scale_fill_gradient2(low = "red", midpoint = 1.0, mid = "white", high = "blue", space="Lab")

Suuri osa kartasta maalautuu valkoiseksi, mikä tarkoittaa että neljän vuoden aikana yksiöiden määrän kasvu ei ole ollut järin suurta. Toisaalta on hyvä muistaa, että tämän kaltainen yksinkertainen tarkastelu ylikorostaa pienillä alueilla tapahtuvia muutoksia ja tekee jo ennestään väkirikkailla alueilla tapahtuvat absoluuttiset muutokset näkymättömiksi.

Vertailun vuoksi vielä kaikkien asuntojen absoluuttisia määriä kuvaava teemakartta:

turku_data_asunnot <- turku_data %>% 
  filter(Hallintaperuste %in% c("Hallintaperusteet yhteensä"), Huoneistotyyppi %in% c("Huoneistotyypit yhteensä")) %>% 
  tidyr::pivot_wider(id_cols = c("Osa.alue", "Vuosi"), names_from = "Huoneistotyyppi", values_from = "value") %>%
  rename(kaikki_asunnot = `Huoneistotyypit yhteensä`) %>% 
  group_by(Osa.alue) %>% 
  arrange(Osa.alue, by_group = TRUE) %>% 
  mutate(muutos_2015_2019 = lag(kaikki_asunnot, n = 0) - lag(kaikki_asunnot, n = 4)) %>% 
  filter(Vuosi %in% c("2019"))

summary(turku_data_asunnot$muutos_2015_2019)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
##  -65.00    3.00   14.00  137.38   75.25 8308.00      11

dat3 <- dplyr::inner_join(turku_pienalueet, turku_data_asunnot, by = c("id" = "Osa.alue"))

ggplot(dat3) +
    geom_sf(aes(fill=muutos_2015_2019), color = alpha("white", 1/3)) +
    labs(fill="Asuntojen määrän muutos 2015-2019, kpl") +
    scale_fill_gradient2(low = "red", high = "blue", space="Lab")

Lopuksi

Tämän kirjoituksen tarkoituksena oli demonstroida, kuinka Turun julkistamaa pienaluedataa voidaan visualisoida yleisesti käytössä olevia R-paketteja hyödyntämällä.

Jatkokehityskohteena joitakin blogissa esiteltyjä työvaiheita olisi epäilemättä hyvä kiteyttää helpommin käytettävämpään ja pysyvämpään muotoon, esimerkiksi erillisen R-paketin muodossa. Koneellisesti luettava valmis lista Turun aluekoodeista on esimerkki tiedosta, josta on hyötyä monissa alueellisen dataan liittyvissä toimenpiteissä ja olisi hyvä olla helposti saatavilla. Toinen kehityskohde voisi olla nykyisellään hieman hankalasti käytettävissä olevan .px-muotoisen datan uudelleenpaketoiminen johonkin helpommin hyödynnettävään formaattiin.

Yksinään Turun aluedata jää hieman ontoksi. Turun alueiden vertailu esimerkiksi muiden 6Aika-hankkeeseen osallistuvien suurempien kaupunkien (Helsinki, Espoo, Vantaa, Turku, Tampere, Oulu) alueisiin voisi olla jo mielekkäämpää.

Aiheen äärelle varmasti palataan vielä.

Hetu-paketti suomalaisten henkilötunnusten käsittelyyn

Thu, 29 Oct 2020 00:00:00 +0000

Yleistä

Hetu-paketti on tarkoitettu suomalaisten henkilötunnusten algoritmiseen käsittelyyn. Paketista on erityisesti hyötyä, mikäli halutaan poimia informaatiota suuresta määrästä henkilötunnuksia, kuten tunnuksen haltijoiden iät tai sukupuolet. Henkilötunnusten käsittelyyn tarkoitettujen työkalujen kehitystyö alkoi osana sorvi-pakettia, mutta ne eriytettiin omaksi paketikseen vuonna 2013. Syksyllä 2020 hetu-paketti saatettiin julkaisukelpoiseen kuntoon ja se on saatavissa CRANista.

Hetu-paketin esikuvana on toiminut sweidnumbr-paketti ja pakettien käyttämät funktiot on mahdollisuuksien mukaan nimetty samalla tavalla.¹

Tämä blogikirjoitus sisältää aluksi yleistietoa suomalaisista henkilötunnuksia. Pelkästään paketin toiminnoista kiinnostuneet voivat siirtyä suoraan käytännön esimerkkejä sisältävään osaan tai tutustua hetu-paketin sisältämään vignette-ohjeeseen (komennolla ‘vignette(“hetu”)’).

Suomalainen henkilötunnus

Henkilötunnus on henkilöiden yksilöintiin tarkoitettu tunnus, joka koostuu syntymäajasta (PP/KK/VV), syntymävuosisataa kuvaavasta merkistä (-, + tai A), yksilönumerosta (NNN) sekä tarkistusmerkistä (C). Käytännössä henkilötunnuksen yksilönumeron avulla pystytään pystytään erottamaan toisistaan samana päivänä syntyneet henkilöt sekä tehdä päätelmiä henkilön sukupuolesta. Naisilla numero on parillinen ja miehillä pariton.²

Henkilötunnusta käytetään laajalti julkisella ja yksityisellä sektorilla. Henkilötunnus toimii usein sen yksilöivyyden vuoksi rekisteritietokannoissa ns. avaimena, jonka avulla rekistereiden sisältämät tietotaulut pystytään yhdistämään tiettyyn käyttäjään ja toisaalta eri rekistereistä löytyvää dataa voidaan yhdistellä toisiinsa.

Henkilötunnus ei sinänsä ole salassapidettävää tietoa, mutta sen, kuten muidenkin henkilötietojen, käsittelyyn liittyy rajoituksia: henkilötunnusta saa käsitellä rekisteröidyn yksiselitteisesti antamalla suostumuksella tai mikäli rekisteröidyn yksiselitteinen yksilöiminen on tärkeää.³ Rajoitukset eivät todennäköisesti ole täysin aiheettomia, sillä henkilötunnusten käyttö ei ole täysin ongelmatonta. Tähän palataan blogin loppupuolella.

Henkilötunnusten algoritminen käsittely hetu-paketilla

Henkilötunnusten sisältämän tiedon käsittely onnistuu melko hyvin ilman mitään apuvälineitä. Syntymäajan ja sukupuolen määrittämiseksi ei tarvitse suorittaa minkäänlaisia laskutoimituksia ja henkilötunnuksen muodon oikeellisuuden arviointi, etenkin päivämäärän, pituuden ja yksilönumeron osalta, onnistuu hyvin silmämääräisestikin. Tarkistusmerkin tarkistaminen ja laskeminen vaatii enemmän vaivaa ja todennäköisesti myös laskimen, kynää ja paperia. Tehtävä on kuitenkin suoritettavissa.

Hetu-paketin suurin hyöty liittyy luonnollisesti tilanteisiin, joissa käsiteltäviä henkilötunnuksia on suuri määrä. Paketin sisältämien funktioiden avulla jopa miljoonista henkilötunnuksista voidaan helposti ja nopeasti poimia seuraavat tiedot:

hetu_date / pin_date: syntymäaika
hetu_sex / pin_sex: sukupuoli, Male tai Female
hetu_age / pin_age: ikä vuosina, kuukausina tai päivinä (kysymishetkellä tai haluttuna ajankohtana)
hetu_ctrl / pin_ctrl: henkilötunnuksen validius, TRUE tai FALSE

Henkilötunnuksen oikeellisuus määräytyy sen yksittäisten osien oikeellisuuden perusteella. Jos yksikin henkilötunnuksen osa on vääränlainen (esimerkiksi päivämäärä on muotoa 30/02/01 tai yksilönumero on 000 tai 001), henkilötunnuksessa on jonkinlainen virhe ja sen sisältämien tietojen luotettavuudesta ei voida olla varmoja. Käyttäjä voi halutessaan tulostaa hetu_diagnostic -funktiota käyttämällä diagnostisia tietoja henkilötunnusten yksittäisten osien, kuten päivämäärän, vuosisadan merkin, yksilönumeron, tarkistenumeron, tunnuksen pituuden ym. oikeellisuudesta.

Hetu-paketti mahdollistaa satunnaisesti muodostettujen, tietylle aikavälille osuvien henkilötunnusten generoimisen rhetu-funktiolla. Paketin toiminnallisuuksien testaaminen onnistuu helposti ilman oikeilta ihmisiltä kerättyä aineistoa. Rhetu-funktio mahdollistaa myös ns. keinotekoisten tai väliaikaisten hetujen generoimisen. Keinotekoisia henkilötunnuksia on toisinaan myönnetty organisaatiokohtaisesti henkilöille, joilla ei ole ollut pysyvää suomalaista henkilötunnusta tai joiden henkilöllisyyttä ei ole pystytty varmentamaan. Keinotekoiset henkilötunnukset eroavat varsinaisista henkilötunnuksista siten, että niiden yksilönumero on välillä 900-999. Keinotekoisten henkilötunnusten generoiminen saattaa olla hyödyllistä, mikäli halutaan varmistua että aineistossa ei vahingossakaan ole aitoja henkilötunnuksia.

Henkilötunnuksesta poimittua tietoa voidaan käyttää myös validoimaan ihmisten itse ilmoittamaa tietoa. Rhetu-funktio tuottaa pelkästään valideja henkilötunnuksia, mutta todellisessa aineistossa henkilötunnuksen kirjaamisessa tai tallentamisessa on saattanut tapahtua näppäily- tai lukuvirheitä. Hetu-pakettia voidaankin käyttää validoimaan ihmisistä tallennettujen tietojen laatua tai tehdä vertailua käyttäjien ilmoittamien syntymäaikojen ja henkilötunnuksen syntymäajan välillä.

Suomalaisen henkilötunnuksen tarkistusmerkki on erilaisten lyöntivirheiden kannalta vikaherkkä. Esimerkiksi päivien, kuukausien ja vuosien järjestyksen vaihtuminen tai päivämäärän väärin merkitsemisen tarkistusmerkin pysyessä samana saa sen, että henkilötunnus ei enää mene läpi tarkistuksessa. Esimerkiksi ruotsalaisen henkilötunnuksen tapauksessa päivien ja kuukausien järjestyksen vaihtuminen ei vaikuta tarkistusmerkin laskentaan.⁴

Hetu-paketin käyttö

Paketin asentaminen R-ympäristöön CRANista:

install.packages("hetu")

Paketin lataaminen kirjastoon ja 2 henkilötunnusta sisältävän esimerkkivektorin asettaminen:

library(hetu)
example_pins <- c("010101-0101", "111111-111C")

Perustietojen tarkastelu hetuja sisältävästä vektorista onnistuu yksinkertaisesti hetu-komennolla, joka tulostaa perusmuodossa data frame -tyyppisen taulukon. Taulukko on tässä esimerkissä muotoiltu hieman kauniimmaksi kable-funktiolla:

knitr::kable(hetu(example_pins))

hetu	sex	p.num	checksum	date	day	month	year	century	valid.pin
010101-0101	Female	010	1	1901-01-01	1	1	1901	-	TRUE
111111-111C	Male	111	C	1911-11-11	11	11	1911	-	TRUE

Taulukon sisältämien tietojen, erityisesti sukupuolen ja päivämäärän, tarkastelu onnistuu joko hetu-funktion extract-parametrin avulla tai siihen erikoistuneiden funktioiden avulla:

example_pins <- c("010101-0101", "111111-111C")
# Hetujen omistajien sukupuolen poiminta
hetu(example_pins, extract = "sex")

## [1] "Female" "Male"

hetu_sex(example_pins)

## [1] "Female" "Male"

# Hetujen sisältämän päivämäärän poimiminen
hetu(example_pins, extract = "date")

## [1] "1901-01-01" "1911-11-11"

hetu_date(example_pins)

## [1] "1901-01-01" "1911-11-11"

# Hetujen oikeellisuuden tarkistus
hetu(example_pins, extract = "valid.pin")

## [1] TRUE TRUE

hetu_ctrl(example_pins)

## [1] TRUE TRUE

# Esimerkki tiedosta, jolle ei löydy erikoistunutta funktiota
hetu(example_pins, extract = "p.num")

## [1] "010" "111"

Muista tiedoista poiketen ikää ei saa suoraan poimittua hetu-funktion extract-parametria käyttämällä. Ikä halutussa aikamääreessä ja haluttuna ajankohtana saadaan hetu_age-funktion avulla. Perusasetus on ikä vuosina kysymisajankohtana, mutta myös ikä kuukausina tai päivinä on mahdollinen.

Tässä esimerkissä käytetään myös rhetu-funktiota, jonka avulla voidaan generoida haluttu määrä keinotekoisia henkilötunnuksia esimerkiksi paketin ominaisuuksien testaamiseksi.

example_pins2 <- rhetu(5, start = "1950-01-01", end = "1995-05-07")
# Ikä vuosina
hetu_age(example_pins2)

## The age in years has been calculated at 2021-01-29.

## [1] 43 52 61 49 31

# Ikä kuukasina
hetu_age(example_pins2, timespan = "months")

## The age in months has been calculated at 2021-01-29.

## [1] 526 630 740 598 381

# Minkä ikäisiä hetujen omistajat olivat 2011 puolivälissä?
hetu_age(example_pins2, date = "2011-01-01")

## The age in years has been calculated at 2011-01-01.

## [1] 33 42 51 39 21

# Visualisointi: laatikkojanakuvaaja sukupuolen mukaan ryhmiteltynä
example_pins3 <- rhetu(20, start = "1950-01-01", end = "1995-05-07", p.male = 0.5)
boxplot(hetu_age(example_pins3)~hetu_sex(example_pins3), xlab = "", ylab = "Ikä vuosina", col=c("gold", "darkgreen"))

## The age in years has been calculated at 2021-01-29.

Joissakin tapauksissa voi olla hyödyllistä tarkastella epävalidien hetujen diagnostiikkatietoa. Tiedot saadaan hetu_diagnostic -funktion avulla, jota demonstroimme monella tavalla virheellisen henkilötunnuksen avulla:

hetu_diagnostic("321399-000G")

##           hetu is.temp valid.p.num valid.checksum correct.checksum valid.date
## 21 321399-000G   FALSE       FALSE          FALSE            FALSE      FALSE
##    valid.day valid.month valid.year valid.length valid.century
## 21     FALSE       FALSE       TRUE         TRUE          TRUE

# Tulosta ainoastaan halutut sarakkeet
hetu_diagnostic("321399-000G", extract = c("valid.p.num", "valid.length"))

##           hetu valid.p.num valid.length
## 21 321399-000G       FALSE         TRUE

Yritys- ja yhteisötunnusten (Y-tunnus) käsittely

Hetu-paketissa on myös sweidnumbr-pakettia vastaavalla tavalla mahdollisuus generoida ja validoida suomalaisia yritys- ja yhteisötunnuksia. Suomalainen Y-tunnus koostuu seitsemästä numerosta, väliviivasta ja tarkistusmerkistä ja on muotoa 1234567-8.⁵ Y-tunnus on englanniksi Business Identity Code, mistä johtuen tässä paketissa y-tunnusten käsittelyyn tarkoitettujen funktioiden etuliitteenä käytetään lyhennettä bid:

bid_ctrl(bid): tarkastaa y-tunnuksen oikeellisuuden, TRUE tai FALSE
rbid(n): generoi n kappaletta y-tunnuksia

example_bids <- rbid(2)
example_bids

## [1] "4481699-2" "2368999-8"

bid_ctrl(example_bids)

## [1] TRUE TRUE

Toisin kuin henkilötunnusten tapauksessa, y-tunnuksista ei voida poimia mitään muuta lisäinformaatiota, esimerkiksi yrityksen perustamisajankohtaan tai toimialaan liittyen.

Henkilötunnusten tulevaisuus ja tietoturvallisuus

Henkilötunnusten uudistamisesta on käyty viime vuosina runsaasti julkista keskustelua. Nykymuotoisen henkilötunnuksen ongelmana on pidetty esimerkiksi henkilötunnusten rajallista määrää sekä sitä, että henkilötunnuksesta ilmenee henkilötietoja kuten sukupuoli ja ikä. Toisaalta uudistusta vastaan puhuu julkisen ja yksityisen sektorin toimijoiden tietojärjestelmien päivitysten korkeat kustannukset. Kirjoitushetkellä tuoreimman ehdotuksen mukaan henkilötunnukset olisivat säilymässä tulevaisuudessakin muodoltaan nykyisiä vastaavina sillä erotuksella, että jatkossa vapaana olevat parilliset ja parittomat yksilönumerot jaettaisiin tasaisesti molemmille sukupuolille.⁶ ⁷

Tietosuojaperiaatteen mukaan henkilötietoja tulisi kerätä ja käsitellä ainoastaan siinä laajuudessa, mikä on tarkoituksenmukaista tai välttämätöntä palvelun käyttötarkoituksen kannalta.⁸ Tätä taustaa vasten voidaan pitää ongelmallisena, että henkilötunnusten laajamittainen käyttö aiheuttaa vähintäänkin epäsuorasti tilanteen, jossa palvelun tarjoajalla on usein tarpeettomasti hallussaan tietoa käyttäjien iästä ja sukupuolesta.

Käytännössä suuremmat ongelmat koituvat ihmisille kuitenkin tavasta, jolla henkilötunnuksia käytetään suomalaisessa yhteiskunnassa. Vaikka henkilötunnus ei teoriassa ole salassapidettävää tietoa, rikollisella tai muutoin vilpillisellä tavalla toimiva henkilö voi aiheuttaa monenlaista haittaa, mikäli hän saa haltuunsa toisen ihmisen henkilötunnuksen. Henkilötunnusta on saatettu kysyä puhelimitse asioivalta henkilöltä henkilöllisyyden varmistukseksi, ennen kuin hänelle on kerrottu sensitiivisiä potilastietoja. Joskus henkilötunnus saatetaan asettaa verkkopalvelussa uuden käyttäjän ensimmäiseksi salasanaksi, joka jokaisen pitäisi muistaa vaihtaa ensimmäisen kirjautumiskerran jälkeen. On itsestään selvää, että tällaiset käytännöt eivät ole yksilöiden tietosuojan kannalta hyödyllisiä.

Henkilötunnusten epätarkoituksenmukainen käyttö julkisella ja yksityisellä sektorilla on varmasti osaltaan vaikuttanut kansalaisten keskuudessa syntyneisiin käsityksiin henkilötunnusten luonteesta ja tarkoituksesta. Olisi toivottavaa, että viimeistään syksyn 2020 tietovuodot toimisivat sysäyksenä tietoturvallisempien käytäntöjen käyttöönottoon kaikkialla yhteiskunnassa.

Lähdeviitteet

Lisätietoja sweidnumbr-paketista esim. tästä blogikirjoituksesta: Magnusson, Måns & Bülow, Erik. 2015. R made personal (at least for swedes)!. URL: https://ropengov.org/2015/08/r-made-personal-at-least-for-swedes/↩︎
Digi- ja väestötietovirasto. Henkilötunnus. URL: https://dvv.fi/henkilotunnus ↩︎
Ks. esim. Finlex. HE 59/2013. URL: https://www.finlex.fi/fi/esitykset/he/2013/20130059 ↩︎
Teppo Vuoren nettisivuilta löytyy kattavasti erilaisten tarkistusmerkkien laskentamenetelmien kuvaukset: https://tarkistusmerkit.teppovuori.fi/tarkmerk.htm ↩︎
Yritys- ja yhteisötietojärjestelmä. Y-tunnus. URL: https://www.ytj.fi/index/y-tunnus.html ↩︎
Tuomas Salsteen nettisivuilta löytyy hyvä selvitys henkilötunnuksen historiasta, ongelmakohdista että uudistustyöryhmän kehitysehdotuksista. URL: https://www.tuomas.salste.net/doc/hetu/tunnus.html.↩︎
Yle Uutiset. 2020. Uusi henkilötunnus kaikille Suomen kansalaisille ja Suomessa asuville, ehdottaa työryhmä – jatkossa tunnuksesta ei selviäisi ikä, syntymäaika tai sukupuoli. Julkaistu 8.4.2020, viitattu 23.10.2020. URL: https://yle.fi/uutiset/3-11299218 ↩︎
Tietosuojavaltuutetun toimisto. Käyttötarkoitussidonnaisuus. Viitattu 26.10.2020. https://tietosuoja.fi/kayttotarkoitussidonnaisuus ↩︎

R-paketti geofi Tilastokeskuksen avointen paikkatietoaineistojen käyttöön

Mon, 10 Feb 2020 10:53:45 +0000

Olemme hiljalleen kirjoittaneet ropengov-porukalla seuraajaa gisfin-paketille nimeltä geofi. Paketti mahdollistaa avointen Suomea koskevien paikkatietoaineistojen käytön R:ssä. Painopiste on ollut hallinnollisissa aluerajoissa ja tällä hetkellä ensisijaisena aineistolähteenä on Tilastokeskuksen wfs-rajapinta, josta geofi-paketin funktioilla voi ladata kuntarajat, postinumeroalueet sekä väestöruudukot.

geofi-pakettia ei ole vielä julkaistu CRAN:ssa, etkä voi asentaa sitä intall.packages()-funktiolla. Sen sijaan voit asentaa sen suoraan Github:sta komennolla: remotes::install_github("ropengov/geofi") ja kokeilla seuraavien esimerkkien tai tämän geofi_selain-sovelluksen avulla.

Kuntarajat

library(geofi)
library(ggplot2)

municipalities <- get_municipalities(year = 2020, scale = 4500)
ggplot(municipalities) + 
  geom_sf(aes(fill = as.integer(kunta))) +
  scale_fill_viridis_c()

Postinumeroalueet

zipcodes <- get_zipcodes(year = 2020) 
ggplot(zipcodes) + 
  geom_sf(aes(fill = as.integer(posti_alue)), color = alpha("white", 1/3)) +
  scale_fill_viridis_c()

Väestöruudukko

pop_grid <- get_population_grid(year = 2018, resolution = 5)
ggplot(pop_grid) + 
  geom_sf(aes(fill = objectid), color = alpha("white", 1/3)) +
  scale_fill_viridis_c()

Maakuntajako, sairaanhoitopiirit ja useat muut aluejaot perustuvat kuntajakoon. get_municipalities()-funtion palauttamassa datassa löytyvät nämä attribuuttimuuttujat (vuosi 2020), joiden avulla voit aggregoida kuntatason dataa ylemmille tasoille.

library(dplyr)
municipalities <- get_municipalities(year = 2019, scale = 4500)
regions <- municipalities %>% 
  group_by(maakunta_name_fi) %>% summarise()
ggplot(regions) + 
  geom_sf(aes(fill = maakunta_name_fi)) +
  scale_fill_viridis_d()

Luonnollisesti voit yhdistää geofi:n datoihin muita attribuuttidatoja. Alla olevassa esimerkissä haetaa Tilastokeskuksen kuntien avainluvut ja luodaan kartta kuntien väkiluvuista.

library(tidyr)
library(pxweb)
library(janitor)

municipalities17 <- get_municipalities(year = 2017)

# pull municipality data from Statistics Finland
pxweb_query_list <-
  list("Alue 2019"=c("*"),
       "Tiedot"=c("*"),
       "Vuosi"=c("2017"))
px_data <-
  pxweb_get(url = "http://pxnet2.stat.fi/PXWeb/api/v1/fi/Kuntien_avainluvut/2019/kuntien_avainluvut_2019_aikasarja.px",
            query = pxweb_query_list)
# Convert to data.frame
tk_data <- as.data.frame(px_data, column.name.type = "text", variable.value.type = "text")
tk_data2 <- tk_data %>%
  rename(name = `Alue 2019`) %>%
  mutate(name = as.character(name),
         # Paste Tiedot and Vuosi
         Tiedot = paste(Tiedot, Vuosi)) %>%
  select(-Vuosi) %>%
  spread(Tiedot, `Kuntien avainluvut`) %>%
  as_tibble()
tk_data3 <- janitor::clean_names(tk_data2)

# Join with Statistics Finland attribute data
dat <- left_join(municipalities17, tk_data3)

ggplot(dat) + 
  geom_sf(aes(fill = vakiluku_2017), color = alpha("white", 1/3)) +
  scale_fill_viridis_c(trans = "sqrt")

Katso lisää paketin kehityssivuilta Github:sta ja tule apuun kehittämisessä!

Suuret ja avoimet aineistot politiikan tutkimuksessa

Thu, 29 Sep 2016 00:00:00 +0000

Uusien vaaliaineistojen ja sosiaalisen median hyödyntäminen yhteiskuntatieteiden laskennallisiin menetelmiin perustuvassa tutkimuksessa on vasta aluillaan.

Verkosta on alkanut muodostua lupaava aarreaitta myös politiikan tutkijoille. (CC0)

Perinteisesti politiikan tutkimus on nojautunut pääasiassa laadullisiin menetelmiin, ja ehkä lähinnä vain vaalitutkimus on poikennut valtavirrasta tukeutumalla ensisijaisesti määrälliseen tutkimusotteeseen. Asetelman syy saattaa juontua aineistojen saatavuudesta. Sellainen inhimillinen toiminta jota politiikan monimutkaiset vuorovaikutusverkostot ja ilmiöt edustavat, taipuu vaivoin määrällisesti mitattaviksi suureiksi ja muuttujiksi. Vaalit muodostavat kuitenkin erityisen poikkeuksen tähän säännönmukaisuuteen. Äänestyspäätös ilmaistaan numeerisena arvona, ja se kytkeytyy ehdokkaan ja mahdollisesti edustajan arvoihin ja edelleen äänestyspäätöksiin, syntyviin lakeihin ja vallan rakenteisiin niin kansallisesti, paikallisesti kuin ylikansallisestikin. Toiseen suuntaan äänestyspäätös kytkeytyy kyselytutkimusten kautta myös äänestäjiin ja heidän demografisiin piirteisiinsä sekä arvoihin. Näin vaaleihin kytkeytyvä tutkimuskenttä voi tarkastella monin tavoin yhteiskunnan ja äänestäjien kollektiivisen tason ilmiöitä, kuten vallanjaon muutoksien syitä, äänestämisen ja osallistumisen kiinnostavuutta tai puoluekannatuksen taustatekijöitä.

Teknologian moninaisen hyödyntämisen yleistyminen ihmisten ja organisaatioiden päivittäisessä käytössä viime vuosikymmeninä on käynnistänyt politiikan tutkimuksen kannalta mielenkiintoisten aineistojen saatavuuteen liittyvän muutoksen. Yleisemmin ilmiötä on kutsuttu hieman eri rajauksin ja näkökulmin ajoin tietoyhteiskuntakehitykseksi, informaation vallankumoukseksi tai aikakaudeksi ja nyt viimeisimpänä digitalisaatioksi. Tälle ajalle on ominaista, että ihmisten välinen vuorovaikutus ja viestintä on teknologian välittämää. Niinpä jo suuri ja yhä kasvava osa inhimillisestä toiminnasta on jo syntyjään digitaalista tietoa, dataa, joka on myös mahdollisesti rakenteellista ja määrällisesti tarkasteltavissa.

Tässä artikkelissa tarkastellaan ensin big datan ja avoimen datan käsitteitä ja niiden kautta sitä minkälaisia aineistoja laskennallisia menetelmiä hyödyntävässä politiikan tutkimuksessa Suomessa on viime aikoina käytetty. Samalla nostetaan esille joitakin aineistoja hyödyntäneitä tutkimuksia ja menetelmiä.

Muotisanoja vai määriteltyjä käsitteitä?

Ensin on syytä määritellä mitä datalla tarkoitetaan ja minkälaisissa muodoissa se ilmenee. Data on digitaalisessa muodossa esiintyvää informaatiota. Sitä esiintyy tallennettuna erilaisille massamedioille, kuten kovalevyille, usb-muistitikuille tai cd-levyille. Inhimillisen tulkinnan kautta tämä digitaalinen informaatio voi jalostua tiedoksi, ja vielä syvällisemmin tietämykseksi.¹ Datan määrää mitataan tavuina (engl. byte), ja yksi tavu koostuu kahdeksasta bitistä, jotka ovat arvoltaan aina ykkönen tai nolla. Bittien binäärinen, numeerisesti ilmaistava joko-tai -luonne linkittyy terminlogisesti digitalisaation käsitteeseen, joka viittaa laskemiseen. Suurten datamäärien ilmaisemiseen käytetään tavujen monikertoja, jotka tulevat kahden potensseista taulukon 1 mukaisesti.

Tavu = 8 bittiä
Kilotavu 2^10 = 1024 tavua
Megatavu 2^10 = 1024 kilotavua
Gigatavu 2^10 = 1024 megatavua
Teratavu 2^10 = 1024 gigatavua

Taulukko 1. Datan määrän ilmaiseminen.

Konkreettiset esimerkit auttavat määrien havainnollistamista, ja niitä löytyy runsaasti verkosta. Keskimääräinen englannin kielen sana vaati viisi tavua tallennustilaa, matalaresoluutioinen valokuva vie 100 kilotavua, raamatullinen tekstiä 4 megatavua ja ihmisen genomi 750 megatavua, joka mahtuu yhdelle cd-levylle. Yksi elokuva vie noin 5-7 gigatavua tallennustilaa, joka löytyy sopivasti DVD-levyltä. Huomionarvoista on, että ääni ja kuva, erityisesti liikkuva kuva, vievät moninkertaisesti tallennustilaa tekstiin verrattuna. Kokonaisen akateemisen kirjaston sisältö ottaisi 2 teratavua. Vuonna 2014 Facebook kertoi keräävänsä 600 teratavua käyttäjädataa päivässä.²

Datan määrän räjähdysmäinen kasvu on vaikuttanut “big datan” käsitteen yleistymiseen. Sitä ei yleensä käytetä viittaamaan mihinkään tarkkaan datamäärään, vaan käsite on monin tavoin suhteellinen. Yksi lähestymiskulma on, että kun perinteiset laitteistot, tietojärjestelmät, tietokannat ja ohjelmistot eivät kykene käsittelemään aineistoja, ainakaan inhimillisesti siedettävillä käsittelyajoilla, aletaan puhua big datasta. Tämä lähestymiskulma on luonnollisesti sidoksissa teknologiseen kehitykseen, tarkemmin laskentatehoon ja ohjelmistojen käsittelykykyyn, jotka käytännössä paranevat ajan myötä. Suuntaa-antavasti voidaan kuitenkin ilmaista, että esimerkiksi vuonna 2016 harvoin alle teratavun ainestoista puhutaan big datana.³

Toinen lähestymiskulma tarkastelee datan ominaisuuksia, niin kutsuttua kolmea v:tä: tilaa (volume), nopeutta (velocity) ja moninaisuutta (variety). Perinteisen tilan lisäksi päivitystahti, esimerkiksi videon suoralähetyksessä, striimauksessa kasvattaa nopeasti resurssien tarvetta. Moninaisuus taas esiinty esimerkiksi sosiaalisen median päivityksissä, jossa saattavat yhdistyä teksti, kuva, ääni ja videot, jolloin yksi perinteinen tietokanta ei taivu eri sisältömuotojen käsitelyyn -varsinkaan, kun viestejä lähetetään miljoonia tunnissa. Jotkut määrittelevätkin big datan sellaiseksi dataksi, jonka käsittely vaatii hajautettuja järjestelmiä. Hieman kriittisemmästä näkökulmasta big dataa pidetään yli-yksinkertaistavana markkinointiterminä, joka ei tarkoita välttämättä mitään eksaktia informaatioteknologian kanssa varsinaisesti työskenteleville.⁴

Tutkimuksen kannalta määrän ohella toinen olennainen datan ominaisuus on sen saatavuus, johon liittyy avoimen datan käsite. Avoimen datan käsitteen määritelmät vaihtelevat hieman eri lähteissä, mutta yhteistä on yleensä, että data on teknisesti ja luvallisesti kenen tahansa vapaasti käytettävissä, joka sisältää oikeuden edelleen jakaa ja julkaista muunneltuja jatkotuotoksia. Vapaa käyttö tarkoittaa pääsääntöisesti maksuttomuutta. Joissakin tapauksissa määreet “kenen tahansa” tai “mihin tahansa käyttötarkoitukseen” vaihtelevat ja jotkut saattavat viitatata avoimina myös sellaiseen dataan, jonka käyttöehdot kieltävät kaupallisen käytön tai rajaavat käyttötarkoituksia tai käyttäjäkuntaa muutoin tai vaativat esimerkiksi rekisteröitymistä tai muuta sopimuksenvaraisuutta. Tosin esimerkiksi Rufus Pollock kutsuu tällaista avoimuuspesuksi. Useimmat avoimen data käsitteenmääritelmät sisältävätkin vaatimuksen, jonka mukaan julkaisija ei julkaisun jälkeen aseta mitään rajoituksia jatkokäytölle -muuta kuin korkeintaan vaatimuksen julkaista jatkotyöt samalla avoimuuden säilyttävällä lisenssiehdolla.⁵

Uudet aineistot

Politiikan tutkimuksen kannalta relevanttien uusien aineistojen erittely tuo niin ikään uuden ongelman ratkaistavaksi aineistojen ryhmittely- tai luokitteluperusteen suhteen. Aineistoja voisi luokitella esimerkiksi ainakin sisällöntuottajien, aineiston omistajan tai sisältötyypin mukaan, eivätkä nämäkään tavat asettuisi välttämättä tai jopa todennäköisesti siisteihin luokkiin. Eri ominaisuuksien perusteella toisistaan erottuvia aineistotyyppejä ovat ainakin:

sosiaalinen media
yhteisöllinen tiedontuotanto
vaali-aineistot
järjestelmäpolitiikan päätöksenteko-aineistot
talousdata

Todennäköisesti suurin ja käytetyin politiikan tutkimuksen uusi aineistolähde tulee sosiaalisen median keskusteluista. Kansainvälisesti suosituin lähde lienee Twitter. Suomessa Aller oy herätti huomiota julkaisemalla Suomi24-sivuston keskustelut epäkaupalliseen tutkimus- ja opetuskäyttöön.⁶ Maailman ylivoimaisesti käytön määrällä mitattu yksittäinen sosiaalisen median palvelu Facebook sen sijaan ei ole kokonsa veroinen aineistolähde. Vaikka osa käyttäjien päivityksistä on julkisia, ne eivät esimerkiksi nyt ole ohjelmallisesti saatavilla palvelun rajapinnasta⁷. Twitterin viestit sen sijaan ovat, ja ovat pääsääntöisesti aina olleet. Edellä mainittujen aineistojen lisäksi sosiaalista mediaa edustavat ainakin esimerkiksi YouTube ja blogit yleensä, mutta tämän artikkelin taustaselvityksessä ei tullut vastaan tutkimuksia, joissa niitä olisi käytetty tutkimusaineistona. Seuraavaksi tarkastellaan hieman lähemmin Twitteriä, Suomi24:ää ja vaaliaineistoja.

Twitter

Tämän artikkelin lähteenä olevissa tutkimuksissa ja kirjoituksissa ei esitelty miltä Twitteristä saatava data näyttää, joten sen havainnollistamiseksi turvaudutaan Wei Xu:n Twitter-tutoriaaliin⁸ Ensin esitellään kuvakaappaus yksittäisestä twiitistä twitterin selainkäyttöliittymässä:

Kuva 1. Yksittäinen twiitti selainkäyttöliittymässä.

Twiitin voi ladata ohjelmallisesti yhdestä Twitterin rajapinnoista (API) JSON-datana. Tuolloin se näyttää tekstieditorissa taulukon 2 mukaiselta.

{
"favorited": false,
"contributors": null,
"truncated": false,
"text": "#CFP Workshop on Noisy User-generated Text at ACL - Beijing 31 July 2015. Papers due: 11 May 2015. http://t.co/rcygyEowqH #NLProc #WNUT15",
"possibly_sensitive": false,
"in_reply_to_status_id": null,
"user": {
"follow_request_sent": null,
"profile_use_background_image": true,
"default_profile_image": false,
"id": 237918251,
"verified": false,
"profile_image_url_https": "https://pbs.twimg.com/profile_images/527088456967544832/DnclpoZO_normal.jpeg",
"profile_sidebar_fill_color": "DDEEF6",
"profile_text_color": "333333",
"followers_count": 226,
"profile_sidebar_border_color": "C0DEED",
"id_str": "237918251",
"profile_background_color": "C0DEED",
"listed_count": 13,
"profile_background_image_url_https": "https://abs.twimg.com/images/themes/theme1/bg.png",
"utc_offset": null,
"statuses_count": 120,
"description": "I am a postdoctoral researcher @PennCIS, studying Natural Language Processing and Social Media.",
"friends_count": 166,
"location": "Philadelphia PA",
"profile_link_color": "0084B4",
"profile_image_url": "http://pbs.twimg.com/profile_images/527088456967544832/DnclpoZO_normal.jpeg",
"following": null,
"geo_enabled": true,
"profile_background_image_url": "http://abs.twimg.com/images/themes/theme1/bg.png",
"name": "Wei Xu",
"lang": "en",
"profile_background_tile": false,
"favourites_count": 88,
"screen_name": "cocoweixu",
"notifications": null,
"url": "http://www.cis.upenn.edu/~xwe/",
"created_at": "Thu Jan 13 23:15:12 +0000 2011",
"contributors_enabled": false,
"time_zone": null,
"protected": false,
"default_profile": true,
"is_translator": false
},
"filter_level": "low",
"geo": null,
"id": 616333141884674048,
"favorite_count": 0,
"lang": "en",
"entities": {
"user_mentions": [],
"symbols": [],
"trends": [],
"hashtags": [{
"indices": [0, 4],
"text": "CFP"
}, {
"indices": [124, 131],
"text": "NLProc"
}, {
"indices": [132, 139],
"text": "WNUT15"
}],
"urls": [{
"url": "http://t.co/rcygyEowqH",
"indices": [99, 121],
"expanded_url": "http://noisy-text.github.io",
"display_url": "noisy-text.github.io"
}]
},
"in_reply_to_user_id_str": null,
"retweeted": false,
"coordinates": null,
"timestamp_ms": "1435780246598",
"source": "<a href=\"http://twitter.com\" rel=\"nofollow\">Twitter Web Client</a>",
"in_reply_to_status_id_str": null,
"in_reply_to_screen_name": null,
"id_str": "616333141884674048",
"place": null,
"retweet_count": 0,
"created_at": "Wed Jul 01 19:50:46 +0000 2015",
"in_reply_to_user_id": null
}

Taulukko 2. Twiitti JSON-muodossa.

140 merkin twiitti muuttuukin tässä esimerkissä 2731 merkiksi, kun kaikki tietueet ja kentät lasketaan yhteen. Eri kentät kuvaavat twiitin eri ominaisuuksia ja metatietoja. JSON-muotoisen datan- rakenne muodostuu yksinkertaisesti kahdesta osasta, joka on mallia “nimi” : “arvo”. Useampia yhteenkuuluvia nimiä ja arvoja voidaan niputtaa kaari- ja hakasulkeiden sisään. Esimerkiksi kenttä “text” sisältää twiitin varsinaisen tekstin. Juuri datan rakenteellinen muoto luo edellytykset tehokkaalle ja ohjelmoijille helpolle käsittelylle. Sen lisäksi verkosta löytyy runsaasti maksuttomia ja kaupallisia oppaita.⁹

Twitterin käyttöä vaalikampanjoinnissa on tutkittu laskennallisin menetelmin vuonna 2012 Datavaalit-hankkeessa¹⁰. Sen taustalla on eräänlaista hakkerietiikkaa edustava avoin tutkija- ja koodaajayhteisö, jossa myös Louhos-blogin kirjoittajat ovat olleet mukana. Leo Lahden ym. mukaan kunnallisvaaleissa 2012 vihreät ja kokoomus olivat Twitterin aktiivisimmat puolueet. Miehet twiittasivat yli kaksi kertaa niin usein kuin naiset. Aktiivisimmat ehdokkaat twiittasivat jopa 2000-5000 kertaa.¹¹

Samankaltaisesti nimetyssä, mutta eri tutkijoiden Digivaalit 2015 -hankkeessa Twitteriä hyödynnettiin keskeisenä aineistolähteenä eduskuntavaalien tarkastelussa. Hankkeen tutkijat Matti Nelimarkan johdolla latasivat Twitterin rajapinnasta ainakin yli 200 000 viestiä¹². Aineisto on kerätty pääosin eduskuntavaaleja edeltävältä ajalta, mutta osa tutkimuksista kohdistuu myös vaalien jälkeiseen aikaan. Twiitit ovat tallennettu tekstitietokannaksi.¹³ Salla-Maria Laaksosen mukaan vaaleja ei voi sanoa vielä twitter-vaaleiksi, sillä vain 938 kaikkiaan 2146 ehdokkaasta oli ylipäätään mukana twitterissä. Sen sijaan nimitys hashtag-vaalit saattaisi kuvata vaalien luonnetta paremmin¹⁴.

Hankkeessa on tehty useita eri tutkimuksia ja julkaisuja, joilla on vielä tarkemmat omat aineistorajauksensa, eikä kaikissa tapauksissa ole käytetty koko aineistoa. Mari Marttila on tutkinut osuvasti ja leikkisästi nimetyssä pro gradussaan otsikolla #vainkansanedustajajutut kansanedustajien twitter-tilien, twiittien ja keskustelun määrää¹⁵. Arto Kekkonen tarkasteli #koulutuslupaus-kampanjan tavoitteita ja twitter-keskustelua 14 235 aiheen mukaisesti tägätyn twiitin avulla¹⁶. Mari Tuokko tutki 433 keskusteluketjun (erittelemättä sekä Twitter- että Facebook -ketjuja) avulla ehdokkaiden ja kansalaisten välistä vuorovaikutusta sosiaalisessa mediassa. Tutkimuksen analyysi kohdistui yksittäisten viestien tasolle sekä laadullisella että määrällisellä otteella. Tarkastelulla pyrittiin selvittämään sekä vuorovaikutuksen funktioita että topiikkeja.¹⁷ Toisessa tutkimuksessa Tuokko ja tutkimusryhmä tarkastelivat #olohuonetentti -kampanjaa, joka osoitti, että joissakin tapauksissa twitter-keskustelu rikkoo perinteiset puoluerajat.¹⁸

Yksi Digivaalit-hankkeen merkittävimmistä tutkimuskohteista lienee verkon vaikuttajaindeksin laskemismenetelmän kehittäminen. Sen selvittämiseksi 167 395 Twitter- ja Facebook-viestiä vertailtiin 5427 politiikkaa koskevaan uutiseen 19 eri median sivuilta ja 80 456 kansalaisten #vaalit2015, #vaalit ja #politiikka -tunnisteilla julkaisemaan sosiaalisen median viestiin. Tutkimuksen tuloksena aineistosta erottautui joukko niin kutsuttuja supervaikuttajia, jotka saavat äänensä kuuluviin sosiaalisen median ansiosta myös perinteisen median puolelle.¹⁹

Tweetit ovat hyvä esimerkki avoimesta datasta politiikan tutkimuksessa. Pääosa tweeteistä ovat sekä julkisia ja helposti ihmisluettavassa muodossa että avoimien rajapintojen kautta myös koneluettavassa muodossa ja siten hyvää raaka-ainetta laskennallisille tutkimusmenetelmille. Muutamat kymmenet tuhannet akiiviset suomalaiset twiittajaat muodostavat verrattain pienen käyttäjäjoukon, varsinkin twitter-keskusteluaineistojen big dataksi luokittelemisen kannalta. Sen sijaan kansainväliset, yleensä englanninkieliset otokset voivat helposti kasvaa suuriksi ja jatkuvan päivittymisen ansiosta muodostaa loputtoman aineistolähteen. Se herättääkin pohtimaan kysymystä siitä, täytyisikö tutkijoiden jättää tutkimusohjelmakoodinsa pyörimään palvelimelle itsekseen, jotta tutkimustulokset voivat päivittyä automaattisesti aineiston lisääntyessä?

Suomi24

Krista Lagus, Mika Pantzar, Minna Ruckenstein ja Marjoriikka Ylisiurua ovat kuvailleet Suomi24-keskusteluaineistoa julkaisemassaan “Suomi24 - Muodonantoa aineistolle” -raportissa. Erillinen tutkimusjulkaisu pelkästä aineistosta itsestään kuvaa hyvin big data -aineistojen laajuutta ja sisällöllistä moninaisuutta, jonka hahmottaminen vaatii alkuun oman aikansa ennen varsinaiseen tutkimukseen ryhtymistä. Aineisto koostuu Suomi24-verkkokeskustelufoorumille käyttäjien kirjoittamista viesteistä. Keskustelu on organisoitu useisiin erilaisiin alueisiin, kuten Suhteet, Ajoneuvot ja liikenne tai Yhteiskunta, joka on suurin yksittäinen keskustelualue. Alueet jakaantuvat vielä alatasoille jopa kuudennelle tasolle, ja aina alimmalla tasolla sijaitsevat keskusteluketjut. Yksittäinen viesti voi aloittaa uuden ketjun tai kommentoida vanhaa olemassaolevaa ketjua.²⁰

Lagus ym. kirjoittavat, että “Suomi24-aineisto on avattu tutkimuskäyttöön avoimen datan hengessä”²¹. Ilmaisu pitää sinällään paikkansa, että aineisto ei ole kovin monen määritelmän mukaan kaikille avointa dataa, vaan se on sopimuksenvaraisesti määrättyihin käyttötarkoituksiin julkaistua dataa. Tutkijoiden näkökulmasta aineiston käytössä ei ole kuitenkaan saatavuuteen liittyviä ongelmia, joten se näyttäytyy tieteen kannalta avoimena aineistona.

Data on saatavilla tutkimuskäyttöön joko Allerilta suoraan päivittyvästä rajapinnasta sopimuksella tai Kielipankista korkeakoulujen tutkijoiden käyttäjätunnuksilla kerralla yhtenä pakettina. Se on tarjolla sekä JSON-muodossa että kielitieteellisesti rikastetussa VRT-muodossa. Ensin mainitussa kommentit näyttävät taulukon 3 mukaiselta:

{
”body”: ”<p>Mukavasti on pukannut uusia S6 ja A8 Audeja liikenteeseen t\u00e4\u00e4ll\u00e4 Turun seudulla!!!</p>”,
“closed_reason”: “inactivity_time_reached”,
“views”: 308,
“deleted”: false,
“topics”: [{“title”: “Ajoneuvot ja liikenne”, “topic_id”: 2},
{“title”: “Autot”, “topic_id”: 6254},
{“title”: “Automerkit”, “topic_id”: 1109},
{“title”: “Audi”, “topic_id”: 3256}],
“title”: “Audia pukkaa....”,
“comments”: [{“body”: “<p>pukkas 70:t\u00e4 luvulla Ladaa liikkuu jyv\u00e4skyl\u00e4ss\u00e4!</p>”,
“quote_id”: 0, “deleted”: false, “created_at”: 1207988326000, “comment_id”: 29898190,
“anonnick”: “krigg”, “thread_id”: 5604224, “parent_comment_id”: 0}],
“anonnick”: “SS66AA88”,
“thread_id”: 5604224,
“closed”: true,
”created_at”: 1207910044000
}

Taulukko 3. Suomi24-keskusteluketju JSON-muodossa.

Esimerkissä on ensin nimimerkin “krigg” kirjoittama ketjun aloitusviesti otsikolla “Mukavasti on pukannut uusia S6 ja A8 Audeja liikenteeseen täällä Turun seudulla!!!” ja siihen nimimerkin “SS66AA88” vastaus “pukkas 70:ta luvulla Ladaa liikkuu jyväskylässä!”.

Suomi24 -aineisto on kertynyt vuodesta 2001 alkaen ja sitä kerääntyy toistaiseksi koko ajan. Palveluun on kirjoitettu sen olemassaolon aikana viestien juoksevan id-tunnistenumeron perusteella yli 80 miljoonaa viestiä. Tosin näistä suuri osa on poistettu tai virheellisiä kirjauksia, sillä ladattu aineisto käsittää noin 60 miljoonaa viestiä. Yksittäiset viestit voivat olla lyhyitä tai hyvinkin pitkiä, satoja sanoja, mutta keskimäärin viestit ovat lauseen, eli 5 - 10 sanan pituisia. Ketjujen elinikä vaihtelee myös suuresti, ja osa aloitetuista ketjuista ei saa lainkaan vastauksia, kun taas toisiin palataan vielä vuosien päästä.

Aineistoa on jo hyödynnetty joissakin tutkimuksissa. Veikko Eranti ja Tuukka Ylä-Anttila etsivät esipoliittisia keskusteluaiheita ihmisten arkipäiväisistä verkkokeskusteluista laskennalllisen aiheenmallinnus (topic modelling) -menetelmän avulla. He tunnistivat 21 aihetta, joiden muodostama aineisto voi toimia raaka-aineena esimerkiksi tarkemmalle laadulliselle analyysille.²² Kesällä 2015 Helsingissä järjestettiin Suomi24-aineistoon keskittyvä hackathon, jossa eri ryhmät sovelsivat erilaisia laskennallisia menetelmiä kokeellisesti ja pienimuotoisesti aineiston tutkimiseksi. Osallistujat tutkivat esimerkiksi keskustelujen ennustuskykyä talouden suhdanteisiin, kateutta ilmaisevien keskustelujen ajallisia vaihteluita ja keskusteluaiheita, jotka johtavat lyhyisiin tai pitkiin keskusteluketjuihin.²³

Vaali-aineistot

Vaalit ovat kvantitatiivisen politiikan tutkimuksen perinteisesti suurin ja vaikuttavin aineistolähde. Vaalituloksen ja kyselytutkimusaineistojen rinnalle viime vuosina on noussut kuitenkin uusia mielenkiintoisia aineistolähteitä. Valtiontalouden tarkastusviraston vuodesta 2009 alkaen keräämät vaali- ja puoluerahoitusilmoitukset ovat muodostuneet varteenotettavaksi tutkimusaineistoksi vaalirahakohun seurauksena. Ilmoitukset ovat luettavissa verkkopalvelussa ja lisäksi virasto raportoi tarkastuksensa vaaleittain.²⁴

Virallisten julkaisujen lisäksi Datavaalit-yhteisö on uudelleenjulkaissut siistittynä ja alkuperäislähteitä helpommin jatkokäytettävässä muodossa muiden muassa oikeusministeriön vaalituloksia, ehdokkaiden Facebook- ja Twitter-päivityksiä sekä vaalirahoitusilmoituksia.²⁵

Yksi merkittävimmistä uusista aineistolähdetyypeistä ovat vaalikone-aineistot. Erityisesti Helsingin Sanomat ja Yle ovat julkaisseet sekä ehdokkaiden että joissakin tapauksissa myös vaalikoneiden käyttäjien vastauksia avoimena datana.²⁶ Vanhin julkaistu aineisto on Helsingin sanomien eduskuntavaalien 2011 alla julkaisema eduskuntavaalien 2007 aineisto.²⁷ Tämän jälkeen sekä Yle että HS ovat julkaisseet kaikkien eduskuntavaalien ja presidentinvaalien ehdokkaiden aineistot. Myös MTV on avannut presidentinvaalien 2006 aineistot.²⁸ Yksittäistapauksissa mediatalot ovat julkaisseet myös euro- ja kunnallisvaalien aineistoja.

Helsingin Sanomien ja Ylen vaalikoneaineistot ovat pääsääntöisesti tarjolla verkkosivuilla julkaistun linkin kautta suoraan palvelimelta ladattavina tiedostoina. Aineistojen lisenssit ovat tyypillisesti vapaasti tai ei-kaupallisesti käytettäviä, kunhan lähdeviite mainitaan muutettuja töitä julkaistaessa. Joissakin tapauksissa aineistot ovat tarjolla päivittyvässä muodossa rajapinnan kautta, jonka käyttäminen edellyttää rajapinta-avaimen pyytämistä toimitukselta. Suorien pakettien tapauksessa aineistot ovat todella avoin dataa. Myös Yhteiskuntatieteellinen tietoarkisto on kerännyt samoja aineistoja ja jakaa niitä omassa Aila-palvelussaan, mutta erikoisesti huomattavasti rajoitetuilla käyttöehdoilla, joissa jopa tarkkaan määritellään minkä tasoiseen tutkimukseen aineistoja saa käyttää.²⁹

Ehdokkaiden ja käyttäjien vastauksia

Vuoden 2015 eduskuntavaalien Ylen aineisto sisältää 2147 ja HS:n 1764 riviä, joissa kummassakin yhden ehdokkaan vastaukset ovat yhdellä rivillä. Ylen data on csv-muodossa yksinkertaisesti tekstinä pilkulla erotettuina arvoina ja HS:n data excel-taulukkona. Käytännössä muodot ovat yhtä lailla käytettävissä ja helposti konvertoitavissa suuntaan tai toiseen missä tahansa taulukkolaskentaohjelmassa tai ohjelmointiin tarkoitetussa tekstieditorissa. Vastaukset löytyvät sarakkeilta ja Ylellä kysymyksiä on yli sata sekä jokaisella kysymyksellä on omana tietueenaan avovastauksen mahdollisuus. Helsingin Sanomilla kysymyksiä on vain 30. Lisäksi kummallakin on kustakin ehdokkaasta yleistietoja liittyen sukupuoleen, ikään, ammattiin, alueeseen sekä verkkonäkyvyyteen eli kotisivuihin ja sosiaaliseen mediaan. Datan tallennustavassa on sellainen ero, että Ylen datassa vastaukset ovat tekstinä sarakkeissa kun taas HS:n datassa ne ovat numeerisina arvoina. Ylen tapa lienee helppolukuisempi ihmissilmälle, mutta HS:n tapa suoraviivaisempi ohjelmalliseen käsittelyyn ja vie myös huomattavasti vähemmän tilaa.³⁰

Ehdokkaiden vastausten lisäksi joissain vaaleissa vaalikoneiden tarjoajat ovat julkaisseet myös palveluiden käyttäjien vastauksia. Tällöin datan määrä ja samalla potentiaalinen tutkimuksellinen hyöty kasvaa huomattavasti. Helsingin Sanomien varhaisia vaalikoneaineistojulkaisuja olivat vuosien 2007 eduskuntavaalien ja 2009 europarlamenttivaalien vaalikoneiden käyttäjien vastausten aineistot.³¹ Seuraavassa on (luettavuuden helpottamiseksi rivitettynä) otsikkorivit ja yksi rivi dataa vuoden 2007 aineiston alusta:

"Inner_id";
"User_id";
"Age_group";
"Sex";
"Area_id";
"Election_year";
"winnerCandidate";
"winnerParty";
"Answers";
"CandidatesList";
"PartiesList";
"Created";
"Modified"

"4569";
"11718105386517402";
"0";
"n";
"1020";
"2007";
"3240";
"Kokoomus";
"20:1:134:1:2:;21:2:0:0:2:;22:3:0:0:2:;23:4:0:0:2:;24:5:0:0:2:;25:6:0:0:2:;26:7:0:0:2:;27:8:0:0:2:;28:9:0:0:2:;29:10:0:0:2:;30:11:0:0:2:;31:12:0:0:2:;32:13:0:0:2:;33:14:0:0:2:;34:15:0:0:2:;35:16:0:0:2:;36:17:0:0:2:;37:18:0:0:2:;38:19:0:0:2:;39:20:0:0:2:;40:21:0:0:2:;41:22:0:0:2:;42:23:0:0:2:;43:24:0:0:2:;44:25:0:0:2:;45:26:0:0:2:;46:27:229:3:2:;";
"3240:663:Pynnönen:Jarmo:Kok:83;4316:623:Luoma-Nirva:Jarno:Lib:57;2513:540:Hyttinen:Ilkka:Ipu:120;3233:398:Hyytiäinen:Sari:Kok:76;3232:392:Heinonen:Timo:Kok:75;2898:382:Sutinen:Reijo:Skp:53;3462:380:Nissilä:Minna:Kesk:67;3242:377:Vahter:Merja:Kok:85;3243:373:Viljanen:Ilkka:Kok:86;3463:367:Penttilä:Mika:Kesk:68;999999999:0:0:0:0:0;4162:-600:Savolainen:Leena:Vas:13;2628:-601:Raappana:Paavo:Vihr:116;4164:-629:Toivonen:Sari:Vas:15;";
"Ipu:129:19:3;Kai Aaltonen:-287:32:1;Kd:-37:14:8;Kesk:-65:10:13;Kok:269:12:14;Lib:623:20:1;Ps:-38:17:10;Sdp:-381:11:13;Skp:-352:26:7;Sks:-397:25:1;Stp:-571:18:1;Vas:-450:16:14;Vihr:-316:15:12;";
"2007-02-18 16:55:38";
"2007-02-18 16:55:38"

Taulukko 4. Helsingin Sanomien vuoden 2007 eduskuntavaalien vaalikoneen yhden käyttäjän vastaukset csv-muodossa.

Data kertoo siis esimerkiksi vastaajan ikäryhmän, sukupuolen, vaalipiirin, vastaajalle sopivimmat ehdokkaat ja puolueet sekä vastaukset vaalikoneeseen. Vuoden 2007 aineisto sisältää 384694 riviä ja vuoden 2009 aineisto 228 476 riviä. Aineistojen tietorakenteet ovat samanlaiset.

Ylen vuoden 2012 presidentinvaalien vaalikoneaineiston julkaisu sisältää käyttäjien vastaukset, joita on 244 976 riviä. Kysymykset löytyvät sarakkeilta, joita on 20. Vastaukset ovat numeerisina arvoina ja niiden selitteet löytyvät datan julkaisun verkkosivuilta. Ehdokasaineistoista poiketen käyttäjistä ei ole mitään kuvailevaa tai identifoivaa dataa.³²

Helsingin Sanomat julkaisi vuoden 2012 presidentinvaalien aineistosta sekä ehdokkaiden että käyttäjien vastaukset, mutta hieman tavallista rajoitetummalla, uudelleenjulkaisun kieltävällä lisenssillä ja vain rajapinnan kautta.³³ Aineistoa ei ladattu ja tutkittu suoraan tätä artikkelia varten, mutta Louhos-tutkijaryhmä on julkaissut kuvaajia aineistosta, jotka erittelevät kuinka vastaajat jakautuvat eri demografisten piirteiden mukaan. Aineisto sisältää yli 200 000 käyttäjän vastaukset.³⁴ Aineiston luotettavuuteen liittyy joitakin reunaehtoja, mutta se tarjoaa kokonsa vuoksi huomattavasti ilmaisuvoimaa tilastolliseen tarkasteluun.³⁵

Vuoden 2012 Kuntakoneesta HS julkaisi myös n. 11 000 käyttäjän vastaukset. Aineisto sisältää yksinkertaisuudessaa vastaajan kotikunnan ja toisessa sarakkeessa ne kunnat, joiden haluaisi muodostavan kuntaliitoksen.³⁶ Erityisesti juuri vaalikoneiden käyttäjien vastaukset sisältävät aineistot ovat mahdollistaneet vaaleissa valittujen ehdokkaiden, kaikkien ehdokkaiden ja kansalaisten arvojen vertailut.

Vain ehdokkaiden vastaukset sisältävät vaalikoneaineistot ovat tyypillisesti muutamien tai joidenkin kymmenien megatavujen kokoisia, jolloin niistä puhuminen big datana ei välttämättä ole oikein oikeutettua. Sen sijaan käyttäjien vastaukset sisältävät aineistot ovat useita satoja megatavuja, ja hieman ohjelmasta ja koneesta riippuen aineistojen käsittely saattaa olla enemmän tai vähemmän sujuvaa. Esimerkiksi Helsingin Sanomien vuoden 2007 pakkaamaton 500-megatavuinen aineisto osoittautui ylivoimaiseksi Open Officelle ja suhteellisen tehokkaalle tietokoneelleni, jossa on i5-prosessori ja 8 Gt työmuistia. Näin ollen ainakin yhden näkökulman mukaan big datan mainitseminen tällaisten aineistojen yhteydessä voi olla perusteltua.

Tutkimuksellista “pikaruokaa” vaalikonedatasta

Vaalikoneainestoja on hyödynnetty hyvin monipuolisesti. Tavat vaihtelevat yksinkertaisista kehittyneisiin tilastollisiin menetelmiin, visualisointeihin kuten ehdokkaiden ja puolueiden arvokarttoihin ja sisällöllisiin tutkimuksiin, jossa hallitusohjelmaa vertaillaan vastauksiin tai se uudelleenkirjoitetaan niiden perusteella. Seuraavat esimerkit eivät edusta perinteistä tieteenteon “hidasta” tapaa vaan päinvastoin, informaatioajalle ominaista ketterää lähestymistapaa.

Yksinkertaisia vastausten jakaumia edustavia tutkimuksia edustavat esimerkiksi Jouni Tuomiston ym. Kansanedustajien arvot -artikkeli, joka selvitti eniten samanmielisyyttä ja toisaalta erimielisyyttä herättäneitä kysymyksiä.³⁷ Ehkä kaikkein suosituin tapa vaalikonevastausten hyödyntämiseen ovat olleet erilaiset visualisoinnit, jotka sijoittavat kansanedustajat arvokartalle eri ristiriitaulottuuvuksien suhteen, kuten kuvassa 2. Ne ovat havainnollistavia, toimivat yksilö- ja puoluetasolla sekä parhaimmillaan visuaalisesti näyttäviä että käytettävyydeltään hyviä, joskus jopa addiktiivisia.³⁸

Kuva 2. Martti Leppäsen visualisoima kansanedustajien ja puolueiden arvokartta. Ulla-Maj Wideroosin arvot sijoittuvat aivan keskelle sekä vasemmisto-oikeisto että konservatiivi-arvoliberaali -ulottuvuuksa. Kuvakaappaus Helsingin Sanomien sivuilta.

Niiden taustalla olevat valinnat eri ristiriitaulottuvuuksien valinnasta, tilastollisista menetelmistä ja tulkinnoista ovat herättäneet paljon keskustelua, kritiikkiä ja vaihtoehtoisia tulkintoja.³⁹ Tarkastelemalla ilmiötä hieman etäämmältä voidaan huomata, että vaalikoneaineistot ovat innoittaneet vilkasta avointa tutkimusta, kun aineistot ovat lähtökohtaisesti avoimia ja osallistujat julkaisevat tutkimuksensa, kritiikkinsä ja menetelmänsä avoimesti.

Politiikan sisältöjä tarkastelevia tutkimuksia edustavat esimerkiksi Jouni Tuomiston edellä mainitun artikkelin jatkoksi tehdyt analyysit poikkipuolue- ja jokapuoluehallituksista. Ensin mainittu hallituskokoonpano muodostuu puolueiden poikki niistä kansanedustajista, jotka kuuluvat vastausvaihtoehtojen enemistön kannalle. Kukin edustaja saa samanmielisyyspisteet enemmistömielisyydestään. Hallitusohjelma muodostuu niistä vaalikonekysymyksistä, jotka ehdottavat jotakin muutosta nykyiseen ja ehdotusta on kannattanut selkeä enemmistö.⁴⁰

Jokapuoluehallitus perustuu muuten samaan ajatukseen kuin poikkipuoluehallitus, mutta sen muodostamisessa huomioidaan puoluekurin vaikutus. Puolueen enemmistön kanta saa tällöin puolueen kaikkien edustajien äänen taakseen. Tällöin jotkin puolueita sisäisesti tasaisesti jakavista kysymyksistä voivat ratketa eduskunnan tasolla huomattavasti selkeämmin luvuin, ja niin hallitusohjelmastakin tulee erilainen.

Data ja demokratia

Tämän artikkelin taustoittamiseksi tutustuin hyvään pintaraapaisuun monipuolisia tutkimuksia ja aineistoja, jotka paljastavat ainakin sen, että politiikan tutkijoilta ei puutu aineistoja, eikä luovuutta ja uutta ajattelua menetelmävalintojen suhteen. Sen sijaan kehittymisen varaa lienee varmasti enemmän menetelmien tieteellisessä pätevyydessä ja teknisessä sovellettavuudessa. Ohjelmointitaitoiset voivat hyödyntää nopeasti valmiita koodikirjastoja enemmän tai vähemmän soveltuviin aineistoihin tai kehittää omia ratkaisujaan, mutta tulkintojen validiteetin arvioiminen jää joko dokumentaation, ei-ohjelmointitaitoisille suunnattujen vastaavien työkalujen saatavuuden tai toisten ohjelmointitaitoisten samojen aiheiden tutkijoiden aktiivisuuden varaan. Kun vielä ajan henki suosii nopeaa ja näyttävää tutkimustulosten viestintää, tieteellinen laatu voi joutua sivulliseksi uhriksi. Hyvä esimerkki ei-ohjelmistotaitoisille suunnatusta data-aineistojen tutkimustyökalusta on kuitenkin Kielipankin Korp-käyttöliittymä, jolla voi analysoida suuria tekstiaineistoja.⁴¹ Tämänkaltaisia työkaluja toivoisi näkevän tulevaisuudessa myös politiikan tutkimuksen alueella. Se ei poista tutkijoiden tarvetta menetelmien ymmärtämiseen, mutta voi luoda siltaa ohjelmointiin ja eri substanssikysymyksiin erikoistuneiden tieteenharjoittajien välille.

Toinen erityisen mielenkiintoinen kysymys on vaalikone- ja sosiaalisen median aineistojen todistusvoima kansalaisten arvojen ja julkisen mielipiteen suhteen. On parhaillaan eri tutkijoiden ja tutkimushankkeiden työn alla ratkoa menetelmiin liittyviä teknisiä ongelmia siitä kuinka vaalikonedatasta ja sosiaalisen median keskusteluista jalostetaan niin sanottua kansan tahtoa, joka voitaisiin ilmaista esimerkiksi hallitusohjelman tai yksittäisten lakien muodossa. Aineistolähtöisyyden vastavoimaksi asettuu kuitenkin luotettavuuteen ja edustavuuteen liittyvät kysymykset. Syrjiikö digikuilu vielä 2010-luvun lopulla joitakin ryhmiä tai ovat vaalikoneet tai sosiaalinen media itsessään tai niitä ylläpitävät mediatalot epädemokraattista vääristymää aiheuttava tekijä? Olisi itse asiassa mielenkiintoista paneutua siihen, kumpaa ihmiset vierastavat enemmän -äänestämistä vai verkkoa poliittisen mielipiteenilmaisun välineenä. Jos verkkoa ei nähdä ongelmana ja siirrytään pohtimaan aineistojen täyttä potentiaalia demokratian kannalta, voidaan asetelma pelkistää vaikka seuraavanlaiseen kysymykseen: kumpi on demokraattisempaa, johtaa hallitusohjelma suoraan vaalikoneen (tai kahden, Helsingin Sanomat ja Yle, synteesistä) yli 200 000 vastaajan otoksesta vai että vajaan kolmen miljoonan äänestäjän tahto pelkistetään 200 edustajaan, joista vain pieni osa osallistuu eturyhmien edustajien ja korkeiden virkamiesten kanssa neuvottelemaan ja kirjoittamaan vaalikauden tavoitteita? Nyt kun aineistoja alkaa olla tarjolla ja menetelmät kehittyvät, olisi älyllistä epärehellisyyttä hyödyntää niitä vain puolueiden tai edustuksellisuuden ongelmien ratkaisemiseen ja jättää taustalla piilevä laajempi demokratian toimintaedellytysten ongelma huomiotta.

Tämä artikkeli on kirjoitettu alkujaan keväällä 2016 opintosuoritukseksi valtio-opin syventävien menetelmien kurssille. Sitä on päivitetty julkaisun yhteydessä vähäisissä määrin. Artikkelista on julkaistu myös tiivistelmä Alusta!-verkkolehdessä.

Lähdeluettelo

Datavaalit (2016), <http://www.datavaalit.fi/>

Datavaalit (2016b), <https://github.com/avoindata>

Digivaalit (2015), <https://www.hiit.fi/digivaalit-2015>

Digivaalit (2016) <https://rajapinta.files.wordpress.com/2016/04/dv2015-posteri-verkosto-lores.pdf>

Eranti, Veikko & Ylä-Anttila Tuukka (2016) <http://www.slideshare.net/tuylaant/using-topic-modeling-to-study-everyday-civic-talk-and-protopolitical-engagements>

Haakana, Kari (2011) <http://yle.fi/aihe/artikkeli/2011/05/16/vuoden-2011-vaalikonetiedot-nyt-avoimena-datana>

Haakana, Kari (2012) <http://yle.fi/aihe/artikkeli/2012/01/13/presidentinvaalien-vaalikoneen-kayttajien-vastaukset-avoimena-datana>

Helsingin Sanomat (2012) <http://www.hs.fi/politiikka/a1305606343277>

Ted Holmes (2005) <http://simplyted.blogspot.fi/2005/12/how-to-visualize-data.html>

Kekkonen, Arto (2016) <https://rajapinta.files.wordpress.com/2016/04/dv2015-posteri-kekkonen-lores.pdf>

Laaksonen, Salla-Maaria (2015) <https://rajapinta.co/2015/04/19/alustavia-analyyseja-eduskuntavaalipohinasta-sosiaalisessa-mediassa/>

Laaksonen, Salla-Maaria (2015b) <https://rajapinta.co/2015/09/17/verkon-agendaa-asettamassa-vaikuttajaindeksilaskelmia-digivaalit-2015-projektista/>

Laaksonen, Salla-Maaria (2015c) <https://rajapinta.co/2015/06/04/suomi24-data-science-hackathon-results-and-afterthoughts/>

Laaksonen, Salla-Maaria (2016a) <https://rajapinta.files.wordpress.com/2016/04/digivaalit_finalseminar-pptx.pdf>

Laaksonen, Salla-Maaria (2016b), <https://rajapinta.co/2016/05/02/sosiaalinen-media-tutkimusaineiston-hankala-aarrearkku/>

Lagus, Krista, Mika Pantzar, Minna Ruckenstein ja Marjoriikka Ylisiurua (2016), Suomi24 -Muodonantoa aineistolle. <http://blogs.helsinki.fi/citizenmindscapes/>

Lahti, Leo (2012a), Kunnallisvaaliehdokkaiden aktiivisuus sosiaalisessa mediassa: puolueiden vertailua. <https://louhos.wordpress.com/2012/10/26/kunnallisvaaliehdokkaiden-aktiivisuus-sosiaalisessa-mediassa-puolueiden-vertailua/>

Lahti, Leo (2012b), Kunnallisvaalien vertailukelpoiset ehdokasdatat CSV-taulukkoina: 2004 / 2008 / 2012 <https://louhos.wordpress.com/2012/10/05/kunnallisvaalien-vertailukelpoiset-ehdokasdatat-csv-taulukkoina-2004-2008-2012/>

Lahti, Leo (2012c), Datavaalit: Oikeusministeriön vaalidatat sorvattu auki. <https://louhos.wordpress.com/2012/09/28/datavaalit-oikeusministerion-vaalitulosdata-sorvattu-auki/>

Lahti, Leo (2012d), Helsingin Sanomien avoin vaalikonedata: osa2. <https://louhos.wordpress.com/2012/02/05/helsingin-sanomien-avoin-vaalikonedata-osa2/>

Lahti, Leo (2013), Kunnallisvaalit sosiaalisessa mediassa. <https://louhos.wordpress.com/2013/01/26/kunnallisvaalit-sosiaalisessa-mediassa/>

Leppänen, Martti (2011a) http://www2.hs.fi/extrat/kotimaa/puoluekentta/

Leppänen, Martti (2011b), Puoluekenttä. <http://puoluekentta.tstm.info/>

MTV (2006), Presidentinvaalit 2006: ehdokkaiden vastaukset MTV3:n vaalikoneeseen. Yhteiskuntatieteellinen tietoarkisto [jakaja]. <http://urn.fi/urn:nbn:fi:fsd:T-FSD2127>

Marttila Mari (2016) <https://rajapinta.files.wordpress.com/2016/04/dv2015-posteri-marttila-lores.pdf] >

Mäkinen, Esa (2011a) <http://blogit.hs.fi/hsnext/hs-julkaisee-vaalikoneensa-avoimena-tietona-ennen-vaaleja >

Mäkinen, Esa (2011b) <http://blogit.hs.fi/hsnext/hsn-vaalikone-on-nyt-avointa-tietoa>

Mäkinen, Esa (2011c) <http://blogit.hs.fi/hsnext/vaalikonedata-avoimeksi-kristilliset-eniten-avioliitossa>

Mäkinen, Esa (2011d) <http://blogit.hs.fi/hsnext/15-uusiokayttoa-hsn-vaalikonedatalle-viikossa>

Mäkinen, Esa (2012a) <http://blogit.hs.fi/hsnext/helsingin-sanomat-julkaisee-vaalikoneen-tiedot-avoimena-rajapintana>

Mäkinen, Esa (2012b) <http://blogit.hs.fi/hsnext/nain-kuntalaiset-yhdistaisivat-kotikuntansa-kuntakoneen-vastaukset-avodatana>

Mäkinen, Esa (2012c) <http://blogit.hs.fi/hsnext/hs-open-tapahtumissa-luodaan-tietojournalismia>

Mäkinen, Esa (2015) <http://www.hs.fi/politiikka/a1305929269692>

Parkkinen, Juuso (2012) <https://louhos.wordpress.com/2012/01/06/kenesta-seuraava-presidentti-ennusta-itse-hsn-vaalikonedatan-avulla/>

Poikola, Antti, Kola, Petri & Hintikka, Kari A. (2010), Julkinen data. johdatus tietovarantojen avaamiseen. Helsinki: Liikenne- ja viestintäministeriö.

Pollock, Rufus (2014) <http://blog.okfn.org/2014/09/30/why-the-open-definition-matters-for-open-data-quality-compatibility-and-simplicity/>

Quora (2016), <https://www.quora.com/How-much-data-is-Big-Data>

Rouse, Margaret (2008) <http://searchstorage.techtarget.com/definition/How-many-bytes-for>

Sairanen, Heikki (2016)[ http://sairanen.org/wordpress/blog/2016/04/24/poliittiset-akselit/](http://sairanen.org/wordpress/blog/2016/04/24/poliittiset-akselit/)

Stack Overflow (2016), <http://stackoverflow.com/questions/14045056/how-big-data-is-bigdata>

Tuokko, Mari (2015) <https://rajapinta.co/2015/05/25/vaalit2015-muutama-sana-olohuonetentista-ja-twitterista/>

Tuokko, Mari (2016) <https://rajapinta.co/2016/03/10/digivaalit-2015-ehdokkaiden-ja-kansalaisten-vuorovaikutus-sosiaalisessa-mediassa-vaalikampanjoinnin-aikana-tyhjyyteen-huutelua-vai-merkityksellista-dialogia/>

Tuomisto, Jouni ym. (2011a) <http://fi.opasnet.org/fi/Kansanedustajien_arvot>

Tuomisto, Jouni ym. (2011b) <http://fi.opasnet.org/fi/Poikkipuoluehallitus>

Tuomisto, Jouni ym. (2011c) <http://fi.opasnet.org/fi/Jokapuoluehallitus>

Törmänen, Juha (2011)[ http://peili.kirkas.info/archive/hsvaalikone11/kartta/](http://peili.kirkas.info/archive/hsvaalikone11/kartta/)

Törmänen, Juha (2012)[ http://peili.kirkas.info/archive/hsvaalikone12/](http://peili.kirkas.info/archive/hsvaalikone12/)

Valtiontalouden tarkastusvirasto (2016), <http://www.vaalirahoitus.fi/>

Wikipedia: Big data (2016), <https://en.wikipedia.org/w/index.php?title=Big_data&oldid=722833400>

Yhteiskuntatieteellinen tietoarkisto (2016), <http://www.fsd.uta.fi/fi/aineistot/taustatietoa/vaalidataa.html>

Yle (2012) <http://yle.fi/uutiset/nyt_sita_saa_vaalikonedataa/6331306>

Yle (2015) <http://yle.fi/uutiset/yle_julkaisee_vaalikoneen_vastaukset_avoimena_datana/7869597>

Yle (2016) <http://yle.fi/aihe/artikkeli/2016/05/18/ylen-sisaltoja-tarjolla-avoimena-datana>

Pamela Vagata, Kevin Wilfong 2014 <https://code.facebook.com/posts/229861827208629/scaling-the-facebook-data-warehouse-to-300-pb/>

Xu, Wei, (2016) Twitter API Tutorial <http://socialmedia-class.org/twittertutorial.html>

Tekstin sisäiset viitteet

Poikola, Kola ja Hintikka 2010, 13-14. ↩︎
Holmes 2005; Rouse 2008; Vagata ja Wilfong 2014. ↩︎
Quora 2016; Stack Overflow 2016; Wikipedia: Big data 2016. ↩︎
Emt. ↩︎
Poikola ym. 2010; Pollock 2014. ↩︎
Lagus, Pantzar, Ruckenstein & Ylisiurua 2016. ↩︎
Laaksonen 2016b. ↩︎
Xu 2016. ↩︎
Wu 2015. ↩︎
Datavaalit 2016. ↩︎
Lahti 2012a; Lahti 2013. ↩︎
Twiittien tarkka määrä jää epäselväksi, sillä Rajapinta-blogissa puhutaan koko aineiston osalta Facebookin kanssa yhdessä yli 1,5 miljoonasta viestistä, mutta pelkkien Twiittien osalta johdonmukaisin tulkinta on erikseen mainittu noin yli 200 000 twiitin aineisto. Kts. Digivaalit 2016. https://rajapinta.co/2016/04/07/digivaalit-2015-paatosseminaarin-materiaali/ ↩︎
Digivaalit 2015; Laaksonen 2016a; Laaksonen 2016b. ↩︎
Digivaalit 2016. ↩︎
Marttila 2016. ↩︎
Kekkonen 2016. ↩︎
Tuokko 2016. ↩︎
Tuokko 2015. ↩︎
Laaksonen 2015b. ↩︎
Lagus ym. 2016. ↩︎
Emt., 43. ↩︎
Eranti ja Ylä-Anttila 2016. ↩︎
Laaksonen 2015c. ↩︎
Valtiontalouden tarkastusvirasto 2016. ↩︎
Datavaalit 2016b; Lahti 2012b; Lahti 2012c. ↩︎
Haakana 2011; Haakana 2012; Mäkinen 2011a; Mäkinen 2011b; Mäkinen 2015; Yle 2012; Yle 2016. ↩︎
Mäkinen 2011c. ↩︎
MTV 2006. ↩︎
Yhteiskuntatieteellinen tietoarkisto 2016. ↩︎
Mäkinen 2015; Yle 2015. ↩︎
Mäkinen 2011c. ↩︎
Haakana 2012. ↩︎
Mäkinen 2012a. ↩︎
Parkkinen 2012. ↩︎
Lahti 2012d. ↩︎
Mäkinen 2012b. ↩︎
Tuomisto ym. 2011a. ↩︎
Kts. esim. Helsingin Sanomat 2012; Leppänen 2011a; Leppänen 2011b; Mäkinen 2012c; Sairanen 2016; Törmänen 2011; Törmänen 2012. ↩︎
Mäkinen 2011d. ↩︎
Tuomisto ym. 2011b; Tuomisto ym. 2011c. ↩︎
Lagus ym. 2016. ↩︎

Tieteellisen kirjoittamisen uudet välineet: opaskokoelma tekeillä

Tue, 11 Aug 2015 00:00:00 +0000

Tieteellisen kirjoittamisen vaihtoehdoista heräsi keskustelua Open Science Finland-ryhmässä. Saatavilla on runsaasti uusia toistettavaa tai hajautettua raportointia tukevia välineitä kuten markdown, pandoc, authorea ja monia muita. Tämänkin blogin postaukset on kirjoitettu Rmarkdownilla. Vaihtoehtojen moninaisuus ja teknisyys voivat hämmentää aiheeseen perehtymätöntä.

Keskustelujen pohjalta on nyt alettu koostaa talkootyönä verkko-opasta näiden välineiden hyödyntämiseen tieteellisen kirjoittamisen näkökulmasta. Lisäykset oppaaseen ja keskusteluun ovat tervetulleita !

Kuntatiedon visualisointi R:n gisfin-kirjastolla

Sat, 06 Jun 2015 00:00:00 +0000

PÄIVITYS 2020-11-02: gisfin-paketin kehitystyö on lopetettu ja kehitystyö on siirtynyt geofi-paketin pariin. Tämä alun perin Louhos-blogissa julkaistu kirjoitus on arkistoitu rOpenGov-blogiin esimerkkinä aiempien vuosien kehitystyöstä. Alla esitetyt esimerkit eivät todennäköisesti enää toimi geofi-paketin uusilla versioilla.

Kuntatiedon visualisointi Suomen kartalla R-kielellä nousi kuluneella viikolla keskusteluun Finnish Open Data Ecosystem-foorumin Facebook-ketjussa.

Tähän on monta tapaa, ja valmiiden välineiden käyttö helpottaa tehtävää. Suomalaisen paikkatiedon visualisointiin suunnatussa gisfin-paketissa on valmiit wrapperit kuntatiedon visualisointiin. Päivitä paketin kehitysversio Githubista saadaksesi kaikki toiminnot käyttöön.

Kokosimme tähän blogipostaukseen tiiviit esimerkit. Lisää suomalaisen paikkatiedon R-työkaluista löytyy gisfin-paketin tutoriaalisivulta, jossa kuntien lisäksi saatavilla on mm. maakuntarajat, postinumeroalueet, äänestysalueet, aluejakokartat, Helsingin aluekarttoja, väestöruututietoja, spatiaalisia tilastoja ym.

Esimerkkidata: THL:n sairastavuusindeksi

Käytämme esimerkkinä kuntatason aineistojen visualisoinnissa sairastavuusindeksiä, jonka voi ladata THL:n sotkanet-palvelusta R:ään sotkanet-paketilla. Jostain syystä sotkanet-portaalin indeksiä ei saa vuotta 2010 pitemmälle joten otetaan se:

# List all available indicators from THL Sotkanet
library(sotkanet) 
sotkanet.indicators <- SotkanetIndicators(type = "table")

# Check specific indicators for 'sairastavuusindeksi'
# sotkanet.indicators[grep("sairastavuusindeksi", sotkanet.indicators$indicator.title.fi),]

# This shows that the index 244 is THL sairastavuusindeksi.
# Retrieve THL sairastavuusindeksi 2010 for municipalities
# (newer information is not available???)
healthindex <- GetDataSotkanet(indicators = 244, year = 2010, region.category = "KUNTA")

# Let us rename the value field for clarity
healthindex$Sairastavuusindeksi <- healthindex$primary.value

Voit tallentaa datat tiedostoon ja lukea ne sieltä takaisin (tai vaihtaa tilalle oman aineistosi):

# Write the data to file
write.csv(healthindex, file = "mydata.csv", row.names = FALSE)

# Read the same data from file
# (instead you can just use the original mydata that was written in this file)
# or alternatively you can replace your own data in the file mydata.csv:
healthindex <- read.csv(file = "mydata.csv")

Kuntarajojen lataus Maanmittauslaitokselta

Lataa kuntarajat R:ään seuraavalla komennolla. Tässä esimerkissä käytämme valmiiksi esikäsiteltyjä Maanmittauslaitoksen kuntarajoja 2013 (Yleiskartta-1000 Hallintoalueet). Muiden MML-aineistojen lataamiseen perehdy funktioon get_mml.

library(gisfin)
map <- get_municipality_map(data.source = "MML")

Toinen vaihtoehto olisi ladata kuntarajat GADM-palvelusta. GADMin kuntakartta sisältää tällä hetkellä vanhentunutta tietoa, joten sivuutamme sen tässä esimerkissä. GADMin kartoista voi kuitenkin olla apua muiden alueitten visualisoinnissa.

Tietojen liittäminen kuntakarttaan

Liitä THL:n sairastavuusindeksin tiedot MML:n kuntakarttaan kuntakoodin nojalla (MML-datassa “kuntakoodi” ja healthindex-datassa “region.code”):

sp <- sp::merge(map, healthindex, by.x = "kuntakoodi", by.y="region.code")

Visualisointi Maanmittauslaitoksen kuntarajoilla

Nyt datan voi visualisoida Suomen kuntakartalla sp-paketilla:

# Define the 20% quantiles for plotting
quantiles <- quantile(sp$Sairastavuusindeksi, probs = seq(0, 1, .2))

# Discretize the data. This is easier to comprehend than continuous scale.
# And I could not find how to change color scale in spplot for continuous scale -
# suggestions are welcome.
sp$Sairastavuusindeksi2 <- cut(sp$Sairastavuusindeksi, quantiles)

# Define blue-white-red palette 
library(leaflet)
palette <- colorNumeric(c("blue", "white", "red"), domain = range(quantiles), na.color = "black")

# Visualize:
spplot(sp, zcol = "Sairastavuusindeksi2", colorkey = TRUE,
	   main = "THL ikävakioimaton sairastavuusindeksi 2010 (Sotkanet-indeksi 244)",
	   col.regions = palette(quantiles))

Nopea visualisointi

Voit vaihtoehtoisesti käyttää aluedatan nopeaan visualisointiin räätälöityä wrapperiä. Tämä tuottaa ggplot2-objektin, jonka visualisointiparametreja voi halutessasi säätää lisää tarpeen mukaan:

p <- region_plot(sp, color = "Sairastavuusindeksi", region = "kuntakoodi")
print(p)

Vuorovaikutteinen kuntakartta

Karttojen vuorovaikutteiseen visualisointiin soveltuvat ainakin rMaps ja leaflet-paketit. Seuraava esimerkki tulostaa leaflet-paketin avulla selaimeen vuorovaikutteisen kuntakartan Dmitry Poletaevin koodia mukaillen. Lopputulos muistuttaa Dmitryn RPubs-esimerkkiä:

# Define the region and color variables and title:
region <- "kuntanimi"
color <- "Sairastavuusindeksi"
main <- "THL:n Sairastavuusindeksi"

# Define color palette
palette <- colorNumeric(c("blue", "white", "red"), NULL)

# Define the text for popup box
state_popup <- paste0("<strong>Kunta: </strong>", sp[[region]], 
                        "<br><strong>", main, ": </strong>", 
                        round(sp@data[,c(color)], digits=2))

# Generate interactive visualization
p <- leaflet(data = sp) %>%
       addTiles() %>% 
       addPolygons(fillColor = ~palette(get(color)), 
                fillOpacity = 0.7, 
                color = "#000000", 
                weight = 1,
                popup = state_popup)

# Open in browser
print(p)

rOpenGov-pakettien kehitys tapahtuu vapaaehtoispohjalta. Pakettien toiminnallisuuteen, dokumentaatioon, tutoriaaliin tai liittyvät kontribuutiot ovat tervetulleita. Julkaisemme mieluusti täydennyksiä tähän postaukseen sekä muita R-kielen käyttöä käsitteleviä blogikirjoituksia.

Urbaanien asuinympäristöjen suosio kasvaa

Tue, 19 May 2015 00:00:00 +0000

Asuntojen hintojen nousu on viime vuosina keskittynyt taajamiin. Ilmiö on havaittavissa koko Suomessa, erityisesti pääkaupunkiseudulla, ja näkyy asukastiheyden ja hintojen nousunopeuden korrelaationa (alla olevissa kuvissa). Todennäköinen syy hintojen epätasaiselle kehitykselle on urbaanien asuinympäristöjen arvostuksen kasvu.

Maailmalla on vallannut alaa uusi urbanismin aalto, jossa ihmiset haluavat muuttaa tiiviisiin kaupunkikeskustoihin omakotitalolähiöiden sijaan (ks esim. NYT). Korkeasta väestötiheydestä sanotaan olevan monia etuja: Se tarjoaa monipuoliset palvelut, työpaikkojen ja palveluiden hyvän saavutettavuuden, mahdollisuuden rakentaa viihtyisää kävely-ympäristöä ja tehokkaasti toimivan joukkoliikenteen. Lisäksi tiivis rakentaminen säästää viheralueita ja luo edellytykset talouskasvulle, mm. koska saman alan yritykset saavat lähekkäin sijaitsemisesta kasautumisetuja.

Millainen kehitys on Suomessa? Asuntojen hintojen muutokset kuvastavat muutoksia siinä, mitä asukkaan arvostavat, eli millaisssa asunnoissa he haluaisivat asua. Reaktor Oy:n data scientistit, joihin itsekin kuulun, mallinsivat asuntojen hintojen kehitystä vuosina 2005-2014 ja tekivät niistä interaktiivisen kartan. Malli antaa postinumerotasolla asuntojen hinnan kehityksen keskineliöhintana, lineaarisena trendinä ja trendin muutoksena. Näiden perusteella voidaan tutkia asukkaiden arvostusten muutoksia.

Asuinalueen urbaaniudelle on monia mittareita, joista yksinkertaisin on väestötiheys. Alla kuvataan asuntojen hintojen muutosten ja väestötiheyden yhteyttä kunakin tarkasteluvuonna. Vaaka-akseli kuvaa väestötiheyttä asukkaina neliökilometrillä logaritmisella skaalalla, pystyakseli ennustettua hinnan muutosta prosentteina per vuosi ja jokaiselle postinumeroalueelle on erillinen pisteensä. Kuvaajasta nähdään, että tarkastelujakson alkupuolella (2005-2009) harvemmin asuttujen alueiden hinnat ovat nousseet keskimäärin nopeammin kuin tiheämmin asuttujen alueiden. Sen sijaan kohti tarkastelujakson loppua muutos on kääntynyt päinvastaiseksi: keskimäärin enemmän nousevat niiden asuntojen hinnat, jotka sijaitsevat tiheämmin asutuilla alueilla.

Suomen tiheimmin asutut alueet sijaitsevat Helsingissä, joten kannattaa tarkastella myös erikseen tilannetta Helsingissä. Alla vastaava kehitys Helsingistä. Kuvaajasta näkee, että koko tarkastelujakson ajan tiheämmin asuttujen alueiden asuntojen hinnat ovat nousseet harvemmin asuttujen alueiden asuntojen hintoja nopeammin.

Tilannetta voidaan tarkastella myös yksittäisten kuntien osalta. Alle on kuvattu yhteys väestötiheyden ja lineaarisen hintakehityksen välillä Suomen yhdentoista suurimman kaupungin osalta. Jos suora saa tietyn vuoden kohdalla positiivisen arvon, se tarkoittaa sitä, että kyseisessä kaupungissa tiheämmin asuttujen alueiden asuntojen hinnat nousivat enemmän kuin harvempaan asuttujen alueiden asuntojen hinnat. Vastaavasti päinvastoin negatiiviset arvot tarkoittavat harvemmin asuttujen alueiden asuntojen hintojen nopeampaa nousua. Suorien luottamusvälit on saatu mallin posteriorinäytteistä.

Kuvaajista nähdään, että kaikissa Suomen 11 suurimmassa kaupungissa urbaanit asuinalueet ovat kasvattaneet suosiotaan. Tämä kehitys on ollut erityisen vahvaa pääkaupunkiseudulla.

Asuntohintojen alueellinen kehitys selviää todennäköisyysohjelmoinnilla

Thu, 07 May 2015 00:00:00 +0000

Mitä teimme?

Mallinsimme osakeasuntojen hintoja ja niiden muutoksia, postinumerotasolla, koko Suomessa, vuosina 2005–2014, perustuen Tilastokeskuksen jakamiin kauppa- ja asukasmäärätietoihin. Mallin arvioita hinnoista voi tarkastella vuorovaikutteisesta karttavisualisoinnista. Tuloksista voi lukea lisää Reaktorin blogista. Työn takana on Reaktorin Data Science -tiimi. Mallinnuksen lähdekoodi löytyy GitHubista.

Mallinsimme?

Tilastokeskuksen avaamat asuntojen hintatiedot ovat keskiarvoja per postinumero ja vuosi. Jos kauppoja on alle kuusi, keskiarvokin on sensuroitu. Hinnan ohella ilmoitetaan kauppojen määrä.

Raakadatasta on useimmille postinumeroille vaikea suoraan arvioida hintoja ja etenkin niiden muutoksia.

Alla on vasemmalla satunnaisten postinumeroiden vuosittaisia kauppamääriä. Sensuroidut tiedot on merkitty punaisella. Oikealla postinumero-vuosi-yhdistelmät on järjestetty kauppojen määrän mukaan. Kauppoja ei ole tehty tai tieto on sensuroitu siis n. 17,5% tapauksista, ja noin puolet keskihinnoista joko puuttuu tai on laskettu alle 30 kaupan perusteella.

Puuttuva tieto on puuttuvaa, mutta edes 6–30 kaupan keskiarvo ei kuvaa luotettavasti alueen kaikkien osakkeiden hintatasoa. Myydyt asunnot ovat satunnaisesti keskihintaa kalliimpia ja halvempia. Vielä huonompaa jälkeä syntyy, kun näin vähistä kaupoista yritetään suoraan arvioida hintojen muutoksia. Mediassa julkaistut listat parhaiten ja huonoiten menestyvistä alueista ovatkin lähes satunnaisia, tiheimpiä taajamia lukuunottamatta.

Hinnoista saa paremman kuvan, kun aineistoon sovittaa tilastollisen mallin. Tai jos ei saa, malli paljastaa lähtötietojen heikkouden — hyvin tehdystä mallista saa epävarmuusarviot kiinnostaville asioille, kuten hintatasoille.

Malli voi myös ottaa huomioon alueellisen jatkuvuuden, ts. lähekkäisten postinumeroalueiden samankaltaisuuden. Se osaa painottaa trendi- ja keskihinta-arvioissa kauppojen määrän oikein, ja vielä paikata jäljelle jäävää epävarmuutta postinumeroalueen muilla ominaisuuksilla, kuten väestötiheydellä.

Alla vasemmalla on kartta postinumeroiden keskihinnoista tarkastelujaksolla 2005–2014, logaritmisena huippuhintojen hajonnan vuoksi, oikeassa kuvassa samat logaritmiset hinnat mallista. Vasemman kartan valkoisille alueille ei keskihintaa saatu, koska kauppoja ei ollut lainkaan.

Vielä alla näemme kuvan eräistä Espoon postinumeroalueista. Pisteet kuvaavat Tilastokeskuksen ilmoittamia vuosihintoja, pisteiden koko kauppojen määrää. Viivat ovat mallin arvioita hintatasosta, harmaat alueet arvion epävarmuuksia, mallin itsensä mielestä.

Hinta-arvioita on saatu vähistäkin kaupoista, ja etenkin vuosimuutokset ovat luotettavamman näköisiä kuin mitä melko paljon heittelevistä keskihinnoista suoraan laskien saisi. Hintojen mallintaminen siis kannattaa.

Mallista saa ennusteen lähivuosille, mutta ennusteen kanssa kannattaa olla varovainen. Talouden kehitystä ja muita hintoihin ratkaisevasti vaikuttavia seikkoja on mahdoton ennustaa tarkasti muutamaa kuukautta pidemmälle. Malli on parhaimmillaan kuvattaessa lähimenneisyyden hintakehityksen pääpiirteitä, ei ennustettaessa tulevaisuutta.

Alla on yksityiskohtaisempaa tietoa datasta, mallista ja visualisoinnista.

Ympäristö

Mallinnus tehtiin R-ympäristössä, itse malli Stan-kirjastolla, ja kaikki lähdekoodi on saatavilla GitHubista.

Data

Asuntojen hintatiedot saa Tilastokeskukselta kätevästi R:ään Louhos- ja Ropengov-projektien kirjastoilla pxweb (hinnat) ja gisfin (muut). Postinumeroalueiden karttapohja haettiin Duukkikselta. Skriptit datojen hakemiseen, käsittelyyn ja yhdistelyyn ovat GitHub-repossa.

Karttavisualisointi

Karttapohjia postinumeroalueittaiselle aineistolle saa ainakin Tilastokeskuksen Paavo-rajapinnasta ja Duukkikselta. Paavo tarjoaa kartasta kahta versiota. Merialueet sisältävä kartta ei sovi visualisointiin ilman erillistä rantaviivaa. Rantaviivaan rajattu näytti hyvältä, mutta tarkkuudesta maksettaisiin GeoJSON-objektin koolla: yli 20 megatavua. Päädyimme käyttämään Duukkiksen pohjaa, jossa karkea rantaviiva tuottaa meille hyvän kompromissin koon ja ulkonäön välillä.

Pieniä eroja postinumeroissa oli, joten muutama alue on saattanut karttapohjan valinnan takia kadota.

Malli tuottaa hinta-arvioita vaikkei postinumerossa olisi osakehuoneistoja, kaupoista puhumattakaan: pelkkä sijainti ja väestötiheys riittävät. Muutamilta pieniltä, teollisuus- ja sairaala-alueiden näköisiltä postinumeroilta puuttuu väestötietokin, ehkä koska niissä ei virallisesti asu ketään. Nämä pienet postinumeroalueet näkyvät kartassa harmaana ja ilman ennustetta.

Malli

Mallin asuntojen hinnoista pitää ottaa huomioon monta asiaa. Tärkein on tietenkin toteutuneiden kauppojen hinnat — joista tiedämme vain keskiarvon jos sitäkään. Tiedossa oleva kauppojen lukumäärä auttaa, koska keskihinta kertoo tarkemmin hintatasosta kun kauppoja on enemmän.

Koska kauppatietoa on etenkin maalta vähän, on hyvä ottaa malliin postinumeroiden ominaisuuksia, jotka selittävät hintavaihtelua. Taajamissa asunnot ovat kalliimpia, joten asumistiheys on ilmeisen tärkeää. Postinumeroittainen asukastiheys ei ole sama asia kuin keskimääräinen asumistiheys, mutta korreloi siihen vahvasti.

Hintojen alueellinen vaihtelu tekee lähekkäisistä postinumeroista keskimäärin samankaltaisia. Tätä voi hyödyntää hinta-arvioissa: naapuripostinumeron kaupat kertovat ainakin karkealla tasolla omastakin alueesta, etenkin jos oman alueen kauppoja on vähän. Tietenkään emme voi tehdä riippuvuudesta vahvaa oletusta, mutta voimme antaa mallin havaita riippuvuuden ja käyttää sitä, jos riippuvuutta on.

Päädyimme mallissa koodaamaan alueiden lähekkäisyyden hierarkiaksi, joka saadaan suoraan numerosta: Esim. 02940 on Uusimaata (0), Espoota (02) ja Pohjois-Espoota (029). Hierarkia antaa mahdollisuuden mallille pitää näiden ja muiden vastaavien sisäkkäisten alueiden postinumeroita samanlaisina ympäristöön verrattuna, jos ne sitä ovat. (Spatiaalinen lähekkäisyys olisi vaihtoehto, mutta se on monella tapaa teknisesti hankalampi ja kadottaa mahdollisen äititaajaman vaikutuksen.)

Hinnoissa kiinnostavinta on tason jälkeen ajallinen muutos. Niinpä hintatason ja vuoden keskinäinen suhde mallissa on oleellinen sen luonteen ja informatiivisuuden kannalta. Vuosille voisi kullekin antaa omat hintatasonsa, mutta hintatason ajallinen muutos olisi vapaiden vuositasojen mallissa liiankin vapaasti määritelty, eikä ennustetta ensi vuodelle syntyisi. Ja koska hintatason muutokset ovat hintojen tapaan alueellisia ja voivat riippua esim. väestötiheydestä, päädyimme malliin, jossa hinnan ajallinen muutos eli trendi ja trendin muutos ovat eksplisiittisesti mukana.

Vuoden vaikutus mallissa on siis kvadraattinen, ts. joka postinumerolla on mallissa oma trendinsä ja trendin muutosnopeus per vuosi. Lisäksi väestötiheys pääsee ennustamaan näitä muutoksia. Sen vaikutus näkyy etenkin jos kauppoja on vain vähän tai ei ollenkaan.

Postinumerokohtaisia hintaparametreja kertyy yhteensä kuusi: hintataso, trendi, trendin muutos, ja väestötiheyden vaikutus näihin kaikkiin. Parametreilla on arvot ja varianssit myös postinumeroa isommille hierarkian alueille (Uusimaa, Espoo, jne.), josta ne pääsevät vaikuttamaan postinumerokohtaisiin arvioihin etenkin kun kauppoja on vähän. Parametreilla on myös eri hierarkiatasoilla kovarianssit, jolloin ne voivat auttaa toistensa estimointia tapauksissa joissa hintadata ei suoraan riitä.

Yhteenvetona kaavaksi, mallin alataso havaitulle keskihinnalle $y$ on

$$ \log h_{it} = \beta_{i1} + \beta_{i2} t + \beta_{i3} t^2 + \beta_{i’4} d_i + \beta_{i’5} d_i t + \beta_{i’6} d_i t^2 , $$

$$ \log y_{it} \sim \textrm{t}\ \left(\log h_{it}, \sqrt{\sigma^2_y + \frac{\sigma^2_w}{n_{it}}}, \nu\right) , $$

jossa $i$ on postinumeroalue, $t$ vuosi, $\beta$ ovat postinumerokohtaisia hintakertoimia, $i’$ on postinumeron alin hierarkiataso (väestötiheysparametrit ovat yhteisiä kullekin $i’$-alueelle), $t()$ on t-jakauma, $\sigma_y$ vuosikohtainen hajonta, $\sigma_w$ kauppahintojen hajonta mittausyksikön (vuosi$\times$postinumero) sisällä, ja $\nu$ t-jakautuneen residuaalin vapausaste. Hinnat käsitellään mallissa logaritmisena, jolloin absoluuttisella hintaskaalalla malli on multiplikatiivinen. Hajonnat ja $\nu$ estimoidaan kaiken muun ohella. Kertoimille $\beta$ on multinormaali priori kovarianssimatriiseineen, ja lisäksi ylemmille hierarkiatasoille eli postinumeroa suuremmille alueille omat vastaavat rakenteensa ($\beta$ ja sen priorit). Yksityiskohdat tätä tarkemmin selviävät parhaiten mallikoodista.

Vapausasteen $\nu$ estimaatti on luokkaa 6,5, eli hintojen residuaali on normaalijakaumaa selvästi pitkähäntäisempi. Suoraan mallin parametreista (koodissa matriisi “Omega”) nähdään, että hintataso ja trendi korreloivat yli postinumeroalueiden ($r$=0,28), samoin trendin muutos ja hintataso ($r$=0,43). Halvat alueet ovat siis viimeisen n. kymmenen vuoden aikana halventuneet edelleen, ja kalliit kallistuneet. Tämä liittynee asutuksen keskittymiseen.

Postinumerokohtaisista estimaateista nähdään, että asukastiheys korreloi niin hintatasoon kuin sen muutoksiinkin:

Malli on estimoitu Stan-kirjastolla (http://mc-stan.org/). Stan on todennäköisyysohjelmointikieli, joka tuottaa generatiivisesta mallin kuvauksesta estimointialgoritmin. Vaihtoehdoista estimoinnin itse koodaaminen olisi huomattavan työlästä, kun taas valmiiden mallipakettien (lme4, mgcv, …) käyttäminen pakottaisi tyytymään rajoittuneempaan malliin, joka kuvaisi asuntojen hintoja ja niiden vaihtelua huonommin.

Kenen joukoissa seisot - ennustaako kone ehdokkaan puoluekannan?

Fri, 17 Apr 2015 00:00:00 +0000

Avoimesta Ylen ja HS:n vaalikonedatasta löytyy hyviä analyysejä ja visualisointeja, esimerkiksi Juha Törmäsen analyysi ja visualisointi, Markku Niemivirran analyysit HS:n ja Ylen datasta ja näiden visualisointi (Taipale, Leinonen, Niemivirta). Latenttien komponettien mallinnuksesta kiinnostuneet voivat vilkaista myös Janne Sinkkosen latentin multinomiaalimallin koodia. Mallin tuottama grafiikka tuloksista Uudellemaalle kiinnostanee kaikkia.

Edellisissä on faktoroitu alkuperäisiä vastauksia ja ryhmitelty ehdokkaita; tehty siis varsinaista analyysiä vastausten taustalla olevista tekijöistä. Analyysit ovat oikein hyviä, joten kokeilen jotain muuta: luokittelijaa Ylen vaalikonedatalle. Luokittelija mittaa suoraan kuinka hyvin kysymykset erottelevat puolueita toisistaan ja kuinka todennäköinen ehdokas on kullekin puolueelle. Osaako kone erottaa puolueet toisistaan? Kuka on Ylen kysymysten perusteella kaikkein piraatein, kokoomuslaisin tai vasemmistolaisin? Voiko pelkkien taustatietojen perusteella arvata ehdokkaan puoluekannan? Mitkä kysymykset oppiva kone valitsee erotteleviksi?

Kaksi luokittelijaa Ylen vaalikonevastauksista

Luokittelijat on tehty Ylen vaalikoneen avoimen datan kaikille ehdokkaille yhteisten monivalintavastausten perusteella. Toinen perustuu saman datan taustatietoihin: ikä, sukupuoli, kieli, uskontokuntaan kuuluminen, tulot, työnantajan laatu, koulutus.

Ensimmäistä voi kutsua vaikkapa käyttäytymis- tai arvoperustaiseksi ja jälkimmäistä demografiaperusteiseksi. Käyn läpi lähinnä ensimmäistä, mielipiteisiin perustuvaa ja vähän demografiaperustaita.

Tekstin lopussa on lisätietoa siitä, mitä “luokittelu” tässä yhteydessä tarkoittaa - ja ihan lopussa on lyhyt tekninen kuvaus (tiivistelmä: glmnet:in multinomiaalimalli, regularisoinnissa käytetään L1-normia)

Puolueet ja määrät

Ylen vaalikonedatasta löytyy kokeiluun 1849 ehdokasta. Jätin suosiolla pois ne puolueet, joilla vastaajia on alle viisi. Luokittelija nimittäin yrittää minimoida kokonaisluokitteluvirhettä ja jos luokkien esiintymisellä on suuri ero, pienet luokat saattavat hävitä kokonaisvirheen pienentämiseksi, eikä ristiinvalidointiinkaan riitä dataa.

Nykyisten eduskuntapuolueiden lyhenteet lienevät selviä, muut lyhenteet ovat: Itsenäisyyspuolue (IP), Kommunistinen Työväenpuolue (KTP), Muutos 2011 (M11), Piraattipuolue (PIR) Pirkanmaan Sitoutumattomat yhteislista (PSYL), Suomen Kommunistinen Puolue (SKP) ja Suomen Työväenpuolue (STP).

Luokittelutulokset vastausten perusteella

Kolme neljästä luokittuu oikein

Malli antaa ristiinvalidoidun tarkkuusennusteen 76%. Noin 24% ehdokkaista luokittuu siis väärään puolueeseen, kun perusteena käytetään Ylen tekemiä kysymyksiä suoraan. Tätä voi suhteuttaa: jos ainoa informaatio (priori) olisi se, kuinka paljon puolueilla on ehdokkaita, olisi kannattavinta arvata aina SDP:ta, jolla on aineistossa eniten ehdokkaita, noin 11%.

Tulos on paljon arvausta parempi, kun priori on noin 11%. Ylen vaalikoneen datan perusteella yksinkertainen oppiva kone siis pystyy useimmiten tunnistamaan ehdokkaan puoluekannan. Kaipa puolueet sitten eroavat toisistaan.

Luokittelijan tai kysymysten käsittelyn muokkaamisella tulosta voisi ehkä parantaa, mutta se ei ole tekemäni lyhyen harjoituksen kannalta oleellista.

Sekaannusmatriisi

Virhe on eri suuruinen eri puolueilla ja puolueet sekaantuvat eri tavoin. Luokittelukokeessa ehkä mielenkiintoisinta onkin se, miten eri puolueet sekaantuvat toisiinsa vaalikonevastausten perusteella. Seuraavassa ehdokkaat on luokiteltu ja lasketaan, kuinka monta prosenttia kunkin puolueen ehdokkaista saa minkäkin ennustetun puolueen.

RIVIT kertovat oikean puolueen ja sarakkeet ennustetun. Luvut ovat prosentteja ja rivit summatutuvat noin sataan (prosenttiluvut pyöristettyjä).

Esimerkiksi Kokoomus ja Kristillisdemokraatit erottuvat hyvin, toisaalta näkyy kuinka pienten puolueiden/listojen ehdokaat luokitellaan isompiin: Kommunistinen Työväenpuolue, Pirkanmaan sitoutumattomat ja Suomen Työväenpuolue sirottuvat muihin puolueisiin. Puolueiden eri- ja samankaltaisuutta (Ylen kysymysten perusteella!) voi katsella matriisista: Esimerkiksi isoista puolueista Keskusta luokittuu heikoiten ja osaa luokittelija luulee vihreiksi, kristillisdemokraateiksi, perussuomalaisiksi tai kokoomuslaisiksi. SKP sekaantuu osittain Vasemmistoliittoon ja Muutos 2011 Perussuomalaisiin. Toisaalta esimerkiksi harva, jos kukaan vihreä luokittu kristillisdemokraatiksi tai kokoomuslainen vasemmistoliittolaiseksi.

Mennään henkilötasolle

Käytetty luokittelija toimii niin, että luokiteltava saa ennusteen todennäköisyydestä olla kunkin puolueen ehdokas. Tässä vaiheessa on hyvä vielä muistuttaa, että kaikkiaan tämä harjoitus mittaa Ylen kysymysten ja käytetyn menetelmän kykyä tehdä luokittelua, ei todellista aatten puhtautta ja paloa. Pienimmät puolueet luokittuvat sen verran huonosti, että olen reilu ja otan esimerkiksi kymmenen puoluetta, joilla on tässä aineistossa eniten ehdokkaita.

Sarakkeet ovat todennäköisyys (pyöristettynä kokonaisiin prosentteihin) kullekin luokalle (puolueelle). Pienimmät puolueet on jätetty pois joten rivit eivät summaudu aina sataan.

Helpotuksen huokaus: kaikki näiden puolueiden puheenjohtajat ennustuvat oikein ja vieläpä isolla marginaalilla seuraavaksi todennäköisimpään. On hauska pohtia, mitä tästä voisi nähdä. No, ainakin porvaripuolueiden puheenjohtajilla on hyvin pieni todennäköisyys luokittua Vasemmistoliittoon ja vastaavasti vasemmistopuolueiden puheenjohtajilla Kokoomukseen.

Kertoimet: mitä kone on oppinut?

Kertoimen etumerkistä voi päätellä, mihin suuntaan erottelevat kysymykset vaikuttavat. Yksinkertaistaen: kukin ehdokas saa saa kuulumisestaan luokkaan (puolueeseen) pisteluvun, johon vaikuttavat nollasta poikkeavat kertoimet. Jos kerroin on nolla, on samantekevää kyseisen puolueen suhteen, miten on vastannut. Pisteluku lasketaan joka puolueelle erikseen. Esimerkiksi myöteinen suhtautuminen perustuloon tuo pisteitä Vihreiden tai Keskustan ehdokkaana ololle, mutta kertoo päinvastaista sosiaalidemokraattien listoille kuulumisesta. KD:n ehdokkaillakin on asiaan kanta (keskimäärin keskimääräistä kielteisempi): nolla kertoo vain, että luokittelijan mielestä tätä kysymystä ei kannata huomioida kristillisdemokraattien kohdalla.

Entä tuo euc? Lisäsin yhden johdetun muuttujan, joka kertoo kuinka kauas nollatasosta (nollataso = ohita tai tyhjä) ehdokas on vastannut. Näyttää siltä, että luokittelija hyödyntää sitä. Esimerkiksi keskimääräistä “miedommin” vastaaminen puoltaa kuulumista Keskustan ehdokkaisiin. Samalla voi demonstroida sitä että kertoimet eivät kuvaa suoraan puolueiden suhteita keskimääräiseen, vaan sitä miten tietoa käytetään luokittelussa. Alla Tukeyn laatikkokaavio muuttujan euc arvoista eri puolueiile. Paksu viiva on mediaani.

Esimerkiksi Vasemmistoliiton kerroin on nolla, vaikka ehdokkaissa on monia muita puolueita enemmän “jyrkkiä” vastaajia.

Istuvat vs. uudet ehdokkaat

Verrataan istuvien ja uusien ehdokkaiden luokittelun onnistumisprosentteja

Istuvat luokittuvat selvästi paremmin. Määrät ovat pieniä, joten kokeilin sattuman välttämiseksi tehdä mallin pelkästään aineiston 159 istuvalla kansanedustajalla (pl. Muutos 2011, jolla on vain yksi edustaja), luokittelutarkkuus on ristiinvalidoituna 88 % tienoilla. Ryhmäkuri on sisäistynyt.

Demografinen luokittelija

Ylen datassa on taustatietoina mm. tulot, sukupuoli, äidinkieli, lapset, koulutus, työnantajan laatu (yksityinen/julkinen), uskontokunta ja sijoitukset. Kokeilin miten käy, jos käyttää vain näitä tietoja. Kokonaistarkkuus on 27%. Tulos on tietysti huonompi kuin mielipiteisiin perustuvalla luokittelijalla ja hyvä niin - mutta sentään arvausta selvästi parempi. Kun tarkastelee sekaannusmatriisia, huomaa että kyllä demografia ja tulot (tai se että ei halua näitä kertoa) tietyissä tapauksissa ehdokkaiden puoluekannoista kertoo. Itse asiassa RKP luokittuu paremmin kuin asiakysymysten avulla, avaintekijä on tässä äidinkieli. Keskusta on varmaankin “keskiluokkainen” taustaltaan ja vetää siksi monta ehdokasta. KD:n erottuvuutta muista porvaripuolueista selittää suuri sen suuri määrä muihin kristillisiin kirkkokuntiin kuuluvia, joita muissa puolueissa on vähän.

Mikä on luokittelija?

Luokittelu on koneoppimisen yksi perustehtävä. Luokiteltaville alkioille, tässä ehdokkaille, on olemassa oikea luokka, puolue. Lisäksi on selittävää dataa, tässä vastauksia kysymyksiin. Luokittelija muodostetaan käyttämällä aineistoa, jossa tunnetaan sekä selittävä data että oikea luokkatieto. Luokittelijalla voidaan sitten ennustaa oikean luokka muun datan perusteella, kun luokkatieto puuttuu.

Luokittelu on siis prediktiivinen, ennustava tehtävä. Tässä tapauksessa kaikille ehdokkaille tiedetään oikea puolue, Ennustuskykyä simuloidaan ristiinvalidoinnilla, jossa osaa ehdokkaista käytetään mallin muodostamiseen ja osalla validoidaan kuinka hyvin malli osaa ennustaa. Luokittelija ei voi tehdä ihmeitä: jos kysymykset eivät tuo informaatiota riittävästi, ei luokittelija sitä voi mistään taikoa. Yksi tapa lisätä luokittelukykyä on lisätä dataa, siis kysymyksiä, tai tehdä luokittelijan rakenteesta monimutkaisempi. Tässä piilee väärin tehtynä ansa: luokittelija ylioppii detaljeja ja alkaakin ennustaa uutta aineistoa yhä huonommin. Tätä vastaan taistellaan regularisoinnilla.

Käytän lineaarista logistista multinomiaalimallia, joka antaa myös ehdokkaille todennäköisyyden kuulua kaikkiin puolueisiin. Lisäksi luokittelijan kertoimet antavat kuvan siitä, millä perusteilla luokkapäätös on tehty. Käytän L1-sakkoa (“lasso”), joka jättää kokonaan huomiotta kysymyksiä, jotka sotkisivat luokittelua. Luokittimen kerroinmatriisiin jäävät vain (luokittimen mielestä) puolueelle riittävät ja yleistyskyvyn säilyttävät erottelevat muuttujat.

Lyhyt tekninen kuvaus

Vastausvaihtoehdot on muunnettu seuraavasti

täysin eri mieltä / Ei = -1
jokseenkin eri mieltä: -1/2
ohita kysymys / Tyhjä: 0
jokseenkin samaa mieltä: 1/2
täysin samaa mieltä / Kyllä: 1

Lisäksi on laskettu muuttuja euc joka on vastausvektorin euklidinen etäisyys nollavektoriin, mikä siis kuvaa vastaustavan “äärimmäisyyttä” tai “laimeutta”.

(Demografiapohajaiseen luokittimeen vastaukset on 1-of-C -koodattu, puuttuva tieto eksplisiittisenä luokkana, ikä on likukuluku.)

Luokittelija on R:n glmnet -paketin multinomiaalimalli. Kokeessa on käytetty suoraan cv.glmnet -funktiota joka hakee regularisaatioparametrin 10-taitteisella ristiinvalidoinnilla.

classifier<-cv.glmnet(x,y,family="multinomial",type.measure="class",standardize=TRUE,intercept=TRUE,alpha=1)

glmnet standardoi muuttujat itse ja asettaa intercept-termin. Vipu alpha=1 asettaa mallin käyttämään L1-sakkoa regularisoinnissa (“lasso”). (alpha=0 olisi L2-sakko ja tältä väliltä saataisiin “elastic net” -regularisointi.) Kokeilin myös L2:ta, mutta tulos ei ollut ainakaan parempi.

Luokittelun kokonaisvirhe on parhaan mallin ristiinvalidaatiosta. Sekaannusmatriisin prosenttiluvut on puolestaan mallia sovellettu koko aineistoon, jolloin virhe on pari prosenttiyksikköä optimistisempi. Kokonaisvirhe olisi 21%, kun se ristiivalidoituna on siis 23,5%.

Koska muuttujia on suhteellisen vähän suhteessa dataan ja malli on lineaarinen ja glmnet:in regularisoinnin pitäisi olla laadukas, en ryhtynyt tekemään tästä sen ankarampaa validointia.

Lähdekoodi

Datan esikäsittelyyn ja luokitteluun käytetty skripti sekä esikäsitellyt datat löytyvät GitHubista.

Kaikkien ehdokkaiden lasketut todennäköisyydet kuulua kuhunkin puolueeseen löytyvät täältä.

Kirjoittaja Johan Himberg on data scientist Reaktorilla ja kävi jo äänestämässä eduskuntavaaleissa.

Avoimella paikkatiedolla kohti älykkäämpää kaupunkia

Fri, 13 Mar 2015 00:00:00 +0000

Helsingin Seudun Ympäristöpalvelut (HSY) järjesti keskiviikkona vuotuisen paikkatietoseminaarin Heurekassa. Tämän vuoden seminaarissa teemana oli älykäs kaupunki, ja vieläpä kehitys älykkäästä viisaaseen kaupunkiin. Tapahtuman ohjelma ja esitysten kalvot löytyvät täältä.

Sain kutsun puhumaan seminaarin yli 200 päiselle yleisölle avoimen paikkatiedon visualisoinnista ja mallinnuksesta. Päädyin kertomaan viime syksynä Antin ja Jannen kanssa tekemästämme fillarilaskentadatan analyysistä. Esityksessäni herätti mielenkiintoa erityisesti avoimen tekemisen korostaminen ja myös R:llä tehdyt visualisoinnit ja mallinnus kiinnostivat. Alla esimerkkinä lämpötilan vaikutuksesta pyöräilymääriin kertova kuva. Lisää tuloksia voi lukea Kaupunkifillari-blogista, ja lisäksi data ja lähdekoodi ovat saatavilla GitHubissa.

Seminaarissa oli paljon mielenkiintoista ohjelmaa liittyen paikkatietoon ja älykkäisiin kaupunkeihin. SeutuRuutu on käyttöliittymä mielenkiintoisiin Helsingin seudun paikkatietoaineistoihin, kuten tarkkaan väestötietoon. Näitä ei kuitenkaan ole avoimesti saatavana, vaan käyttöön pitää hakea lupa.

Miliza Ryötin ja Tuire Valkosen kalvoista voi katsoa esimerkkejä Helsingin Seudun Maankäyttösuunnitelmasta 2050, Asuntostrategiasta 2025 ja Liikennejärjestelmäsuunnitelmasta (HLJ) 2015. Itseäni kiinnostivat erityisesti HLJ:n pyöräilyn kehittämiseen liittyvät kehityssuunnitelmat, joista kuvakaappaus esimerkkinä alla.

Marko Kauppi ja Jouko Järnefelt Tampereen kaupungilta esittelivät avoimen lähdekoodin ratkaisuja paikkatiedon analysointiin ja visualisointiin. Kannattaa tsekata Joukon kalvot, niissä on lukuisia hienoja QuantumGIS (link) :llä tehtyjä paikkatietovisuja, joista kuvakaappaus alla.

Esa Mäkinen kertoi hienojen videopätkien säestämänä Hesarin tekemistä datajournalismin jutuista. Esa myös esitti paikkatiedon avaajille toiveita, joista erityisesti toive aluejakojen yhtenäistämistä tiedon tuottajien välillä on erittäin relevantti. Seuraavaksi Outi Hermans loi katsauksen paikkatiedon käytön kehittämiseen Helsingin kaupungilla vuosina 2011-2014. Tuona aikana kehitettiin mm. Helsinki Region Infosharen datakatalogia, joka onkin yksi Suomen parhaista avoimen datan varastoista.

Ari Purhonen kertasi tiedon jalostusketjun jossa datasta jalostetaan informaatiota, tietämystä ja lopulta mahdollisesti jopa viisautta. Hän näytti myös esimerkkejä miten Espoon kaupungilla käytetään 3D-visualisointeja kaupungin kehitystyössä ja osallistamisessa. Mielenkiintoista oli myös Pekka Sarkolan tekemä pilottianalyysi liito-oraville sopivien tienylityspaikkojen datalähtöisestä tunnistamisesta (kuvakaappaus alla).

3D-visualisoinneista pistivät paremmaksi Pekka Virkamäki ja Petri Kokko, jotka esittelivät Vantaan asuntomessuilla pilotoitavaa 5D mallia. Pelimaailmasta napatun 3D-moottorin avulla arkkitehtien suunnitemiin pystyi tutustumaan tarkasti ja lisäksi seuraamaan sunnittelu- ja rakennustöiden edistymistä. Hyvä esimerkki teknologian luomista mahdollisuuksista!

Jari Kähkölä Staralta kertoi Aurat Kartalla -visualisoinnista tuttuihin työkoneisiin liittyvistä kehityssuunnitelmista. Faris Alsuhail kertoi tekemästään kouluterveyskyselyaineiston tutkimuksesta, jossa vertailtiin alueellisia eroja koululaisten hyvinvoinnin välillä. Koulujen yksilöimisen välttämiseksi tutkimus jouduttiin tekemään karkealla suuraluetasolla, jolloin eroja alueiden välillä oli todella vähän verrattuna esimerkiksi sukupuolten välisiin eroihin (kuvakaappaus alla). Toivottavasti tulevaisuudessa löytyy keinoja näin tärkeän aineiston tarkempaan tutkimiseen!

Seminaari oli erittäin mielenkiintoinen ja hyvin järjestetty tapahtuma, kiitos järjestäjille, puhujille ja yleisölle! Toivottavasti ensi vuonna nähdään vielä enemmän mielenkiintoisia avoimen paikkatiedon sovelluksia.

Kansanedustajien Tahdon-kantojen ja iän korrelaatio

Sat, 22 Nov 2014 00:00:00 +0000

Tasa-arvoinen avioliittolaki käsitellään eduskunnassa 28.11.2014. Sivistysvaliokunta asettui niukasti vastustamaan uudistusta. Mielenkiintoiseksi asian tekee sen, että vastustajien ja kannattajien välillä menee selkeä ikäraja, kuten ao. HS:n uutisgrafiikasta nähdään (HS 21.11.2014).

Helsingin sanomat tutki myös kansanedustajien kantoja perustuen “useista eri lähteistä ja haastatteluista saatuihin tietoihin kansanedustajien kannoista, ja muutamassa tapauksessa kansanedustajien omiin ilmoituksiin” (HS 21.11.2014).

Onko näiden kansanedustajien kantojen ja heidän ikänsä välillä yhtä vahva korrelaatio kuin sivistysvaliokunnassa?

Tarvittavat tiedot saa HS:n artikkelista ja eduskunnan sivuilta ja niistä saa kätevästi plotattua jakaumia ja histogrammeja R:n ggplot2-kirjastolla. Alla on kuva viiden vuoden bineihin jaetuista histogrammeista.

Alla vielä toinen kuva jossa on estimoitu kunkin mielipiteen osuus kaikista iän mukaan.

Vaikka ero kannassa iän mukaan ei olekaan enää yhtä selvä kuin sivistysvaliokunnassa, näyttää siltä, että vanhemmat todennäköisemmin äänestävät ei, nuoremmat jaa ja epävarmat ovat iältään siltä väliltä. Huomattavaa on, että vanhin kansanedustaja Jörn Donner puoltaa ehdotusta, kun taas nuorin edustaja Miko Niikko vastustaa sitä, mikä näkyy myös kuvaajissa selvästi.

Lataa data csv:nä.

Iltasanomat teetti aiheesta kyselyn kansanedustajille, tätä olisi mielenkiintoista verrata HS:n arvioon (IS 24.11.2014).

Tarkempi kuvaus työprosessista

Kansanedustajien kannat sai suoraan copy-pasteamalla HS:n artikkelista. Sen sijaan heidän syntymävuotensa vaati enemmän työtä, koska mihinkään ei ole koottu kaikkien tämänhetkisten kansanedustajien tarkkoja syntymävuosia. Helposti on saatavissa syntymäaika vuosikymmenittäin, joka saattaisi riittää, mutta päätin kuitenkin hakea jokaisen kansanedustajan syntymävuoden erikseen eduskunnan kansanedustajalistauksesta, jossa on linkki kunkin kansanedustajan tietosivulle, josta saa kansanedustajan syntymäajan.

Koska vanhat konstit ovat monesti parempia kuin pussillinen uusia, päätin tietojen haun lynxillä ja käsittelyn pythonilla, joka subprocess-kirjastoa käyttäen kutsuu lynxiä. Käsittelyn jälkeen minulla oli csv-tiedosto, jossa on kunkin kansanedustajan nimi, syntymävuosi ja oletettu kanta tasa-arvoiseen avioliittolakiin. Ääkkösten kanssa joutui vähän kikkailemaan, koska sivuilta suoraan hakiessa ja toisaalta HS:n artikkelista copy-pastetessa ääkköset joutuivat eri formaattiin. En kuitenkaan tarvinnut kansanedustajien nimiä sinänsä, joten hoidin asian yksinkertaisella replace-rimpsulla.

Plottausvaihtoehtojen tarkasteluun käytin kattavaa Making histograms and density plots with ggplot2 -blogikirjoitusta.

Kirjoittaja Jaakko Särelä on Reaktor Innovations Oy:n Senior Data Scientist ja harrastaa vapaa-aikanaan yhteiskunnallista vaikuttamista ja kaupunkiaktivismia.

Päivitys 24.11.2014: Vaihdettu paremmat kuvat ja data csv:nä. Lisätty linkki Iltasanomien uutiseen aiheesta.

gisfin - Avoimen suomalaisen paikkatiedon työkalupakki R-kielelle

Sun, 24 Aug 2014 00:00:00 +0000

Paikkatiedon käsittely on keskeinen osa avoimen datan analysointia ja visualisointia. Nykyisellään paikkatietoaineistot ovat hajallaan eri lähteissä, tiedostomuodoissa ja koordinaattijärjestelmissä, joten niiden hyödyntäminen vaatii huomattavaa erityisosaamista. Iso osa paikkatietoaineistojen käsittelyyn liittyvistä toimenpiteistä on kuitenkin automatisoitavissa. Tästä syystä olemme kehittäneet suomalaisen paikkatiedon käsittelyyn tarkoitetun R-paketin: gisfin. Datademo-rahoituksen turvin olemme saaneet gisfin-paketin kehityksen vauhdikkaaseen alkuun.

Paketin kehitysversio löytyy githubista ja vaikka kehitettävää on vielä paljon, voi pakettia jo hyödyntää monenlaisiin tehtäviin. Datalähteet, joita paketti hyödyntää, sekä lyhyet käyttöä kuvaavat esimerkit löytyvät paketin tutoriaalista.

Tärkeimmät tällä hetkellä mukanava olevat lähteet ovat

Seuraavaksi aiomme laajentaa yksittäisistä kaupungeista saatavilla olevan datan määrä sisällyttämällä pakettiin Lounaispaikan Turku-aineistoja. Ota yhteyttä jos haluat ehdottaa uusia datalähteitä!

gisfin-paketti jatkaa suomalaisen avoimen datan R-ekosysteemin laajenemista. Keväällä toteutimme Datademon edellisen kierroksen rahoituksen turvin pääkaupunkiseudun avoimeen dataan keskittyneen helsinki-paketin. Omalta osaltamme Datademo on tarjonnyt sopivia resursseja kehitystyön ylläpitämiseen ja kokemuksemme molemmista kierroksista ovat olleet erittäin positiivisia.

gisfin on edelleen aktiivisen kehityksen alla ja tulevaisuudessa lisäämme uusia datalähteitä ja kehitämme käyttöesimerkkejä. Paketin kehitykseen liittyi loppumetreillä mukaan myös Jussi Jousimo Helsingin yliopistolta, joka toi mukaan Tilastokeskuksen paikkatietoaineistoja. Lisäksi meillä on Jussin johdolla työn alla fmi-paketti Ilmatieteen laitoksen avointen datojen käsittelyyn sekä yleisesti paikkatiedon verkkojakeluun tarkoitettua WFS-rajapintamäärittelyä ymmärtävä rwfs-paketti. Suomalainen avoimen datan R-ekosysteemi jatkaa siis laajenemistaan myös tulevaisuudessa!

Esimerkkejä

Suomen kunnat kartalle

Kuntarajat ovat tarpeellisia erilaisissa vaikkappa vaaleihin tai tilastotietoihin liittyvissä visualisoinneissa. Toisaalta kuntarajat muuttuvat lähes vuosittain. Ajantasainen kuntaraja-aineisto on saatavissa Maanmittauslaitokslta, mutta verrattain hankalassa GML-formaatissa. Alla oleva esimerkki näyttää, kuinka list_mml_datasets-funktiota voidaan käyttää listaamaan saatavilla olevat MML:n avoimet aineistot. Tämä jälkeen kuntaraja-aineisto (hallintoalueet) haetaan get_mml -funktiolla.

library(gisfin)

list_mml_datasets()

## $`2012`
## character(0)
## 
## $`Maastotietokanta-tiesto1`
## [1] "N61_v"
## 
## $`Maastotietokanta-tiesto2`
## [1] "N62_p" "N62_s" "N62_t" "N62_v"
## 
## $`Yleiskartta-1000`
##  [1] "AmpumaRaja"             "HallintoAlue"          
##  [3] "HallintoAlue_DataFrame" "HallintoalueRaja"      
##  [5] "KaasuJohto"             "KarttanimiPiste500"    
##  [7] "KarttanimiPiste1000"    "KorkeusAlue"           
##  [9] "KorkeusViiva500"        "KorkeusViiva1000"      
## [11] "LentokenttaPiste"       "LiikenneAlue"          
## [13] "MaaAlue"                "Maasto1Reuna"          
## [15] "Maasto2Alue"            "MetsaRaja"             
## [17] "PeltoAlue"              "RautatieViiva"         
## [19] "SahkoLinja"             "SuojaAlue"             
## [21] "SuojametsaRaja"         "SuojeluAlue"           
## [23] "TaajamaAlue"            "TaajamaPiste"          
## [25] "TieViiva"               "VesiAlue"              
## [27] "VesiViiva"             
## 
## $`Yleiskartta-4500`
##  [1] "HallintoAlue"        "HallintoalueRaja"    "KarttanimiPiste2000"
##  [4] "KarttanimiPiste4500" "KarttanimiPiste8000" "KorkeusAlue"        
##  [7] "KorkeusViiva"        "Maasto1Reuna"        "RautatieViiva"      
## [10] "TaajamaPiste2000"    "TaajamaPiste4500"    "TaajamaPiste8000"   
## [13] "TieViiva2000"        "TieViiva4500"        "TieViiva8000"       
## [16] "VesiAlue"            "VesiViiva2000"       "VesiViiva4500"      
## [19] "VesiViiva8000"

# Haetaan hallinto-alue aineisto
sp.mml <- get_mml(map.id="Yleiskartta-4500", data.id="HallintoAlue")

# Luodaan sopiva temaattinen karttaväritys aineistolle
sp.mml@data$COL <- factor(generate_map_colours(sp.mml))
# Piirretään kartta-aineisto käyttäen kuntia
spplot(sp.mml, zcol="COL", col.regions=rainbow(length(levels(sp.mml@data$COL))), colorkey=FALSE)

Helsingin äänestysalueet

Maamme suuremmat kaupungit kuten Helsinki, Turku ja Tampere tarjoavat monenlaisia avoimia aineistoja, joista osa on myös paikkaan sidottuja. Helsingissä paikkatietoaineistoja on saatavilla esimerkiksi Helsingin kaupungin paikkatietopalveluiden kautta. Seuraava esimerkki noutaa kaupungin sivuilta pääkaupunkiseudun äänestysalueet ja visualisoi kartan kunnittain.

sp.aanestys <- get_helsinki_aluejakokartat(map.specifier="aanestysalue")
spplot(sp.aanestys, zcol="KUNTA", col.regions=rainbow(length(levels(sp.aanestys@data$KUNTA))), colorkey=FALSE)

Seuraava esimerkki puolestaan näyttää, kuinka Helsingin peruspiirijako voidaan piirtää Googlen karttapalvelusta saadun taustakartan päälle. Haetaan ensin aineisto:

library(ggmap)

## Error in library(ggmap): there is no package called 'ggmap'

library(ggplot2)

sp.piiri <- get_helsinki_spatial(map.type="piirijako", map.specifier="ALUEJAKO_PERUSPIIRI")

Googlen kartta-aineistot ovat maantieteellisessä, WGS84-pohjaisessa koordinaattijärjestelmässä. Peruspiirien piirtämistä varten selvitetään ensin missä koordinaattijärjestelmässä peruspiiriaineisto on:

sp.piiri@proj4string

## CRS arguments:
##  +init=epsg:3879 +proj=tmerc +lat_0=0 +lon_0=25 +k=1 +x_0=25500000
## +y_0=0 +ellps=GRS80 +towgs84=0,0,0,0,0,0,0 +units=m +no_defs

EPSG-koodi 3879 paljastaa, että aineisto on Helsingissä käytössä olevassa ETRS89/GK25FIN tasokoordinaattijärjestelmässä. Aineiston saamiseksi yhteismitalliseksi Googlen taustakartan kanssa, on se ensin projisoitava maantieteelliseen koordinaattijärjestelmään:

sp.piiri <- sp::spTransform(sp.piiri, CRS("+proj=longlat +datum=WGS84"))

Lopuksi piirretään peruspiirit ja taustakartta käyttäen suosittua ggplot2-pakettia ja sen karttalaajennosta, ggmap-pakettia:

# Syötetään keskikoordinaatit peruspiirien maaantieteelliselle ulottuvuudelle
hel.center <- apply(bbox(sp.piiri), 1, mean)

# Haetaan kartta Googlen karttapalvelusta
hel.map <- ggmap::get_map(location=hel.center, source="google", zoom=10, scale=2)

## Error in loadNamespace(name): there is no package called 'ggmap'

# Muokataan paikkatietoaineisto ggplot2:lle sopivaan muotoon ja piirretään
# aineistot
df.piiri <- sp2df(sp.piiri, region="NIMI")
ggmap(hel.map) + geom_polygon(data=df.piiri, aes(x=long, y=lat, fill=NIMI), alpha=0.5) + theme(legend.position="none")

## Error in eval(expr, envir, enclos): could not find function "ggmap"

STAN ja Kilpisjärven kesät

Wed, 29 Jan 2014 00:00:00 +0000

Johtopäätöksiä tai edes käyttökelpoista visualisaatiota ei useinkaan pysty tekemään datasta suoraan, vaan tarvitaan mallintamista. Mallintaminen erottaa kiinnostavan ja ei-kiinnostavan variaation, ja auttaa johtopäätösten luotettavuuden arvioinnissa.

Pienehköissä projekteissa mallintaminen perustuu valmiisiin mallikohtaisiin ohjelmistopaketteihin. Esim. jos työskennellään R:ssä, regressiomalli syntyy lm()-funktiolla. Jos ennustettavassa on patologisen oloisia poikkeamia, voidaan lm():n sijaan käyttää robustia regressiota. Epälineaaristen vaikutusten huomiointi onnistuu parhaiten mgcv-paketin gam()-funktiolla. Jos selittäjissä on kovin moniarvoisia nominaalimuuttujia ja data on harva ja iso, turvaudutaan lme4-pakettiin, jne. Pakettia valitessa pitää päättää mitkä datan piirteet unohtaa, koska mikään paketti ei ole tarpeeksi joustava.

Rakenteinen data

Nykyään puhutaan rakenteettomasta datasta (unstructured data) ja tarkoitetaan usein datan esitysmuotoa: se ei ole relaatio-tietokantaan sopivina taulukoina. Tilastollisesti puhutaan rakenteellisesta datasta silloin kun ei ole osoitettavissa mittausyksikköä, riippumatonta ”näytettä”. Esim. spatiaalinen tai aikasarjadata on luonnostaan rakenteellista, koska vierekkäiset näytteet ovat yleensä samantyyppisiä. Sama pätee hierarkiaan: jos maitten sisällä on läänejä, läänien sisällä kuntia, ja kuntien sisällä asukkaita, ja näistä on vielä toistomittauksia, ei datasta ole osoitettavissa ”näytteen” tasoa, josta olisi riippumattomia toistoja. Hieman hämäävästi, esitysmuodoltaan ”rakenteeton” data on usein tilastollisesti rakenteellista, koska rakenne on oikeasti niin monimutkainen että sen esittämisestä relaatiokannan keinoin on luovutettu.

Riippuvuuksia sisältävän datan kanssa valmispakettien ongelmat korostuvat. Riippuvuusrakenteet ovat aina datakohtaisia, ja niiden esittämiseen tarvitaan joustava mallinnuskieli.

Tee se itse?

Vaihtoehto valmiiden mallikohtaisten pakettien käytölle on koodata mallin estimointi itse. Tutkimustyössä uuden mallin estimoinnin koodaaminen itse on perusteltua, käytännön mallinnusprojekteissa vain jos mallinnuksen hyöty on huomattava. Etenkin avoimen datan projekteissa budjetti on usein pieni.

Itse koodaamisen ja mallispesifien pakettien välissä on ollut 1990-luvun alusta asti BUGS-perheen työkaluja (WinBUGS, OpenBUGS, JAGS), joilla voi helposti koodata melkein minkä tahansa mallin. Näiden käyttö on rajoittunut pienehköihin datoihin, koska estimointi tulkattavalla Gibbs-sämplerikoodilla on hidasta.

Todennäköisyysohjelmointi

Tilanne on nyt muuttumassa. Stan-ohjelmistopaketti tukee hamiltonilaiseen mekaniikkaan perustuvaa HMC:tä, joka on yleensä Gibbs-sämpleriä merkittävästi nopeampi. Stan tuottaa mallinkuvauksesta C++-koodia, joka käännetään natiivikirjastoksi. Matriisioperaatioihin Stan käyttää tehokasta Eigen-kirjastoa. HMC tarvitsee likelihood-funktion ensimmäisen asteen derivaatat: Stan laskee nämä analyyttisesti mallikoodin perusteella. Stan osaa myös laskea perinteisiä MAP/ML-ratkaisuja BFGS-optimoinnilla. Myöhemmin Staniin on tulossa analyyttinen toisen asteen derivointi (RHMC, Laplace-approksimaatiot) ja luultavasti myös approksimatiivisia estimointimenetelmiä kuten EP (expectation propagation) ja variationaaliset posteriori-approksimaatiot.

Stan onkin selvä kehitysaskel kohti uutta ohjelmistoteknistä suuntausta, todennäköisyysohjelmointia (probabilistic programming). Idea on kuvata vain dataa tuottava mekanismi, generatiivinen malli, ja mahdollisesti käytettävien approksimaatioiden taso ja muoto. Kääntäjä huolehtii estimointifunktionaalisuuden tuottamisesta. Näin pystytään käyttämään entistä merkittävästi joustavampia malleja.

Stanin ohjelmointi vaatii tietenkin kokemusta generatiivisista malleista, ja myös on ymmärrettävä käytettävän estimointiprosessin ominaisuudet, jotta monimutkaisemmasta mallista saa tehokkaan. Esimerkiksi parametriavaruuden tai oikeammin posteriorin geometrian olisi syytä olla sämplerille helppo, ilman ”todennäköisyyskuiluja”. Joskus myöhemmin RHMC tai parempi kääntäjä voi helpottaa tilannetta geometrian osalta, mutta toisaalta isomman datan kanssa on aina tehtävä oikaisuja, ja niiden valinta vaatii ammattitaitoa. Tulevaisuuden kääntäjät voivat ymmärtää ja optimoida parametriavaruuden geometriaa.

Stanin ja vastaavien todennäköisyysohjelmoinnin kielien päälle kehittyykin luultaavasti sovelluskohtaisi erityisratkaisuja. Tästä on jo esimerkkikin: glmer2stan sallii lme4:n mallinkuvauksien (formula) käytön Stanin kanssa.

Muista todennäköisyysohjelmoinnin projekteja ovat mm. PyMC, JAGS, Infer.NET ja Venture. DARPA rahoittaa todennäköisyysohjelmoinnin tutkimusta PPAML-ohjelmassaan.

Kilpisjärven kesät

(Alla olevan intron koodit ovat Githubissa.)

European Climate Assessment -sivuilta on ladattavissa lämpötilamittausten aikasarjoja yksittäisiltä mittausasemilta. Sieltä voi ladata myös Kilpisjärven lämpötilasarjan päivätasolla. Jos haluamme tietää näkyykö kesien lämpeneminen jo Kilpisjärven tiedoissa, päiväkohtaiset havainnot kannattaa ensin aggregoida vuosittaisiksi kesäkuukausien keskilämpötiloiksi: (Oma aikasarjani on peräisin suoraan Ilmatieteen laitokselta, minkä ei pitäisi muuttaa tuloksia, ainakaan oleellisesti.)

Kilpisjärven kesäkuukausien keskilämpötiloja viime vuosikymmeniltä.

Sarjaan on helppo sovittaa trendi R:ssä:

m <- lm(temp ~ year, data=d)
summary(m)
10*(c(-1.96, 1.96)*sqrt(diag(vcov(m))["year"])+coef(m)["year"])

Trendi poikkeaa nollasta merkitsevyystasolla p=0.0115, ja trendin 95% luottamusväli on 0.05–0.36 astetta per vuosikymmen. Eli kyllä Kilpisjärven kesät näyttäisivät jo lämmenneen!

Mieltä jää kalvamaan kuitenkin epäilys autokorrelaatiosta. Kylmät ja lämpimät vuodet tunnetusti esiintyvät ainakin globaaleissa aikasarjoissa peräkkäin, johtuen mm. suursäätilan keskimääräisestä pysyvyydestä jopa vuosien yli (AO/NAO), merten tilasta (ENSO), tulivuorista ja hieman auringon aktiivisuudestakin. Jos näin, peräkkäiset vuodet eivät ole riippumattomia, näytteiden efektiivinen määrä on pienempi kuin vuosien (62), ja p-arvo ja luottamusväli ovat ylioptimistisia. Myöskin sarjan alkupuolella on isoja poikkeamia keskimääräisestä. Ehkä ne rikkovat normaalijakaumaoletukset ja vaikuttavat p-arvoon?

Eli näinkin yksinkertaisella datalla saadaan aikaan hankala tilanne, jossa ratkaisuksi pitää lähteä etsimään R:stä aikasarjapakettia, joka sallisi trendien estimoinnin ja mielellään robustin regression. Sellainen voi ollakin olemassa, mutta ei ole ihan helppo löytää.

Lineaarinen regressio Stanilla

Kokeilemme siis mallintamista Stanilla. Aluksi lineaarinen regressio, eli sama malli jonka sovitimme yllä lm()-funktiolla. Mallin kuvaus on alla. Huomaa että malliin ei ole yksinkertaisuuden vuoksi määritelty prioreita. Yleensä ne kannattaa määritellä.

data {
 int<lower=1> N; real y[N]; }
parameters {
 real baseline; real trend; real<lower=0> sigma; }
model {
 for (t in 1:N) y[t] ~ normal(baseline + trend*t, sigma); }

… ja R-koodi:

library(rstan)
sdat <- list(N = nrow(d), y = d$temp)
m.slm <- stan_model("kj-lm.stan")
fit <- sampling(m.slm, data=sdat, iter=20000)
trends <- extract(fit, "trend")[[1]]
2*sum(trends<0)/length(trends)
quantile(trends, c(0.025, 1-0.025))

Vähempikin määrä iteraatioita riittäisi, esim. 1000 näytettä per ketju antaa yhteensä 500–800 efektiivistä näytettä posteriorista ja vie aikaa n. 0.7 sekuntia. Mutta nyt haluamme tarkan p-arvon vertailua varten. p-arvo on 0.0125, eli melko lailla sama kuin R:n lm()-funktiolla saatu.

Robusti regressio

Mallin residuaali on helppo vaihtaa t-jakaumaksi:

data {
 int<lower=1> N; real y[N]; }
parameters {
 real baseline; real trend; real<lower=0> sigma; real<lower=0> df; }
model {
 df ~ normal(0, 20);
 for (t in 1:N) y[t] ~ student_t(df+1, baseline + trend*t, sigma); }

p-arvo (0.0092) ja trendin luottamusväli (0.05–0.37) eivät juurikaan muuttuneet, mutta hieman sarjan isot alkupään poikkeamat ovat häirinneet trendin estimointia. Tähän viittaa myös virhejakauman vapausasteiden posteriori: vapausasteilla 1–10 jakaumasta tulee jo selvästi normaalijakaumaa pitkähäntäisempi.

Virhejakauman vapausasteiden posteriorijakauma.

Autokorrelaatiot

Unohdamme hetkeksi residuaalit, ja siirrymme autokorrelaatioiden ongelmaan. Lämpötilasarjassa voisi olla pitkän aikavälin syklisyyttä, mutta datassa ei silmämääräisesti näy kummempia kuoppia, ja sellaisten erottaminen trendistä on jo määritelmällisesti vaikeaa. Keskitymme siis lyhyen aikavälin (1–10 vuotta) korrelaatioihin.

Yksi vaihtoehto olisi parametrisoida residuaaleille korrelaatiomatriisi. Helpompaa ja laskennallisesti tehokkaampaa on kuitenkin tehdä peräkkäisistä estimointivirheistä lineaarisesti riippuvia. Eli määrittelemme kertoimet theta[lag], lag=1…10, joilla aiempi estimointivirhe kerrotaan ja otetaan huomioon kunkin vuoden kohdalla. Näiden päälle tuleva ’uusi’ estimointivirhe on sitten normaalijakautunutta riippumattomasti joka vuodelle. Mallia kutsutaan aikasarja-analyysissä MA-malliksi.

Stan-koodissa joka vuodelle lasketaan virhe, ensin ottaen koko estimointivirhe (havainto miinus trendi) ja vähentäen tästä vanhat, ikäänkuin muistetut virheet:

data {
 int<lower=1> N; real y[N]; 
 int<lower=1> D; // Maximum lag. }
parameters {
 real baseline; real trend; 
 real<lower=0> sigma;
 vector<lower=-1, upper=1>[D] theta; }
transformed parameters {
 vector[N] eta; 
 { vector[N] err;
   for (t in 1:N) { 
   eta[t] <- trend*t + baseline; 
   for (lag in 1:D) { 
        if (t>lag) eta[t] <- eta[t] + theta[lag] * err[t-lag]; }
   err[t] <- y[t] - eta[t]; }}}
model { y ~ normal(eta, sigma); }

Koko mallikoodi on tiedostossa kj-correlated.stan, ja muistutuksena, käytetyt R-komennot yleisemminkin tiedostossa kj.R.

Nyt vastassa on ongelmia: 3000 MCMC-iteraatiota ei näytä riittävän virheiden (err) ja theta-parametrien kunnolliseen estimointiin. Sovitettu malliobjekti fit kertoo samaa: kovin montaa riippumatonta näytettä ei ole saatu, ja neljästä eri ketjusta saadut theta-estimaatit poikkeavat liikaa toisistaan. Alla ruutukaappaus kommennon plot(fit, pars=”theta”) jäljiltä. Viivat ovat 80% luottamusvälejä ja pisteet yksittäisten ketjujen mediaaneja:

Theta-estimaattien tarkastelua

Aikasarjakerrointen paimennusyrityksiä

Ongelmana on ehkä trendin ja autokorrelaation keskinäinen epäidentifioituvuus. Myöskin loppupään theta-kertoimet ovat suuruusluokaltaan ja keskinäisiltä eroiltaan epärealistisia, eli priori theta-kertoimille on liian löysä.

Malliin on helppo lisätäoletus theta-kerrointen mahdollisesta pienuudesta ja samankaltaisuudesta:

theta ~ normal(0, theta_sd); theta_sd ~ normal(0, .5);

Ko. priori sallii myös isot ja keskenään erisuuruiset kertoimet, jos data antaa niille tukea. Koko mallikoodi on tiedostossa kj-correlated-pooled-theta.stan. Huomaa että parametrin määrittelystä on poistettu rajoitus välille -1…1, koska se ei ole yhteensopiva normaalijakautuneen priorin kanssa. Sensijaan itse malliin on lisätty parametrille tanh()-muunnos, joka pitää ottaa huomioon mallia tulkittaessa.

Näiden muutosten jälkeen useimmat ketjut satunnaisalustuksilla konvergoituvat samanlaiseen lopputulokseen. Kun uskomme tämän olevan mallin oikea posteriori, voimme ajaa pitemmän ajon p-arvoa varten. Autokorrelaatiot, jos niitä on, tekevät tuloksista hieman epävarmempia koska efektiivinen näytteiden määrä pienenee. Tällä kertaa p-arvo on 0.016 ja 95% luottamusväli 10 vuoden trendille 0.04–0.37. Merkittävää muutosta ei siis autokorrelaatioista tai 11 parametrin lisäämisestä syntynyt. (Parametrien optimointi maximum likelihood -mielessä vastaisi alkuperäistä MA-mallia ilman theta-kerrointen prioria, eikä siis toimisi kovin hyvin.)

Kaikki yhdessä

Lisäämme malliin vielä lopuksi alkuperäisen mallin t-jakautuneet residuaalit. Pääpiirteiseen ajoon (3000 näytettä, 100–1000 efektiivistä näytettä) kuluu aikaa n. 3 sekuntia, ja pitkään ajoon (11000 efektiivistä näytettä trendille) tarkkaa p-arvoa varten 88 sekuntia. ”Lopullinen” p-arvo 0.013 on lähes identtinen alkuperäisen lm()-funktiolla saadun p-arvon kanssa (0.0115). Oliko vaivannäkö Stanin kanssa turhaa? Ei aivan, sillä voimme olla rauhallisin mielin autokorrelaation ja sarjan alkupään suurten poikkeamien osalta. Ne ovat nyt mallissa mukana.

P-arvon tuijottamisen jälkeen on hyvä pitää mielessä (vuosi)trendin posteriorijakauma:

Vuositrendin posteriorijakauma

P-arvolla on teoreettista mielenkiintoa malleja vertailtaessa ja pyhitettyjen rajojen (0.01, 0.05) alittaminen on tietenkin vakuuttavaa. Mutta johtopäätösten kannalta oleellista on, että trendi on luultavasti ollut luokkaa 0.1°–0.3° per vuosikymmen.

Autokorrelaatioiden olemassaolo jää epäselväksi, mutta päätöstä niiden suhteen ei tarvitse tehdäkään: malli integroi eri mahdollisuuksien yli. theta-kerrointen posteriorit eivät poikkea merkitsevästi nollasta. Toisaalta esim. ensimmäinen kerroin on luultavasti positiivinen:

Theta-kerrointen posteriorit

Sovittuiko data

Lopuksi vielä vilkaisemme mallin residuaaleita (residuaaliposteriorin keskiarvo, vrt. koodi tiedostossa kj.R):

Mallin residuaalit

Residuaaleissa ei näy merkillisyyksiä, joskin keskivaiheilla aikasarjaa näkyy aavistus notkahduksesta. Tiedostossa kj2.stan on vielä rikkaampi malli, jossa on ajan suhteen myös toisen asteen termi. Sen kerroin on positiivinen 80% todennäköisyyllä.

Mallin ydinkoodi on hyvä, parempi kuin Stanin manuaalin versiossa 2.1.0 oleva MA-mallin koodi. Mutta malliin voisi lisätä (epäinformatiiviset) priorit regressiokertoimille ja residuaaleille. Tällä kertaa prioreilla ei liene käytännön merkitystä, mutta joskus niiden puuttuminen voi johtaa estimointiongelmiin. Myöskään satunnaisinitialisaatio (init=”random”) ei toimi kaikille ketjuille. Ketjut voi alustaa myös deterministisesti (init=0), ja niin on pitemmille ketjuille tehtykin. Ne ovat silloin vähemmän satunnaisia ainakin alkupäästään, joten ketjuja ei voi luotettavasti verrata toisiinsa konvergenssin varmistamiseksi. Muitakin vaihtoehtoja on, esim. MAP-estimaatin voi etsiä optimizing()-komennolla ja käyttää sitä hieman perturboituna initialisointiin. MAP ei kuitenkaan hierarkian ylempien tasojen osalta toimi, koska optimoinnin kannalta theta-parametrit kannattaa vapauttaa (hyperpriorin puitteissa) täysin.

Mallia voisi laajentaa ottamalla siihen mukaan esim. useita vuodenaikoja, tai useampia mittausasemia. Näiden keskinäisten riippuvuuksien hallintaan voisi käyttää vaikkapa gaussisia prosesseja.

Huomioita

Lineaarinen perusmalli sovittui Stanilla helposti, samoin kuin t-residuaalimalli, mutta autokorrelaatiomallin onnistunut estimointi vaati useiden erilaisten parametrisaatioiden kokeilua, ja lopulta samplerin parametrien konfiguraatiota (stepsize_jitter=0.3, vrt. koodi). Näin lienee yleisemminkin. Stanin manuaalista löytyy valmiiksi koodattuna monta erilaista standardimallia. Mutta kun alkaa tehdä omia mallejaan, pitää varautua kokeiluihin ja iteraatioihin. Myös manuaalin vihjeet reparametrisaatiosta ja vektoroinnista on syytä ottaa vakavasti.

Ajoajat ovat tällä mallilla kohtuullisia, mutta datakin on pieni. On vaikea antaa ylärajaa Stan-mallien datan koolle, koska estimoinnin nopeus riippuu niin paljon mallista. Käytännössä mallit luokkaa 10⁴–10⁶ datapisteelle ovat mahdollisia. Olen itse sovittanut malleja, joissa on satoja tuhansia datapisteitä ja yhtä paljon parametreja.

(Kirjoittaja on päätynyt akateemisten ja muiden kokeilujen jälkeen Reaktorin data science -tiimiin. Luonnoksia kommentoivat ouzor, antagomir, Jarkko ja Jaakko. Pauli antoi datat.)

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2014/01/29/stan-kj/

rOpenGov: kansainvälinen R-ekosysteemi avoimelle datalle

Mon, 09 Dec 2013 00:00:00 +0000

Suomalainen avoimen datan työkalupakki sorvi tarjoaa automatisoituja haku- ja analyysirutiineja suomalaisille avoimen datan lähteille, kuten Tilastokeskuksen, Maanmittauslaitoksen, Helsingin seudun ympäristöpalveluiden, Terveyden ja hyvinvoinnin laitoksen ja muiden tahojen ylläpitämille tietovarannoille. Välineet tarjoavat uusia työvälineitä muun muassa yhteiskuntatieteilijöille, opiskelijoille, datajournalisteille, blogaajille ja järjestöille, jotka tahtovat hyödyntää yhteiskunnan uusia tietovarantoja työssään tehokkaasti ja läpinäkyvästi.

Suomalaiselle sorville on viime aikoina ilmestynyt vastineita monissa maissa. Yhteistyön edistämiseksi olemme käynnistäneet kansainvälisen rOpenGov-yhteisöprojektin, joka kokoaa yhteen R-ekosysteemiä laskennallisten yhteiskuntatieteiden työvälineeksi. Mukaan on jo liittynyt projekteja Suomen lisäksi Itävallasta, Puolasta, Ruotsista, Venäjältä, ja Yhdysvalloista. Uudet R-käyttäjät ovat tervetulleita talkoisiin!

Alueellinen hyvinvointi – vuorovaikutteinen visualisointi Sotkanetin datasta

Fri, 06 Dec 2013 00:00:00 +0000

Louhoksen ja Demos Helsingin yhteistyönä tehty vuorovaikutteinen visualisointi alueellisesta hyvinvoinnista sijoittui Apps4Finland 2013 -kilpailun Hahmota-sarjassa hienosti kolmanneksi. Visualisointi mahdollistaa Sotkanetin hyvinvointi-indikaattoreiden havainnollisen tarkastelun ja mielenkiintoisten ilmiöiden löytämisen. Demos blogasi aiheesta aiemmin tällä viikolla, ja avaan tässä sitä lisää Louhoksen näkökulmasta.

Louhoksen toiminta on toistaiseksi keskittynyt lähinnä avointen datasettien esikäsittelyyn ja hakurutiinien kehittämiseen sorvi-paketissa. Lisäksi olemme tehneet avatuista datoista yksinkertaisia visualisointeja ja bloganneet niistä. Tavoitteena on tehdä myös syvällisempiä analyysejä, mutta toistaiseksi niihin ei ole aika riittänyt päivätöiden ohella. Meillä ei myöskään ole kokemusta yhteiskuntatutkimuksesta, mikä vaikeuttaa mielenkiintoisten tutkimuskysymysten löytämistä.

Vuoden 2013 keväällä tarjoutui mahdollisuus kokeilla yhteistyötä ajatushautomo Demos Helsingin tutkijoiden kanssa. Demos tekee monipuolista yhteiskunnallista tutkimusta, ja heidän käsittelemänsä aiheet kuten demokratia ja energiakysymykset ovat erittäin kiinnostavia. Avoimen datan myötä tällaiseen yhteiskunnalliseen tutkimukseen on mahdollista tuoda myös määrällisiä komponentteja.

Alustavien tunnustelujen jälkeen päädyimme tutkimaan yhdessä Sotkanetin hyvinvointi-indikaattoreita, jotka lisäsimme sorviin aiemmin tänä vuonna. Demoksen Juha Leppänen ja Satu Korhonen valitsivat Sotkanetista joukon mielenkiintoisia indikaattoreita erilaisista alueelliseen hyvinvointiin liittyvistä aiheista. Näiden pohjalta teimme vuorovaikutteisen visualisoinnin (ruutukaappaus alla), jota näpräämällä tutkijat pääsivät tulkitsemaan dataa.

Tämä yhteistyökokeilu valoi uskoa tulevaisuuden yhteiskuntatutkimukseen jossa avoin data sekä avoimet datan käsittely- ja visualisointityökalut yhdistyvät tutkijoiden asiantuntemukseen. Vuoropuhelu, jossa tutkijat pääsevät vaikuttamaan data-analyysin kaikkiin vaiheisiin esittämällä kysymyksiä ja lopuksi tulkitsemaan dataa, mahdollistaa vaikeidenkin yhteiskunnallisten kysymysten lähestymisen uudella tavalla.

Visualisoinnin teknisestä toteutuksesta

Vuorovaikutteinen visualisointi on toteutettu RStudion mahtavalla Shiny-työkalulla, joka mahdollistaa visualisointien todella helpon toteuttamisen ja pystyttämisen RStudion tarjoamalle serverille. Itse visualisoinnit on tehty Google Charts-työkaluilla käyttäen R:n googleVis-pakettia ja lisäksi ggmap-paketilla. Koodit datan käsittelyyn ja Shiny-visualisaatioon löytyvät Githubista.

Tämä oli ensimmäinen Shiny-härpäke jonka tein, joten kehitettävää on vielä paljon sekä käytettävyydessä että visuaalisella puolella. Kokemus oli kuitenkin erittäin lupaava ja uskon että Shinylle tulee paljon käyttöä tulevaisuudessa!

PÄIVITYS 10.10.2014: Päivitetty uudet linkit visualisointiin ja lähdekoodiin.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2013/12/06/alueellinen-hyvinvointi/

Kunnallisvaalit sosiaalisessa mediassa

Sat, 26 Jan 2013 00:00:00 +0000

Datavaalit-sivustolla ylläpidettävään sosiaalisen median aggregaattiin on tätä kirjoitettaessa kasautunut dataa 987 ehdokkaan Twitter-syötteestä ja 2553 ehdokkaan Facebook-sivulta yhteensä 419975 päivitystä. Profiilien osoitteet on poimittu Ylen vaalikoneesta sekä ehdokkaiden omien ilmoitusten perusteella. Esimerkeissä käytetty data on saatavilla CSV-dumppina GitHubin avoindata-repositoryn kautta. Yksityiskohtaisempaa dataa on saatavilla Datavaalit-sivuston rajapinnan kautta.

Poimimme muutamia esimerkkejä aineiston sisällöstä syksyn 2012 kunnallisvaaleihin liittyen. Esimerkit lähdekoodeineen löytyvät kokonaisuudessaan Louhoksen Datawikistä.

Sosiaalisen median päivitystiheydet aikasarjana

Syksyn 2012 kunnallisvaalien aikana puolueitten ehdokkaat päivittivät statuksiaan tavanomaista ahkerammin.

Aktiivisimmat statuspäivittäjät

Osa ehdokkaista jyrää sosiaalisessa mediassa ihan huolella.

Miehet twiittailee, naiset ahkerampia Facebookin käyttäjiä?

Vertailussa ei ole huomioitu yksittäisten massatwiittajien vaikutusta tuloksiin.

Puolueiden aktiivisuus sosiaalisessa mediassa

Suuret puolueet näkyvät paljon myös sosiaalisessa mediassa, koska ehdokkaitakin on enemmän. Datawikistä löytyy tämän lisäksi edustajaa kohden normalisoidut päivitystiheydet.

PÄIVITYS 24.11.2020: Poistettu suora linkki vedonlyöntiyhtiön kaappaamalle datavaalit.fi-sivustolle.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2013/01/26/kunnallisvaalit-sosiaalisessa-mediassa/

Eduskunnan äänestysten hakurutiinit R-kielelle

Wed, 07 Nov 2012 00:00:00 +0000

Eduskunnan äänestysdatan sujuva saatavuus mahdollistaa eduskunnassa tehtävien päätösten automaattisen seurannan ja edistää läpinäkyvyyttä. Mikko Heikkisen aiemmin julkaisema biomi.orgin eduskunta-APIn kautta on saatavilla osa eduskunnan äänestysdatoista.

Lisäsimme nyt R-kieliset hakurutiinit eduskunnan äänestysdatalle sorviin osana Datavaalit-hanketta. Näiden avulla löytyvät kaikki biomi.org-rajapinnan kautta saatavilla olevat eduskunnan äänestystiedot sekä äänestys- että edustajakohtaisesti. Yksityiskohtaisia hakuesimerkkejä löydät Louhoksen Datawikistä.

Ääkkösten ja muiden erikoismerkkien käsittely on vielä osin ratkaisematta; pull requestejä otetaan vastaan. Toinen, vakavampi ongelma liittyy eduskunnan äänestysdatan tämä hetkiseen saatavuuteen: eduskunnan äänestysdata on saatavilla koneluettavassa muodossa vain biomi.orgin kautta, jonka nykyinen päivitystiheys ei salli äänestysten reaaliaikaista seurantaa. Äänestysdatan jakaminen koneluettavassa muodossa suoraan eduskunnan palvelimilta edistäisi päätöksenteon seurantaa ja läpinäkyvyyttä ja olisi hyvää palvelua kansalaisten suuntaan – tältä osin heitämme pallon eduskunnalle.

PÄIVITYS 24.11.2020: Poistettu suora linkki vedonlyöntiyhtiön kaappaamalle datavaalit.fi-sivustolle; Päivitetty biomi.org-linkki

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/11/07/eduskunnan-aanestysten-hakurutiinit-r-kielelle/

Kunnallisvaaliehdokkaiden aktiivisuus sosiaalisessa mediassa: puolueiden vertailua

Fri, 26 Oct 2012 00:00:00 +0000

Datavaalit-hanke on kerännyt runsaasti aineistoa kunnallisvaaliehdokkaista ja puolueista. Sivustolla ylläpidetään esimerkiksi sosiaalisen median aggregaattia, johon kerätään tietoja ehdokkaiden aktiivisuudesta mm. Facebookissa ja Twitterissä.

Teimme muutamia esimerkkejä ehdokasaineistojen käsittelystä R-kielellä. Esimerkit hakevat dataa Oikeusministeriön, Tilastokeskuksen, Maanmittauslaitoksen ja Datavaalit-sivuston palvelimilta ja vertailevat ehdokkaiden aktiivisuutta sosiaalisessa mediassa puolueiden välillä, ja ne voidaan toistaa alusta loppuun automatisoidusti mukana tulevalla lähdekoodilla.

Visualisoinnit lähdekoodeineen löydät Louhoksen Datawikistä ja Githubin takomo-reposta. Materiaaliin on tulossa myöhemmin täydennystä.

PÄIVITYS 24.11.2020: Poistettu suora linkki vedonlyöntiyhtiön kaappaamalle datavaalit.fi-sivustolle.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/10/26/kunnallisvaaliehdokkaiden-aktiivisuus-sosiaalisessa-mediassa-puolueiden-vertailua/

Kunnallisvaalien vertailukelpoiset ehdokasdatat CSV-taulukkoina: 2004 / 2008 / 2012

Fri, 05 Oct 2012 00:00:00 +0000

Vuoden 2012 kunnallisvaaliehdokkaiden vertailu aiempien kunnallisvaalien ehdokastietoihin on nyt ajankohtainen aihe. Ensimmäisiä vertailuja on julkaistu muun muassa Jyväskylän ylioppilaslehdessä ja Helsingin vaalipiirille on laadittu alustava puolueloikkaritaulukko.

Käyttövalmiissa muodossa olevien aineistojen puute kunnallisvaaleista 2004-2008 on kuitenkin jälleen osoittautunut merkittäväksi pullonkaulaksi koko maan kattaville vertailuille sen jälkeen, kun julkaisimme edellisessä blogipostauksessa OM:n koneluettavista raakadatoista koostetun käyttövalmiin CSV-tiedoston 2012 kunnallisvaalien ehdokasdatasta.

Datavaalit työstää keskitettyä tietokantaa vaalidatan tarjoilulle helppokäyttöisessä muodossa, mutta työn edetessä julkaisemme alustavaa dataa käyttövalmiina CSV-taulukkoina Linus Torvaldsin tunnetuksi tekemää ”release early – release often”-taktiikkaa noudattaen. Nyt vuorossa vertailukelpoiset 2004-2012 ehdokasdatat.

Lataa kunnallisvaalien ehdokasdata 2004-2012

Taulukot on laadittu mahdollisimman vertailukelpoisiksi siten, että informaatiota ei katoa. Aineistot löytyvät nyt GitHub-sivuilta ja Datavaalit-palvelimelta (linkki poistettu).

Vuosien 2004-2008 aineistot on esitetty äänestysalueen tarkkuudella, lisäksi saatavilla on kuntatason yhteenvedot pienempinä erillistaulukoina. Vuoden 2012 osalta aineistot ovat kuntatasolla. Vuoden 2012 osalta mukana on joitakin lisätietokenttiä, lisäksi osa vuoden 2004-2008 kentistä puuttuu vuoden 2012 aineistoista. Yhteisten kenttien nimet ovat suoraan vertailukelpoisia taulukkojen välillä. Esikäsittely on tehty läpinäkyvästi alla linkatulla lähdekoodilla. Emme takaa aineiston virheettömyyttä. Pyydämme raportoimaan mahdollisista puutteista. Ehdokasaineistojen vertailuja edistäisi entisestään, mikäli OM yksilöisi ehdokkaat uniikilla tunnuksella; samassakin kunnassa voi olla ehdolla saman nimisiä ehdokkaita.

Aineistolähteet ja lähdekoodi

Aineistot on haettu Oikeusministeriön palvelimelta (2012; (C) OM 2012) ja Tilastokeskukselta (2004/2008, (C) Tilastokeskus 2012). Kuntakoodimuunnoksissa on lisäksi hyödynnetty Maanmittauslaitoksen aineistoja ((C) MML 2011-2012). Yhtenäistimme esim. kenttien nimiä taulukoiden välillä, lisäsimme selkokielisiä kenttiä koodinimien oheen, eriytimme etu- ja sukunimet, kunnat ja äänestysaluenimet omiin kenttiinsä ja järjestimme taulukkojen yhteiset kentät samaan järjestykseen. Lähdekoodi esikäsittelyyn on tehty sorvi-paketin kehitysversiolla 0.1.92 käyttäen alla olevaa lähdekoodia. Mahdolliset päivitykset alla olevaan lähdekoodiin tehdään suoraan takomo-repoon.

PÄIVITYS 24.11.2020: Poistettu suora linkki vedonlyöntiyhtiön kaappaamalle datavaalit.fi-sivustolle.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/10/05/kunnallisvaalien-vertailukelpoiset-ehdokasdatat-csv-taulukkoina-2004-2008-2012/

Datavaalit: Oikeusministeriön vaalidatat sorvattu auki

Fri, 28 Sep 2012 00:00:00 +0000

Oikeusministeriö julkaisi eilen illalla (to 27.1.2012) koko maan kattavat tiedot kunnallisvaalien ehdokkaista ja puolueista. Mukana vuoden 2012 kunnallisvaaleissa on kaikkiaan 36305 ehdokasta. Yhdistelemällä aineistoa esimerkiksi viime kunnallis- ja eduskuntavaalien tuloksiin sekä kuntatason indikaattoreihin voidaan tuoda esiin uusia näkökulmia suomalaiseen kunnallispolitiikkaan.

Datavaalit edistää helppokäyttöisen vaalidatan saatavuutta

Louhos ja sorvi ovat aktiivisesti mukana viikko sitten Open Knowledge-festivaaleilla lanseeratussa Datavaalit-hankkeessa, jonka tavoitteena on tukea vaalidatan avaamista ja laajaa hyödyntämistä. Helppokäyttöisessä muodossa olevan päätöksentekodatan heikko saatavuus on keskeinen pullonkaula yhteiskunnallisesti vaikuttavassa datajournalismissa sekä läpinäkyvyyttä edistävien verkkopalveluiden yleistymisessä. Datavaalit-hanke kokoaa tietoja ehdokkaista, puolueista ja vaaleista kaikkien ulottuville. Datavaalit on sitoutumaton ja yhteisövetoinen hanke, jonka käynnistymistä Suomen itsenäisyyden juhlarahasto Sitra on tukenut Uusi Demokratia -kiihdytysrahoituksella.

R-kieliset rutiinit vaalidatan putsaamiseksi

Oikeusministeriön julkaisema vaalidata on sellaisenaan hankalasti käytettävää, koska aineisto on jaettu useisiin erillisiin tiedostoihin, kenttien otsikot puuttuvat, ja tiedostojen sisältö vaatii putsaamista. Edistääksemme vaalidatan mahdollisimman laajaa ja sujuvaa hyödyntämistä loimme sorviin hakurutiinit, jolla koko aineiston voi hakea helposti R-ympäristöön ilman hankalia esikäsittelyvaiheita. Rutiinit lukevat vaalipiirikohtaiset taulut, yhdistävät ne koko maan kattavaksi yhtenäiseksi taulukoksi, ja lisäävät sarakeotsikot sekä selkokieliset nimet koodinimellä ilmoitettujen kenttien oheen. Hakurutiinit löytyvät sorvi-paketin develop-haaran versiosta 0.1.88, ja esimerkkikoodi niiden käyttöön on Louhoksen takomo-repossa.

Lataa siistitty vaalidata-CSV

Tuloksena on kaksi selkeää koko maan kattavaa vaalidata-taulukkoa, yksi ehdokkaille ja toinen puolueille. Päätimme pistää ensimmäiset CSV-muotoiset datat jakoon datavaalit.fi-palvelimelle samalla, kun sivuston kattavampi ja helppokäyttöinen tietokantaratkaisu on työn alla. Voit ladata CSV-tiedostot (tai tiiviimmät gzipatut versiot) seuraavista linkeistä:

Ehdokasdata: CSV (linkki poistettu) Puoluedata: CSV (linkki poistettu)

Välineet Oikeusministeriön tarjoaman vaalidatan siistimiseksi helppokäyttöiseen muotoon ovat vielä kehitysvaiheessa, emmekä takaa aineistojen virheettömyyttä. Ilmoitukset mahdollisista puutteista ovat erittäin tervetulleita. Ilmoitamme päivityksistä tässä blogissa ja datavaalit.fi-sivustolla.

Kehitysehdotukset Oikeusministeriölle

Oikeusministeriölle kiitokset aineistojen julkaisemisesta. Hyvää palvelua kansalaisten suuntaan olisi tarjota taulukot jatkossa suoraan selkokielisessä muodossa, jonka koneluettavuus säilyy. Ehdotamme OM:lle tuleviin versioihin seuraavia parannuksia, jotka on mahdollista lisätä nopeasti ja automatisoidusti, ja jotka edistäisivät aineiston käytettävyyttä merkittävästi:

Aineistot tulisi tarjota vaalipiirikohtaisten taulukoiden sijasta tai lisäksi koko maan kattavana kokoomataulukkona
Sukupuolen, kunnan, vaalipiirin ja vaalityypin osalta koostetaulukkoon tulisi lisätä tietokantakoodin ohelle myös selkokieliset nimet
CSV-tiedostoista tulisi tarjota versio, jonka kentät on otsikoitu valmiiksi. Kenttien tulkitsemiseen tarvittaviin PDF-muotoisiin kuvaustietoihin ei löydy linkkiä tiedostojen jakelusivulta; tiedostojen tulkinta vaatii nyt erillisten kuvaustiedostojen löytämistä ja kenttien otsikkotietojen lisäämistä käsin. Tämä vie aikaa ja sisältää mahdollisuuden virhetulkintoihin.
Tiedostojen jakelusivulta löytyvät PDF-yhteenvetotaulukot ehdokkaista ja puolueista voisi tarjota jakoon myös CSV-muodossa, jolloin niitä voisi tulkita suoraan koneellisesti.
Olisi tärkeää lisensoida aineistot avoimesti, esimerkiksi CC0-lisenssillä. Tämä takaisi selkeät juridiset pelisäännöt aineistojen jatkokäytölle ja edistäisi niitten vapaata käyttöä.

PÄIVITYS 24.11.2020: Poistettu suora linkki vedonlyöntiyhtiön kaappaamalle datavaalit.fi-sivustolle.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/09/28/datavaalit-oikeusministerion-vaalitulosdata-sorvattu-auki/

Aihepiirianalyysi kansanedustajien puheista

Mon, 20 Aug 2012 00:00:00 +0000

Hesari ja Kansan muisti julkaisivat keväällä mielenkiintoisen kansanedustajien puheista koostetun datasetin. Datan perusteella syntyikin useita mielenkiintoisia visualisointeja osana HS Open 4 -tapahtumaa. Näin laaja aineisto tarjoaa myös mainion mahdollisuuden kokeilla aihepiirianalyysiä (engl. topic model). Se on tilastollinen koneoppimismenetelmä, jolla laajoista tekstidokumenttikokoelmista voidaan etsiä toistuvia aihepiirejä (topic). Esimerkiksi kansanedustajien puheista voidaan automaattisesti tunnistaa eduskunnassa käsiteltyjä aiheita, ja mitata edustajien verbaalista aktiivisuutta kunkin aiheen tiimoilta.

Aihepiirianalyysissä kukin aihepiiri koostuu joukosta sanoja, jotka esiintyvät usein aihepiirin keskusteluissa. Vastaavasti kukin dokumentti, tässä tapauksessa tietyn kansanedustajan puheet, sisältää joukon aihepiirejä. Esimerkiksi viisi todennäköisintä sanaa aihepiirille 7 ovat koulutus, ammattikorkeakoulu, aloituspaikka, opiskelija, ja esillä, ja aihepiirille 19:lle puolustusvoima, suomi, sopimus, jalkaväkimiina, ja Afganistan. Näiden sanojen perusteella esimerkkiaihepiirit on helppo nimetä koulutusta ja maanpuolustusta käsitteleviksi. On tärkeää huomata, että kukin sana voi esiintyä useammassa kuin yhdessä aihepiirissä, esimerkiksi sanaa suomi käytetään kansanedustajien puheissa monessa yhteydessä.

Aihepiirianalyysin tulokset voisi esittää listaamalla annettujen esimerkkien tyyliin kullekin aihepiirille todennäköisimmät sanat ja vastaavasti kullekin kansanedustajalle todennäköisimmät aihepiirit. Erityinen eye diagram -visualisointi tiivistää mallin löytämät yhteydet yhteen kuvaan:

Eye diagram -visualisointi kansanedustajien puheiden aihepiirianalyysista

Esimerkkiaineistomme eye diagram-visualisoinnissa (PDF-versio) kansanedustajat ovat vasemmalla, aihepiirit keskellä ja sanat oikealla. Viivojen leveydet kuvaavat mallin määrittämiä todennäköisyyksiä kansanedustajien ja aihepiirien ja vastaavasti aihepiirien ja sanojen välillä. Kunkin aihepiirin yhteydet on esitetty omalla värillään ja lisäksi kuhunkin aihepiiriin liittyvät kansanedustajat ja sanat on tulkinnan helpottamiseksi pyritty listaamaan peräkkäin. Pienen tutustumisen jälkeen visualisoinnista löytyy selkeitä aihepiirejä. Tässä esimerkiksi-visualisointi, jossa on korostettu selvästi eurokriisiin liittyvän aihepiirin yhteydet.

Esimerkki valaisee aihepiirianalyysin tarjoamia mahdollisuuksia tekstidatan analysoinnissa. Tuloksia olisi mahdollista tulkita tarkemminkin puheiden ajankohdan ja puolueen mukaan. Lisäksi vuorovaikutteinen versio eye diagram -visualisoinnista helpottaisi tulkintaa entisestään. Aihepiirianalyysi antaa nopean yleiskuvan eduskunnan ajankohtaisista keskustelunaiheista ja toimijoista.

Teknisiä yksityiskohtia

R-koodit analyysin toistamiseen löytyvät alta sekä Louhos-projektin Takomo-reposta. Visualisointi on toteutettu Processing:lla, ja lisäksi tarjolla on yksinkertainen R-rajapinta.

Hesarin julkaisemassa datasetissä Eduskunnan puheet olikin jo Kansan muistin toimesta muutettu perusmuotoon, mikä on käytännössä edellytyksenä suomenkielisen datan analysoinnissa. Osa mallin löytämistä aihepiireistä on yleisempiä, kuten topic 15 (myös, asia, pitää, sitten ja aika), jota käyttävät suurin osa kansanedustajista. Tällaiset aihepiirit eivät ole erityisen mielenkiintoisia, ja visualisoinnista onkin selvyyden vuoksi poistettu aihepiirit 3, 11, ja 15. Toinen höydyllinen esikäsittelyvaihe tekstidatan analyysissä on erilaisten yleisten sanojen, kuten ja, tai ei poistaminen. Tässä analyysissä poistin joukon ns. sulkusanoja (engl. stop word), mutta enemmänkin vastaavia sanoja voisi poistaa, kuten aihepiiri 15 osoittaa.

Aihepiirianalyysi ajettiin R:n topicmodels-paketilla, mutta R:ssä olisi tarjolla muitakin toteutuksia topic-mallille. Mallin ajaminen vaatii erinäisten parametrien asettamisen, niistä tärkeimpänä aihepiirien määrä. Tässä analyysissä määräksi asetettiin 20 sen kummemmin validoimatta. Lisätietoa aihepiirien määrän oikeaoppisesta validoinnista ja muista parametreista löytyy esimerkiksi topicmodels-paketin oheismateriaalissa. Eye diagram -visualisointikoodi on saatavilla githubissa.

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/08/20/aihepiirianalyysi-kansanedustajien-puheista/

Datavaalit osa 1 – vaali- ja kuntadatan kokoaminen ja paketointi

Mon, 21 May 2012 00:00:00 +0000

Datavaalit Syksyn kunnallisvaalien yhteydessä on mahdollisuus kokeilla vaaleihin ja päätöksentekoon liittyvän tiedonlouhinnan mahdollisuuksia ja tuoda esiin kehityskohteita päätöksentekoon kytkeytyvien tietoaineistojen saatavuuden ja yhteiskunnan läpinäkyvyyden lisäämiseksi. Aiheen tiimoilta on käynnistynyt ruohonjuuritason Datavaalit-tempaus, jossa eri toimijat keräävät, pöyhivät, ja julkaisevat vaaleihin liittyvää dataa ja sen pohjalta tehtäviä havaintoja. Datavaalit-tempauksella ei ole muodollista organisaatiota, vaan aiheesta kiinnostuneet ovat tervetulleita liittymään mukaan itselleen sopivalla tavalla. Ideoita ja tietolähteitä on koottuna täällä. Jos aihepiiri kiinnostaa, nyt on hyvä aika hypätä kelkkaan. Louhos-tiimimme on mukana Datavaalit-tempauksessa kehittämällä yhteisövetoista soRvi-ohjelmakirjastoa yhteiskunnan tietovirtojen seulontaan.

Vaalitilastojen kokoaminen Aloitimme kunnallisvaaleihin valmistautumisen keräämällä Helsingin Sanomien pyynnöstä kattavan paketin kuntatason sosioekonomista dataa ja aiempiin vaaleihin liittyviä tilastoja valmiiksi esikäsitellyssä taulukkomuodossa yhdistämällä Tilastokeskuksen ja Maanmittauslaitoksen avoimia kuntatason aineistoja. Data sisältää kuntatason tietoja väestöstä, koulutuksesta, työttömyydestä, ja muista indikaattoreista yhdistettynä kunnallisvaalien tuloksiin vuosilta 2000, 2004 ja 20008 sekä eduskuntavaalien tuloksiin vuosilta 2007 ja 2011. Aineistoja hyödynnetään mm. maanantain 21.5.2012 HS Open-tapahtumassa, jossa koodaajien, graafikoiden ja toimittajien muodostamat tiimit pöyhivät tätä ja muita kunnallisvaaleihin liittyviä datoja. Jäämme mielenkiinnolla odottamaan, mitä tapahtuman osallistujat löytävät näiden tietoaineistojen kätköistä.

Hakurutiinit soRviin Esikäsitellyt kuntatason tietoaineistot ovat ladattavissa yllä olevan linkin kautta HS:n palvelimelta, mutta tämän blogipostauksen lopussa olevalla soRvi-kirjastoon pohjautuvalla koodilla niiden automaattinen luku onnistuu myös suoraan alkuperäislähteistä. Koodissa käytetyt hakurutiinit ovat toistaiseksi saatavilla vain soRvin GitHub-kehitysversion kautta. Tiedot on nyt koostettu kaksiulotteisiksi taulukoiksi, sillä näiden käsittely ja yhdistely muihin tietoihin onnistuu helposti tavanomaisilla taulukko-ohjelmilla. Haittana on, että taulukon metatietoja joudutaan kokoamaan tekstimuotoon otsikkoriville. Automatisoidun analyysin kannalta moniulotteiset taulukot ja tietokantapohjaiset esitysmuodot olisivat optimaalisempia. Pyrimme jatkossa kehittämään soRvi-kirjastoa myös tältä osin ja uudet ehdotukset ja kontribuutiot ovat tervetulleita.

Ongelmia Tilastokeskuksen aineistoilla Aineistoja kootessamme havaitsimme, että Tilastokeskuksen avointen aineistojen luku vaatii pelkästään Windowsilla toimivaa ja suljetusti lisensoitua PX-Edit-ohjelmaa. Tämä muodostaa merkittävän pullonkaulan Tilastokeskuksen avointen aineistojen automatisoidulle saatavuudelle ja käytölle: 2621 avoimesta datataulukosta vain 29% (761 tiedostoa) oli automatisoidusti luettavissa verkon yli R-kielen valmiilla hakurutiineilla. Toistaiseksi PX-Edit näyttää olevan ainoa loppuun viilattu ohjelma Tilastokeskuksen käyttämän dataformaatin lukuun, mutta ohjelma toimii vain Windowsilla, sen käyttöä verkon yli ei saa kohtuullisella työmäärällä automatisoitua, ja lisenssiehdot hankaloittavat vaihtoehtoisten lukurutiinien tuottamista. Toivommekin Tilastokeskuksen jakavan avoimet aineistonsa jatkossa myös XML-tiedostoina tai muussa standardimuodossa, jolloin niiden luku ja automatisoitu yhdistely muihin tietoaineistoihin sujuvoituisi merkittävässä määrin kasvattaen entisestään tämän laadukkaan datakokoelman merkitystä ja arvoa.

Alla vielä lähdekoodi, jolla Tilastokeskuksen vaali- ja kunta-aineistojen haku ja yhdistely alkuperäislähteistä onnistuu soRvin kehitysversiolla >0.1.70.

Muokattu 7.4.2013 Esimerkkikoodit löytyvät nyt Louhoksen takomo-reposta

PÄIVITYS 24.11.2020: Poistettu suora linkki domain squattereiden kaappaamalle datajournalismi.fi-sivustolle

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/05/21/datavaalit-osa-1-vaali-ja-kuntadatan-kokoaminen-ja-paketointi/

Vaalitulosten vertailua vuorovaikutteisena visualisaationa

Tue, 07 Feb 2012 00:00:00 +0000

Vaalihumu alkaa onneksi jo laantua, mutta innokkaimmille tarjotaan tässä vielä osana Datavaalit2012-projektia mahdollisuus vertailla äänestystuloksia ensimmäisen ja toisen kierroksen välillä. Vertailu onnistuu kuntatasolla sekä pääkaupunkiseudun sisällä äänestysalueiden kesken.

VISUALISOINTI: VAALITULOSTEN VERTAILU KUNNITTAIN. Tässä voi esimerkiksi tarkastella kuinka aktiivisesti Soinia ja Väyrystä ensimmäisellä kierroksella äänestäneet äänestivät toisella kierroksella, ja toisaalta äänestivätkö he Niinistöä vai Haavistoa.

VISUALISOINTI: VAALITULOSTEN VERTAILU PÄÄKAUPUNKISEUDULLA. Tässä voi tarkastella äänestyskäyttäytymistä yksityiskohtaisesti pääkaupunkiseudun sisällä äänestysalueittain. PÄIVITYS 8.2. kaupungit korjattu, kiitos Martille kommentista.

Tässä esimerkkinä ruutukaappaus interaktiivisesta visualisoinnista.

Esimerkkivertailu. Väyrysen ensimmäisen kierroksen kannatuksen ja toisen kierroksen äänestysprosentin välillä näyttää olevan yhteys.

Aiemmat Louhoksessa julkaisut visualisaatiot ovat kaikki olleet staattisia, sillä R:ssä on toistaiseksi melko huonosti tarjolla työkaluja interaktiivisten visualisointien tekoon. Tähän tuli kuitenkin hiljattain muutos googleVis R-paketin myötä. Paketti tarjoaa helppokäyttöisen rajapinnan Google Chart Tools:iin, joilla kuka tahansa voi tuottaa esimerkiksi Hans Rosling -tyyppisen Motion Chartin hetkessä.

Vaalien ensimmäisen kierroksen tuloksista julkaistiinkin jo hieno Motion Chart -visualisointi, jossa oli lisäksi yhdistetty muuta Tilastokeskukselta löytyvää kuntadataa. Näytämme nyt kuinka sama tehdään R:llä yhdistäen ensimmäisen ja toisen kierroksen vaalidatat, koodi löytyy alta.

HS Next tarjoaa ensimmäisen ja toisen kierroksen äänestystulokset, ja lisäksi Tilastokeskukselta löytyi lista kunnista vaalipiireittäin, mikä helpottaa datan työstämistä yhteensopivaan muotoon. Tulokset löytyvät aluksi linkitettyinä Dropboxin kautta, kunnes keksin kuinka ne saa sisällytettyä WordPressiin. PÄIVITYS: Tämä ei taidakaan onnistua eli noilla Dropbox-linkeillä mennään.

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

PÄIVITYS 24.11.2020: Poistettu suora linkki domain squattereiden kaappaamalle datajournalismi.fi-sivustolle

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2012/02/07/vaalitulosten-vertailua-vuorovaikutteisena-visualisaationa/

Suomalaisten muuttoliike Maailmanpankin datoista maailmankartalla visualisoituna

Thu, 17 Nov 2011 00:00:00 +0000

Mistä maasta ihmiset muuttavat Suomeen ja mihin Suomesta muutetaan? Vastausta voi etsiä Maailmanpankin Migration-datasta. Kiinnostuin aiheesta tämän mielenkiintoisen mutta loppupeleissä mielestäni erittäin vaikeaselkoisen visualisoinnin takia. Yritettyäni aikani tutkia Suomen muuttovirtoja turhauduin ja päätin visualisoida datan itse kartalle (vaihteeksi). Maailmankarttavisualisointeja ei tästä blogista vielä löydykään, joten tulee sekin samalla tutuksi. Lisäksi R-ohjelmointi -blogissa oli jokin aika sitten koodinpätkä jolla R tuottaa interaktiivisen karttapallon, jota oli tietysti pakko kokeilla itse uuden datan kanssa!

Idea on simppeli: ladataan Maailmanpankin data ja haetaan Suomen tiedot eli kuinka monta ihmistä on muuttanut Suomesta kuhunkin maahan ja päin vastoin vuonna 2010. Muuttoliike yhteen suuntaan on helppo värikoodata kartalle, mutta halusin tehdä nimenomaan yhden kartan josta näkyisi sekä muuttoliikkeen suunta että muuttajien määrä. Testailin eri vaihtoehtoja ja päädyin lopulta näyttämään Suomeen kohdistuvan muuttoliikkeen punaisella värillä ja Suomesta poispäin kulkevan liikkeen sinisellä värillä, jolloin jos jostakin maasta on muuttoliikettä molempiin suuntiin, näkyisi se violettina. Lisäksi värin voimakkuus (alpha-kanava) näyttää muuttajien määrän. Lopputuloksesta pystyy vertailemaan liikenteen suuntaa ja voimakkuutta eri maiden välillä, mutta varsinaisia arvoja siitä ei pysty tulkitsemaan.

Muuttoliike Suomesta ja Suomeen. Sinisen väri kertoo Suomesta muihin maihin kohdistuvan muuttoliikkeen suhteellisen osuuden koko muuttoliikkeestä, ja punainen vastaavasti Suomeen suhtautuvan liikkeen osuuden. Värien voimakkuus kertoo muuttajien määrästä.

Visualisoinnista näkyy todella selkeästi muuttoliikkeen suunta: Suomeen muutetaan pääasiassa alemman kehitystason maista Aasiasta, Afrikasta, Etelä-Amerikasta ja Itä-Euroopasta, kun taas Suomesta muutetaan lähinnä muihin kehittyneisiin maihin Eurooppaan, Pohjois-Amerikkaan, Australiaan ja Länsi-Eurooppaan. Tätä olisi mielenkiintoista verrata tarkemmin elintasosta kertoviin datoihin, mutta jätetään se myöhemmäksi.

Alla jälleen R-lähdekoodi. Jos et vielä ole kokeillut Louhoksen esimerkkejä, nyt kannattaa viimeistään kokeilla sillä tuo interaktiivinen karttapallovisualisointi vaatii R-koodin ajamisen mutta on ehdottomasti näkemisen arvoinen!

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2011/11/17/suomalaisten-muuttoliike-maailmanpankin-datoista-maailmankartalla-visualisoituna/

R-paketti avoimen Suomi-datan louhintaan

Sun, 09 Oct 2011 00:00:00 +0000

On tullut aika yhdistää voimavarat ja koota kattava kokoelma eri tahoilla kehitettyjä ratkaisuja avoimen datan käsittelyyn yhteen pakettiin. Kehitteillä oleva avoimen lähdekoodin sorvi-paketti on suunnattu palvelemaan erityisesti suomalaista avoimen datan yhteisöä ja kokoamaan yleiskäyttöisiä välineitä tietoaineistojen hakuun, putsaamiseen, yhdistelyyn, louhintaan ja visualisointiin. Esimerkkejä paketin käytöstä Suomi-datan penkomiseen tullaan julkaisemaan lisää tässä blogissa.

Paketti on kehitysvaiheessa, ja uudet tekijät ja lisäykset ovat tervetulleita. Ensimmäisenä esimerkkinä sorvin käytöstä hain kuntien asukasluvut Väestörekisterikeskuksen sivulta ja visualisoin kuntien sukupuolijakauman Suomen kartalla. Miesvaltaiset kunnat on merkitty sinisellä ja naisvaltaiset punaisella.

Suomen kuntien sukupuolijakauma

Matkan varrella ilmeni seuraavia teknisiä ongelmia: 1) gadm-muotoinen Suomen kuntajako on vanhentunut versio, esimerkiksi Rovaniemen ja Rovaniemen maalaiskunnan yhdistyminen ei ole näytä olevan mukana tässä versiossa. Alueet, joille asutustietoja ei ollut saatavilla, on merkitty karttaan valkoisella. Kertokaa, jos tiedätte mistä ajantasaisempi kuntajako on saatavilla R:lle. 2) En onnistunut käsittelemään skandeja R-paketin käännössä, joten ne piti ensin poistaa kuntien nimistä. Tämä tuskin vaikuttanee tuloksiin. Osaako joku kertoa, miten skandit jotenkin mukaan R-pakettiin? 3) Väestörekisterikeskuksen tiedot piti hakea parsimalla keskuksen verkkosivun taulukkoa XML-paketin työkaluilla. Kätevämpi tapa (kuten Juuso aiemmin mainitsi) olisi hyödyntää aineistoa suoraan PC Axis-muodosta esim. Tilastokeskuksen sivuilta, vinkkejä otetaan vastaan.

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2011/10/09/r-paketti-avoimen-suomi-datan-louhintaan/

HS Open 3 lämmittely: Asuntojen myyntihinnat Helsingin kartalla

Wed, 05 Oct 2011 00:00:00 +0000

Päivitys: Uudempi postaus tästä aiheesta!

Kolmannessa HS Openissa yhtenä avattuna datana on Asuntojen vuokrat ja hintapyynnöt Oikotiellä. Talosen Jaakko ehtikin jo tehdän vuokrahinnoista mainion visualisoinnin. Itse olen jo pidempään fiilistellyt mahdollisuutta käyttää GoogleMapsin karttoja R-visualisoinnin pohjana, ja tässähän tarjoutui loistava tilaisuus kokeilla tuota käytännössä.

Ideana on siis näyttää Oikotiedatan perusteella asuntojen hintapyynnöt kartalla, käytännössä keskimääräiset neliöhinnat postinumeroa kohden. Helpommin sanottu kuin tehty. Tämä vaatii nimittäin maantieteelliseti koordinaatit kullekin postinumerolle. Geonames tarjoaa tällaista tietoa, mutta itse en ainakaan onnistunut saamaan sieltä Helsingin kaupunginosien postinumerotietoja ulos. Kertokaa jos onnistutte paremmin.

Helsinki Region Infosharesta löytyy pääkaupunkiseudun aluejakokartat, jossa kaupunginosille on annettu koordinaatit parilla eri tarkkuustasolla. Tämä data on mm. GoogleMapsin käyttämässä KML-formaatissa, minkä takia jouduin vähän kikkailemaan jotta sain datan R:n ymmärtämään muotoon. Lopulta päädyin käyttämään erillistä kmlcsv-konvertteria, jolla sain alueiden pistetiedot käännettyä csv:ksi.

Seuraavaksi tarvittaisiin sitten tiedot postinumerojen ja kaupunginosien yhteyksistä. Postilla on hakupalvelu joka antaa katujen nimet postinumeroiden perusteella, mutta siitä ei ole tässä apua. Lisäksi Itella tarjoaa koko maan kattavaa postinumerotiedostoa, muttei sentään ilmaisena ja avoimena datana, olisi liian helppoa… Yksi mahdollisuus olisi yhdistää postinumerot ja alueiden nimet käsin, mutta se ei oikein istu avoimen datan ideaan. Pienen kaivelun jälkeen löysin vanhempaa asuntohintatietoa Helsingistä, HRI:stä jälleen. Tätä dataa voisi toki visualisoida suoraankin, ja myös verrata Oikotien tarjoamiin uudempiin hintatietoihin. Tässä tiedostossa on hintatietojen lisäksi useimmille Helsingin postinumeroalueille myös nimi, joten sillä päästään eteenpäin. Alueiden nimet eivät edelleenkään osu täysin yksiin aluejakokarttojen nimien kanssa, mutta pienellä korjailulla saadaan melko kattava aineisto aikaan.

Sitten vain yhdistetään kaikki yllä oleva data ja visualisoidaan. Oikotien myyntihintadata sisältää muuten vielä jonkun verran virheitä, ja lisäksi mukana on epäoleellista dataa kuten myytäviä tehdashalleja ja hevostiloja, ja lisäksi asumisoikeusasuntoja, jotka vääristävät keskimääräisiä hintoja. Päädyin alustavasti suodattamaan datan yksinkertaisesti asuntojen koon ja hinnan mukaan, ja lopputulos näyttää melko järkevältä.

Tuloksena näin aluksi hyvin yksinkertainen karttavisualisointi, jossa datapisteiden koko kertoo keskimääräiset neliöhinnan kyseisellä alueella. Lisäksi kartalla näkyy kutakin pistettä vastaavan paikannimi, niiden avulla voidaan arvioida kuinka hyvin aluejakokarttojen koordinaatit osuvat kohdilleen. Osa nimistä tosin peittyy datapisteiden alle, pitää korjata tämä tulevaisuudessa. Data näyttää suunnilleen siltä mitä odotinkin, eli Helsingin ytimen hinnat ovat korkealla ja muualla on halvempaa.

Asuntojen keskimääräiset neliöpyyntihinnat Helsingissä

Tässä siis vähän esimakua mitä HS Open 3:n datoilla voidaan saada aikaan. Tarvittavien datojen pyörittely aiheuttaa kyllä päänvaivaa ja työtä. Seuraavaksi olisi mielenkiintoista laajentaa visualisointi koko pääkaupunkiseudulle, mutta se vaatii postinumeroiden ja alueiden yhdistämistä käsin tai jotenkin muuten, ideoita otetaan vastaan. Lisäksi visualisoinnista saa helpostikin paljon paremman näköisen.

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2011/10/05/hs-open-3-lammittely-asuntojen-myyntihinnat-helsingin-kartalla/

Yleisimmät nimet 1900-luvulla

Sat, 24 Sep 2011 00:00:00 +0000

Idea tähän artikkeliin tuli hauskasta Name Voyager-visualisointipalvelusta, joka näyttää suosituimpien lasten nimet vuosiluvun mukaan (olettetavasti Jenkeissä). Vastaavaa dataa suomalaisten nimien määristä löytyy Väestörekisterikeskuksen tilastoista ja Nimipalvelusta. Ensimmäisessä on kattavat tilastot 2000-luvulta, kun taas jälkimmäisessä on luvut pienelle osalle yleisimpiä nimiä koko 1900-luvulta. Käytän tässä jälkimmäistä dataa yksinkertaisiin visualisointeihin. Tulevaisuudessa olisi mielenkiintoista kokeilla jotain alkuperäisen Name Voyagerin tapaista interaktiivista visualisointia tarkemmista 2000-luvun tilastoista.

Nimipalvelun data on tarjolla vain html-taulukkona, mutta pieni googlaus näytti miten XML-pakettia käytetään html-taulukon lataamiseen R:ään. Pienellä esikäsittelyllä ja ggplot2:n area-plotilla datasta saadaan alkuperäistä ideaa mukaileva visualisointi.

Yleisimmät poikien nimet 1900-luvulla (geom_area)

Matti ei näytäkään olevan yhtä suosittu nimi kuin olin ymmärtänyt. Kuvaajasta näkyy suurten ikäluokkien vaikutus selvästi.

Jos edellisen kuvaajan kulmikkuus häiritsee, pehmeämpää jälkeä saadaan geom_density:llä, joka sovittaa dataan jatkuvan tiheysjakauman. Tällöin tosin y-akselin tulkinta hankaloituu.

Yleisimmät poikien nimet 1900-luvulla (geom_density)

Tässä vielä area-plotti tyttöjen nimistä. Maria näyttää tulleen uudestaan muotiin sotavuosien jälkeen, kun taas Marjatta on ollut erityisesti sota-ajan suosikkinimi.

Yleisimmät tyttöjen nimet 1900-luvulla

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2011/09/24/yleisimmat-nimet-1900-luvulla/

HS Open 2: Apurahadataa kaivelemassa

Tue, 13 Sep 2011 00:00:00 +0000

Ensimmäisen artikkelini aiheena on HS Open 2 -tapahtumassa analysoitu apurahadata. Data sisältää tietoa vuosina 2005-2009 jaetuista taiteilija-apurahoista. Latasin datan R:ään ja tein muutamia kuvaajia käyttäen ggplot2-pakettia. Tässä muutamia kuvaajia:

20 eniten apurahaa saanutta taiteilijaa (HS 19.5.2011)

Apurahat hakemusluokittain ja vuosittain eroteltuna

Apurahat ikäryhmittäin ja sukupuolen mukaan

Apurahat ikäryhmän ja hakemusluokan mukaan

ggplot2:n perusplottien lisäksi data voidaan visualisoida kartalle käyttäen apuna esimerkiksi sp-pakettia. Suomen kartta löytyy shapefile-muodossa GADM-tietokannasta. Absoluuttisten maakuntakohtaisten apurahasummien sijaan on mielenkiintoisempaa tarkastella apurahojen määrää maakuntien asukaslukuihin suhteutettuna. Tätä varten haemme tiedot maakuntien asukalsuvuista Tilastokeskuksen Väestötietokannasta. Data olisi luettavissa suoraan R:ään PC Axis muodossa, mutta tyydymme tässä käsin haettuun ja muokattuun tiedostoon, ja palaamme PC Axis-muotoisen datan lukemiseen myöhemmin.

Seuraava karttavisualisointi näyttää myönnettyjen apurahojen määrän per asukas maakunnittain. Uudellemaalle näyttää menneen edelleen selvästi eniten apurahoja, mikä vaikeuttaa muiden maakuntien summien vertailua. Tämän takia toisesta kuvasta on jätetty Uudenmaan tiedot pois.

Apurahat per asukas maakunnittain

PÄIVITYS 6.1.2013: Blogin R-skriptejä ylläpidetään jatkossa Githubissa. Tämän artikkelin koodit löytyvät täältä.

Alkuperäinen kirjoitus Louhos-blogissa: https://louhos.wordpress.com/2011/09/13/hs-open-2-apurahadataa-kaivelemassa/

Projektit

Mon, 01 Jan 0001 00:00:00 +0000

rOpenGov-yhteisön R-pakettien kehitys tapahtuu GitHubissa. Mikäli haluat kontribuoida, katso lisätietoja Yhteisö-sivulta tai tee pull request GitHubissa.

Paketti	Kuvaus	Kotisivu	Forkkeja	Issueita		Päivitetty

Yhteisö

Mon, 01 Jan 0001 00:00:00 +0000

Kehittäjät

rOpenGov-verkostoa koordinoivat Leo Lahti, Pyry Kantanen, ja Markus Kainu.

Olemme kiitollisia kaikille kehittäjille! Kattavin listaus pakettikohtaisista kontribuuttoreista löytyy GitHub-sivulta ja R-Universen kautta.

rOpenGov on mukana R-bloggersissa.

Yhteystiedot

Voit ottaa meihin yhteyttä Twitterissä, Gitterissä tai sähköpostitse: ropengov - at - googlegroups.com

Voit myös ottaa suoraan yhteyttä koordinaattoreihin/kehittäjiin.

Kuinka voin kontribuoida?

rOpenGov on itsenäisistä R-kehittäjistä koostuva yhteisö. Jos työskentelet vastaavanlaisten projektin parissa, älä epäröi ottaa yhteyttä!

Liitä uusi R-paketti rOpenGov-verkostoon:

Avaa uusi repository tai siirrä olemassa oleva repository rOpenGovin Github-organisaation alle (ota yhteyttä koordinaattoreihin saadaksesi oikeudet).
Lisää paketti R-Universeen

Kontribuoi olemassa oleviin rOpenGov-paketteihin:

Avaa Issue tai Pull Request valitsemaasi pakettiin GitHubissa

Muita osallistumismahdollisuuksia:

Käytä R-pakettejamme.
Osallistu kehitykseen. Kontribuutiot olemassa oleviin ja uusiin paketteihin, blogeihin ja dokumentaatioon tervetulleita!
Laadi esimerkkejä ja ohjeistuksia.
Tee opinnäytetyö avoimen datan ja algoritmien tiimoilta edistäen samalla yhteiskunnallisen datan saavutettavuutta ja tutkimuskäyttöä. Autamme mielellämme opinnäytetyön aiheen muotoilussa ja ohjauksessa.
Anna palautetta paketeista, blogikirjoituksista, nettisivuista tai mistä vain.