Valtion hankinnat Power BI:hin

Valtion hankinnat Power BI:hin

Jos et ole aiemmin kokeillut Power BI:tä, nyt viimeistään kannattaa!

Voit nimittäin itse tutkia ja visualisoida millaisia hankintoja valtio on tehnyt, sen sijaan että olisit pohjoismaiden laajalevikkisimmän lehden uutisoinnin varassa ja saisit lukea miten paljon presidentin kanslia on ostanut alkoholia.

Kerron tässä hyvin yksityiskohtaisessa ohjeessa miten saat valtion hankinnat varttitunnissa Power BI Desktopiin tutkittavaksi. Sinulla olisi hyvä olla hieman esitietoja Power BI Desktopin toimintaperiaatteista kuten Power Query -kyselyiden perustoiminnoista.

[Edit 10/2018: Datan rakenne muuttui lokakuussa 2018, joten ohje on päivitetty.]

Power BI Desktopin asennus

Lataa ja asenna Windows-työasemaasi ilmainen Power BI Desktop -ohjelma osoitteesta https://www.microsoft.com/fi-FI/download/details.aspx?id=45331. Kun aloitat latauksen, valitse PBIDesktop_x64.msi -paketti. Ladattuasi .msi-tiedoston, aloita asennus kaksoisnapsauttamalla sitä ja etene ohjeiden mukaan. Voit asentaa Power BI Desktopin myös Microsoft Storesta eli kaupasta.

Datojen lataus

  1. Siirry tällä välin avoimen datan sivulle osoitteeseen: https://www.avoindata.fi/data/dataset/valtion-virastojen-ostolaskut.
  2. Napsauta haluamasi aineistolinkin Avaa-painiketta hiiren kakkospainikkeella ja kopioi pikavalikosta löytyvällä komennolla aineistolinkin url-osoite talteen. Käyttämästäsi selaimesta riippuen valikossa on Copy Shortcut tai esimeriksi Copy link address tyyppinen komento. Tulet myöhemmin kopioimaan myös loput linkeistä, joten jätä sivu avoimeksi. [Päivitetty 10/2018]: Kuva on vanha. Tiedostojen nimien tarkenteet ovat .tsv ja niitä on kullekin kielelle suomi, ruotsi ja englanti kutakin vuotta varten). Tässä oletetaan, että teet Power BI -kielen millä tahansa haluamallasi yhdellä kielellä.
  3. Käynnistä Power BI Desktop ja sulje mahdollisesti ohjelman päälle avautuva käynnistysruutu.
  4. Aloita ensimmäisen aineiston lataaminen komennolla Aloitus > Nouda tiedot > Verkko (Home > Get Data > Web). Huomaa: Jos olisit kopioinut .tsv-tiedoston paikallisesti itsellesi ja suorittaisit latauksen paikallisesta tiedostosta, aloittaisit latauksen vaihtoehdolla Teksti/CSV (Text/CSV), mutta tässä esimerkissä tiedosto ladataan suoraan avoimen datan palvelusta, jolloin tiedoston sisällön päivittyessä, voit päivittää datan kopioimatta tiedostoa itsellesi uudelleen ja uudelleen.
  5. Liitä linkki avautuvaan ikkunaan esimerkiksi Ctrl + C -näppäinyhdistelmällä ja jatka OK:lla.
  6. Valitse autentikointivaihtoehdoksi Anonyymi (Anonymous), jos sitä kysytään. Valitse Yhdistä (Connect).
  7. Tämän jälkeen Power BI Desktopiin pitäisi avautua Power Query -ikkuna, mutta ikkuna saattaa jäädä piiloon myös Power BI Desktopin pääikkunan taakse. Tutki siis avoinna olevat ikkunat, jos näyttää ettei mitään tapahtuisi.
  8. Koska tiedoston tarkenne on .tsv (vaikka rakenteellisesti se on .csv-muotoinen), Power BI Desktop ei tunnista sen muotoa ja joudut valitsemaan valikosta, että tiedosta käsitellään .csv-tiedostona.
  9. Pääset Power Queryyn myös valitsemalla pääikkunasta komennon Aloitus > Muokkaa kyselyitä (Edit Queries). Kyselyeditorissa näkyy (1) kaikki tässä tiedostossa olevat kyselyt, (2) aktiivisen kyselyn tulosjoukko osittain sekä (3) aktiivisen kyselyn datan muokkausaskeleet eli stepit. Power Queryn toimintaperiaatteena on nauhoittaa suorittamiasi toimintoja oikealla näkyvään paneeliin. Kyseiset vaiheet suoritetaan aina datan päivityksen yhteydessä.
  10. Power Query yrittää tulkita datan sarakkeiden tietotyyppejä ja lisää kyselyyn Changed Type (Muutettu tyyppi) -vaiheen oikealla näkyvään paneeliin. Valitettavasti tulkinta ei osu oikeaan, joten poista kyseinen vaihe vaiheen edessä olevalla rastilla. Uusimman avoimen datan merkistö on UTF-8, joten se pitää käydä määrittämässä oikeaksi, jotta ääkköset tulevat oikein. Kaksoisnapsauta siis Source (Lähde) -vaihetta ja vaihda merkistöksi 65001 (UTF-8) tarjotun 1252-merkistön sijaan.
  11. Tee saman tien kyselyeditorissa ollessasi muidenkin vuosien kyselyt eli kopioi leikepöydälle myös muiden tiedostojen url-osoitteet, palaa kyselyeditoriin ja aloita kysely komennolla Uusi lähde > Verkko (New Source > Web). Liitä taas url-osoite kenttään ja suorita ohjattu toiminto loppuun, poista tietotyypin muunnosvaihe sekä vaihda merkistö. Tämän jälkeen sinulla pitäisi näkyä eri vuosien kyselyt.
  12. Laatimasi kyselyt pitää lopulta saada yhdistettyä yhdeksi datatauluksi eli kyselyistä muodostetaan yksi tulosjoukko, jossa kyselyiden tulokset ovat allekkain. Valitse jokin kyselyistäsi ja anna komento Aloitus > Liitä kyselyt loppuun > Liitä kyselyt uutena (Home > Append Queries > Append Queries as New).
  13. Valitse tämän jälkeen kaikki aiemmat kyselyt yhdistettäväksi eli käytä vähintään kolme taulukkoa -toimintoa ja kerää yhdistettävät kyselyt oikeanpuoleiseen ruutuun ja etene OK:lla.
  14. Sait aikaan kyselyn, joista viimeiselle voit antaa nimeksi esimerkiksi ”Ostolaskut”.
  15. Näistä kolmesta kyselystä ainoastaan viimeisin Ostolaskut-kysely tullaan lataamaan datatauluksi Power BI:n tietomalliin, joten määritä pikavalikon kautta muita aiempia kyselyitä ladata tiedostoon. Ota siis muiden kyselyiden pikavalikosta pois käytöstä toiminto Ota lataaminen käyttöön (Enable load). Kyselyt muuttuvat samalla kursivoiduiksi ja tämän jälkeen vain Ostolaskut-kokonaisuus latautuu visualisoitavaksi.
  16. Ennen lataamista pitää vielä tehdä muutamia tarkistuksia. Erityisen tärkeää on tarkistaa sarakkeiden tietotyypit kuten luvut ja päivämäärät. Huomaa että jos luvut tai päivämäärät jäävät teksteiksi, niillä ei voi laskea eikä Power BI tunnista päivämääriä oikeain. Valtion hankintadatassa on myös tekstitietoja erilaisissa tunnussarakkeissa, joten ne kannattaa jättää tekstiksi, jotteivat muunnokset aiheuta virheitä kyselyissä. Tekstiähän ei voi muuntaa esimerkiksi kokonaisluvuksi.

    Voit muuttaa sarakkeiden tietotyypit napsauttamalla sarakeotsikossa olevaa tietotyyppi-painiketta.  Lokakuussa 2018 datan rakenne muuttui siten, että sekä päivämäärä että tiliöintisumma-sarakkeet sisältävät yhdysvaltalaisessa muodossa olevaa dataa. Valitse siis kyseisten sarakkeiden kohdalta valikosta vaihtoehto Using local (käytetään aluekohtaisia asetuksia) ja kerro mihin muotoon haluat sarakkeet (kuten desimaaliluku tai päiväys) ja että tiedot ovat English (United States) -muodossa.

  17. Jos haluat, voit myös muuttaa sarakeotsikot kaksoisnapsauttamalla niitä.
  18. Kun teet erilaisia operaatioita datalle kuten vaihdat tietotyyppejä tai vaihdat otsikoita, ne nauhoittuvat ns. vaiheina ja näkyvät oikealla olevassa paneelissa, josta niitä voi esimerkiksi muokata tai poistaa, mikäli teet virheellisen vaiheen.
  19. Kun tietotyypit ja otsikot ovat kunnossa, lataa data valitsemalla komento Aloitus > Sulje ja ota käyttöön (Home > Close & Apply), jonka jälkeen saattaa kestää hetken kun Power BI lukee dataa avoimen datan palvelusta. Odottele rauhassa. Rivejä on yli 2 miljoonaa, jos lataat esim. kolmen vuoden tositteet (2016 – 2018).

 

Jos latauksessa ilmoitetaan virheistä, ne johtuvat todennäköisesti väärin määritetyistä tietotyypeistä. Tarkista, että poistit kaikista vuosikyselyistä Changed type (muutettu tyyppi) -vaiheen ja että erilaiset tunnukset (kuten hallinnonala) on määritetty teksteiksi. Poista tarvittaessa Ostolaskut-kyselystäkin kaikki Changed type -vaiheet ja määritä tietotyypit uudelleen.

Kun lataus on onnistunut, näet kentät oikealla ja niiden edessä erilaisia visualisointivaihtoehtoja.

Kenttien lisäksi näytön vasemmassa reunassa näkyy oleellisia toimintoja, kuten (1) kyselyeditoriin siirtyminen, (2) visualisointi, (3) ladattujen taulujen tarkastelu ja (4) taulujen väliset yhteydet, jos malliin on ladattu useita eri tauluja, joiden välille luodaan relaatioita.

Visualisointi

Kun olet ladannut datan, valitse oikeassa reunassa olevasta paneelista vuorollaan kukin numeerinen tai päivämäärä-sarake ja muotoile ne Mallinnus (Modeling) -välilehdeltä, jotta sinun ei tarvitse muotoilla niitä jokaisessa visualisoinnissa erikseen. Jos haluat heti nähdä muotoiluiden vaikutuksen sarakkeisiin, siirry ensin Tiedot (Data) -puolelle (edellisen kuvan vaihtoehto 3).

Ennen kuin aloitat visualisointien laatimisen, tarkista että olet Raportti (Report) -osiossa (edellisen kuvan vaihtoehto 2).

Ideana on, että vedät arkille erilaisia luokittelevia tietoja (kuten hankintakategoria, hallinnonala tai kirjanpitoyksikkö ) ja laskennallisia kenttiä (kuten TiliöintiriviSumma) ja muodostat ikäänkuin Excelin pivot-taulukon kaltaisia taulukoita.

Tämän jälkeen voit vaihtaa kunkin erillisen ”visualisoinnin” tyypin Visualisoinnit (Visualizations) -paneelista.

Kun aktivoit visualisoinnin, voit käsitellä sitä kolmen eri välilehden toimintojen avulla. Välilehdet löytyvät visualisointivaihtoehtojen alta. Ensimmäisellä välilehdellä valitset mitä kenttiä visualisoinnissasi näytetään ja miten sitä sekä sivua tai raporttia suodatetaan. Toiselta välilehdeltä (tela) löytyy erilaisia muotoilumahdollisuuksia ja kolmannella saattaa olla analysointiominaisuuksia, joiden olemassaolo ja määrä riippuvat valitusta visualisoinnista.

Visualisointien vuorovaikutteisuus

Visualisoinnit ovat oletusarvoisesti keskenään vuorovaikutteisia. Kun napsautat yhtä kohdetta, toiset reagoivat automaattisesti. Voit muokata vuorovaikutuksia valitsemalla Muotoile > Muokkaa vuorovaikutuksia (Format > Edit Interactions). Löydät niistä lisätietoja aiemmasta Power BI -raportin viimeistely -jutustani.

Ja tokihan visualisointien joukossa on myös kortti (card),  jolla voit näyttää yhden tunnusluvut ja osittaja (slicer), jonka ulkoasu muuttuu automaattisesti, jos valitset osittajaan tekstimuotoista tietoa tai vaikkapa päivämäärän.

Sisäänrakennettujen visualisointien lisäksi saat käyttöösi erilaisia mukautettuja visualisointeja, joita on nyt jo noin 100 erilaista.

Datan päivitys

Saat päivitettyä datan käyttämällä Power BI Desktopissa Aloitus > Päivitä (Home > Refresh) -painiketta.

Noh?

Aiotko ryhtyä tutkimaan aineistoa? Minä ainakin aion.

Jos kiinnostuit Power BI:stä enemmänkin, kannattaa lukea myös Power BI – kaikki mitä sinun tulee tietää aloittaaksesi.

PS. Ja hankintojahan voi tutkia myös Tutki hankintoja -sivustolla.

Tämä ohje on julkaistu myös Vilahdus-sivustolla, missä jaan erilaisia avoimesta datasta laadittuja visualisointeja ja niihin liittyviä ohjeita.

[Edit 10.9.2017] Julkaisin Vilahdukseen myös yhden datasta tehdyn raportin, jonka avulla voit tarkastella haluamaasi toimittajaa tai esimerkiksi vertailla kahta toimittajaa keskenään.

 

Avaa Vilahdus.fi -sivustolla julkaistu raportti

 

[Edit 18.9.2017] Suosittelen lukemaan myös Timo Pertilän mainio valtion hankintoihin liittyvä Power BI -juttu.

Lisähuomioita

[Edit 10.9.2017] Tarkemmin dataa tutkittuani huomasin, että kaikki salassa pidettävät toimittajat ovat datassa yhtenä Y-tunnuksena ”Salassa pidettävä”. Datasta ei siis pysty laskemaan todellista toimittajien lukumäärää tai esimerkiksi toimittajien mediaani- tai keskiarvolaskutusta.

Suoraa yhteyttä ei pysty vielä muodostamaan APIn avulla, sillä tarvittava dokumentaatio näyttää vielä puuttuvan:

5 kommenttia artikkeliin ”Valtion hankinnat Power BI:hin

  1. Kiitos artikkelista, koulukurssin kautta eksyin blogiisi. Ainoa iso puute artikkelissa on Query-ikkunan osio, kuinka sisään tulevaa dataa tulisi muokata… tämä ohitettiin täysin.

    Jos on vähänkään perehtynyt Power BI:hin ei tätä artikkelia lienee tarvitse, ja jos taas ei – olisi olennaista tietää… muuten importtauksen tuloksena iso kasa virheitä.

    Esimerkiksi ensimmäinen eli otsikkorivi pitää filtteröidä pois, ja päivämäärät eivät tule ilman date datatyypin localen määrittelyä… näin ainakin itselleni kävi.

    Tykkää

    • Hei,

      Kiitti kommentistasi!

      Enpä tullut juttua kirjoittaessani ajatelleeksi, että Suomessahan on myös työasemia, joissa ei ole oletuksena suomalaisia asetuksia, joten unohdin mainita, että ohjeet pätevät suomalaisilla kansallisuusasetuksilla varustettuihin työasemiin. Jos työaseman asetukset ovat esimerkiksi yhdysvaltalaiset, numeerisille sekä päiväyssarakkeille pitää tehdä enemmän kuin ohjeessa kerrotaan.

      Lisäsin nyt ohjeeseen kohdan 4, jolla varmistetaan, että ohje toimii kaikissa Power BI Desktopeissa työaseman kansallisuusasetuksista riippumatta. (Toinen vaihtoehto olisi se, että annetaan tiedoston olla yhdysvaltalaisessa muodossa ja määritetään kunkin numeerisen ja päivämääräsarakkeen kansallisuus erikseen valitsemalla tietotyyppivalikosta vaihtoehto Käytetään aluekohtaisia asetuksia (Using locale) ja kerrotaan minkä kansallisuuden mukaisessa formaatissa kukin sarake on.)

      Otsikkoriviä ei pitäisi tarvita filtteröidä pois? Power BI Desktopin pitäisi tunnistaa se automaattisesti otsikkoriviksi? Eikä sinulla tunnistanut? Onko mahdollista, että sinulla olisi jokin vanhempi versio Power BI Desktopista? Power BI Desktop on jo hyvin pitkään tunnistanut .csv -tiedostojen otsikot otsikkoriviksi automaattisesti. Ongelmia tulee lähinnä, jos otsikoiden yläpuolella on turhia rivejä.

      Vai oletko joskus muuttanut Power BI Desktopista asetusta, jonka avulla otsikoiden tunnistaminen tapahtuu? Asetus löytyy samasta ikkunasta kuin kansallisuusasetus ja se on kohdassa NYKYINEN TIEDOSTO > Tietojen lataaminen (CURRENT FILE > Data Load) ja näkyy ikkunassa ylimmäisenä: Tunnista rakenteettomien lähteiden saraketyypit ja otsikot automaattisesti (Automatically detect column types and headers for unstructured data sources).

      Eroja voi olla myös, jos ensin latasit tiedoston työasemaasi ja ryhdyit lukemaan sitä sen sijaan, että luit datan suoraan avoimen datan palvelusta. Ongelmia voi myös syntyä, jos tiedosto on kertaalleen avattu avoimen datan palvelusta Exceliin ja sen jälkeen tallennettu Excelistä uudelleen .csv-muotoon. Olen huomannut, että tallennus saattaa joskus muuttaa tiedoston rakennetta eikä se enää käyttäydy samalla tavalla kuin alkuperäinen tiedosto.

      Lisäohjeita Power BI Desktopin kyselyeditorista löytyy täältä https://hexcelligent.fi/power-query-opas/

      Onkohan muilla ollut ongelmia ohjeiden kanssa?

      t. Heidi

      Tykkää

  2. Paluuviite: Valtion virastojen hankintojen tutkiminen Power BI:n avulla – Timo Pertilä

  3. Paluuviite: Power BI – kaikki mitä sinun tulee tietää aloittaessasi | HExcelligent.fi

  4. Paluuviite: Power BI - kaikki mitä sinun tulee tietää aloittaaksesi - Sulava

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

Muodostetaan yhteyttä palveluun %s