Valtion hankinnat Power BI:hin

Valtion hankinnat Power BI:hin

Kerron tässä hyvin yksityiskohtaisessa ohjeessa miten saat valtion ostolaskut Power BI Desktop -ohjelmaan analysoitavaksi ja visualisoitavaksi.

Löydät lisätietoja Power BI:stä esimerkiksi Power BI – kaikki mitä sinun tulee tietää aloittaaksesi -blogijutustani.

[Edit 10/2018: Valtion julkaiseman hankitadatan rakenne muuttui lokakuussa 2018, joten päivitin ohjeen.]

Power BI Desktopin asennus

Power BI raporttien ja -analyysien käyttäminen on laitteistoriippumatonta, sillä niitä katsotaan joko Power BI -pilvipalvelussa selaimella tai mobiilisovelluksilla.

Raporttien ja analyysien tekeminen edellyttää Windowsin, sillä raportit laaditaan Power BI Desktop -nimisellä sovelluksella, jonka voi asentaa vain Windowsin päälle. Jos haluat asentaa PBI Desktopin Maciin, tarvitset sovelluksen (kuten Boot Camp tai Parallels), johon voit asentaa Windowsin ja sen jälkeen PBI Desktopin.

Lataa ja asenna ilmainen Power BI Desktop -ohjelma joko Microsoftin kaupasta tai latauskeskuksesta. Jos suoritat latauksen latauskeskuksesta, valitse 64-bittinen PBIDesktop_x64.msi -paketti. Ladattuasi .msi-tiedoston, aloita asennus kaksoisnapsauttamalla sitä ja etene ohjeiden mukaan.

Power BI Desktopin käynnistys

Kun käynnistät PBI Desktopin ensimmäisen kerran, sinua pyydetään rekisteröitymään. Voit kuitenkin käyttää Desktopia rekisteröitymättä napsauttamalla ikkunan alaosassa olevaa Kirjaudu (Sign in) -linkkiä ja sulkemalla sen jälkeen avautuneen kirjautumisikkunan.

sign in.png

Power BI Desktopin osat

PBI Desktopissa työskentely voidaan jakaa kolmeen osaan

  1. Datan tuontiin eli kyselyiden toteutukseen
  2. Tuodun datan mallintamiseen ja laskentaan
  3. Visualisointien toteutukseen

desktopin osat

Valtion virastojen ostolaskut

Hansel on julkaissut valtion virastojen ostolaskut tositerivitasolla vuodesta 2016 alkaen. Kuluvan vuoden datan on luvattu päivittyvän kuukausittain. Suomen-, ruotsin- ja englanninkieliset vuosittaiset tiedostot löytyvät avoindata.fi -palvelusta osoitteesta https://www.avoindata.fi/data/dataset/valtion-virastojen-ostolaskut.

Jotta pystyt mahdollisimman helposti tutustumaan Power BI:hin, olen kopioinut alle suomenkielisten aineistotiedostojen URL-osoitteet. Tarvitset linkkejä myöhemmin kyselyitä tehdessäsi.

Huomaa, että Hansel on käyttänyt tiedostonimissä epätyypillistä .tsv -päätettä. Power BI ei tunne tiedostotarkennetta, joten tässä ohjeessa kerrotaan miten teet kyselyissä yhden ylimääräisen määritysvaiheen.

Yhden vuoden aineiston lataus

  1. Käynnistä Power BI Desktop ja sulje mahdollisesti ohjelman päälle avautuva käynnistysruutu.
  2. Aloita ensimmäisen vuoden aineiston lataaminen komennolla Aloitus > Nouda tiedot > Verkko (Home > Get Data > Web).
  3. Kopioi esimerkiksi vuoden 2016 aineiston tiedostolinkki ikkunaan ja jatka OK:lla.
  4. Avoimen datan palveluun ei tarvita salasanaa, joten valitse autentikointivaihtoehdoksi Anonyymi (Anonymous) ja Yhdistä (Connect) tiedostoon.anonymous
  5. Tämän jälkeen Power BI Desktopin pääikkunan päälle pitäisi avautua Power Query -kyselyikkuna. Joskus ikkuna saattaa jäädä piiloon myös pääikkunan taakse. Tutki siis avoinna olevat ikkunat, jos mitään ei näytä tapahtuneen. Power Query on PBI Desktop -ohjelmaan sisältyvä työkalu, jolla voi tehdä hyvin monipuolisia muunnoksia sekä muokkauksia datalle.
  6. Koska tiedoston tarkenne on epästandardi .tsv, Power Query ei tunnista sitä. Määritä, että tiedostoa käsitellään .csv-tiedostona.csv.png
  7. Tämän jälkeen tiedoston sisällön pitäisi tulla esiin.Power Query -ikkunassa on
    (1) kyselyt-paneeli eli kaikki tässä PBI Desktop -tiedostossa olevat kyselyt,
    (2)
     esikatseluruutu, jossa näkyy muokattavana olevan kyselyn data
    (3) kyselyasetukset-paneeli eli aktiivisen kyselyn nimi sekä datan muokkausaskeleet eli vaiheet (steps) ja
    (4) painike, jolla kyselyssä muokattu data lopulta ladataan PBI Desktop -tiedostoon.Power Query nauhoittaa suorittamiasi datan muokkausoperaatioita kyselyasetukset-paneeliin (3). Nämä nauhoitetut kyseiset vaiheet suoritetaan aina kun data päivitetään. Voit poistaa vaiheita niiden edessä näkyvällä rastilla ja muokata niitä kaksoisnapsauttamalla, jos vaiheen kohdalla on ratas-painike.pq osat
  8. Kyselyssä on jo kolme vaihetta, sillä Power Query on nauhoittanut tietolähteen (Lähde, Source), nostanut puolestasi otsikot otsikkoriviksi (Ylennetyt otsikot, Promoted headers) ja yrittänyt tulkita datan sarakkeiden tietotyyppejä (Muutettu tyyppi, Changed type).Olen puolestasi tutkinut aineistoa ja valitettavasti viimeinen Muutettu tyyppi -vaihe (kokonaisluku, teksti, päivämäärä) on virheellinen. Esimerkiksi ensimmäisen case_id -sarakkeen (ostotositteen tunnus) tietotyyppi on määritetty kokonaisluvuksi, mistä kertoo sarakeotsikossa näkyvä 123-symboli. Tietotyyppien tulkinta ei ole osunut oikeaan, sillä joukossa on myös tositteita, joiden tunnuksessa on mukana kirjaimia. Poista siis Muutettu tyyppi -vaihe sen edessä olevalla rastilla. Mikäli jätät case_id-sarakkeen kokonaisluvuksi, saat myöhemmin kyselyn suorituksen yhteydessä ilmoituksen, että kyselyssä on virheitä, sillä tekstiä sisältäviä tositetunnuksia ei pysty muuttamaan kokonaisluvuiksi.
  9. Kun olet poistanut Muutettu tyyppi (Changed type) -vaiheen, kaikkien sarakkeiden tietotyypit ovat tekstiä (ABC).tietotyypit abc.png
  10. Vaihda tositepvm-sarakkeen tietotyyppi Päivämääräksi (Date) napsauttamalla ABC-symbolia. Huomaa, että Power Query nauhoitti tekemäsi toimenpiteen eli kyselyyn ilmestyi jälleen tietotyypin muutosaskel.tositepäivämäärä.png
  11. Hansel on julkaissut datan yhdysvaltalaisessa muodossa. Esimerkiksi tiliöintisummassa käytetään yhdysvaltalaisittain pistettä desimaalierottimena. Koska suomalaiseen työasemaan asennettu PBI Desktop ei tunnista yhdysvaltalaisia lukuja, sinun pitää valita Käytetään aluekohtaisia asetuksia (Using locale) -komento.jenkkiläinen pvm.png
  12. Määritä, että luvut muutetaan desimaaliluvuiksi ja että ne ovat yhdysvaltalaisessa muodossa.using locale.png
  13. Huolehdi lopuksi vielä ääkkösistä eli kerro Power BI:lle, että Hanselin datassa käytetään UTF-8 merkistöä. Kaksoisnapsauta kyselyssä ensimmäisenä vaiheena olevaa Lähde (Source) -askelta ja vaihda merkistöksi 65001: (UTF-8) ja hyväksy OK:lla.utf-8.png
  14. Kun valitset napsauttamalla kyselyasetukset-paneelissa olevia vaiheita, näet miltä data näyttää kunkin vaiheen jälkeen. Valitse siis lopuksi viimeinen kyselyn vaihe, jotta voit tarkistaa miltä aineisto näyttää.
  15. Jos sinulle riittää yhden vuoden aineisto, voit tässä vaiheessa suorittaa datan latauksen komennolla Aloitus > Sulje ja ota käyttöön (Home > Close & Apply).

Siirry ohjeessa kohtaan Datan päivitys, jos latasit vain yhden vuoden datan. Muussa tapauksessa jatka ohjeen lukemista ja laadi myös muiden vuosien kyselyt ja yhdistä ne ohjeiden mukaan yhdeksi kyselyksi.

Useiden vuosien lataaminen ja yhdistäminen yhdeksi tulosjoukoksi

  1. Saat muiden vuosien kyselyt helposti aikaan tekemällä ensimmäisestä kyselystä kaksoiskappaleita. Saat kyselystä kopioita pikavalikon Kaksoiskappale (Duplicate)  -komennolla. Tee niin monta kaksoiskappaletta kuin aiot ladata vuosia.duplicate.png
  2. Käy kaksoisnapsauttamassa kunkin kaksoiskappalekyselyn Lähde (Source) -askelta ja vaihda tiedoston url-osoite. Eri vuosien URL-osoitteet ovat tämän ohjeen alussa.lähde url
  3. Kaksoisnapsauta myös vasemmalla Kyselyt-paneelissa kutakin kyselyä ja vaihda niiden nimet lyhyemmiksi (esim. 2016, 2017, 2018 ja 2019).Tiedostojen nimet
  4. Jotta eri vuosien aineistoista pystyy laatimaan aikasarjoja ja muita visualisointeja, ne pitää yhdistää yhdeksi datatauluksi. Vuosikyselyistä pitää siis muodostaa yksi tulosjoukko, jossa eri vuodet ovat allekkain.Valitse komento Aloitus > Yhdistä > Liitä kyselyt loppuun > Liitä kyselyt uutena (Home > Append Queries > Append Queries as New).
  5. Käytä vähintään kolme taulukkoa -toimintoa ja kerää yhdistettävät kyselyt oikeanpuoleiseen ruutuun. Etene OK:lla.
    liitä loppuun
  6. Sait aikaan uuden kyselyn, jonka voit nimetä kaksoisnapsauttamalla Ostolaskut-nimiseksi.ostolaskut kysely
  7. Jos saat tietoturvailmoituksen, valitse Jatka ja määritä, että ohitat yksityisyystasojen tarkistukset (ignore). Talenna asetus.tietoturvaa.png
  8. Näistä kyselyistä ainoastaan viimeisin Ostolaskut-kysely ladataan Power BI:hin. Määritä kunkin vuosikyselyn pikavalikon kautta ettei vuosikyselyä ladata erillisenä tauluna tiedostoon. Ota siis Ota lataaminen käyttöön (Enable load) -vaihtoehto pois käytöstä. Kyselyiden nimet muuttuvat samalla kursivoiduiksi ja lopulta vain Ostolaskut-kokonaisuus latautuu visualisoitavaksi.ota lataaminen käyttöön
  9. Kun kyselyt on yhdistetty ja vain Ostolaskut näkyy kursivoimattomana, lataa sen sisältö valitsemalla komento Aloitus > Sulje ja ota käyttöön (Home > Close & Apply). Odota rauhassa. Nettiyhteyden nopeudesta riippuen saattaa kestää hetken, kun Power BI kopioi dataa, sillä rivejä on useita miljoonia.

Jos latauksessa ilmoitetaan virheistä, ne johtuvat todennäköisesti virheellisistä tietotyypeistä (esimerkiksi tekstitietoa ei voi muuntaa kokonaisluvuksi). Palaa takaisin Power Queryyn komennolla Aloitus > Muokkaa kyselyitä (Home > Edit Queries) ja poista varmuudeksi kaikista kyselyistäsi Muutettu tyyppi (Changed type)  -vaihe ja määritä päivämäärä sekä tositesumma kuhunkin kyselyyn kuten ohjeissa aiemmin kerrottiin.

Datan päivitys

Jos latasit myös kuluvan vuoden aineiston, Hansel on luvannut päivittää sen sisällön kuukausittain.

Kun Hansel on julkistanut uuden datan, napsauta PBI Desktopissa Aloitus > Päivitä (Home > Refresh), jotta saat uusimman aineiston raporttiisi.

Ladatun datan tarkastelu

Kun lataus on onnistunut, näet oikealla taulun kentät eli sarakkeet sekä lähes 30 erilaista visualisointivaihtoehtoa. Numeeriset kentät (esim. tiliointisumma) tunnistaa sigma-merkistä.

visualisointipaneeli

Jos haluaisit muokata kyselyitä, voisit palata takaisin Power Queryyn (1) Aloitus > Muokkaa kyselyitä (Home > Edit Queries)-komennolla.

Power BI Desktopin pääikkunan vasemmassa reunassa on kolme eri näkymää
(2) visualisointi,
(3)
ladattujen taulujen sisällön tarkastelu ja
(4) taulujen väliset yhteydet, jos malliin on ladattu useita eri tauluja, joiden välille luodaan relaatioita.

Kenttien eli sarakkeiden muotoilut

Datan lataamisen jälkeen kannattaa muotoilla sekä päiväykset että numeeriset sarakkeet. Siirry (1) Tiedot (Data) -näkymään ja (2) Mallinnus (Modeling) -välilehdelle ja (3) valitse vuorollaan kukin sarake sekä (4) sopiva muotoilu.

muotoilut.png

Tiliointisumma-sarakkeeseen on hyvä määrittää tuhaterotin sekä nolla desimaalia, sillä raporteissa summat ovat suuria lukuja.

tuhaterotin.png

Visualisointi

Siirry Raportti (Report) -näkymään.

raportti-näkymä

Tee ensimmäinen visualisointi vetämällä arkille ensin vaikkapa hankintakategoria, jolloin Power BI muodostaa taulukon kaikista hankintakategorioista. Vedä muodostuneen taulukon sisään myös numeerinen tiliointisumma-kenttä, jolloin Power BI laskee sen perusteella summan hankintakategorioittain.

ensimmäinen visualisointi.png

Kun taulukko on muodostunut, voit (1) vaihtaa visualisointityypin, (2) valita tiliointisumma-kentän valikosta laskutoimituksen ja (3) suodattaa visualisointia.

visualisoinnin käsittely 1

Kun sinulla on valittuna visualisointi, paneelissa oikealla näkyy välilehteä (ympyröitynä alla olevassa kuvassa). Ensimmäinen välilehti näyttää visualisoinnin osat, toinen välilehti sisältää muotoilumahdollisuudet (värit, fontit, kehykset, asteikot, otsikot, jne.) ja kolmannelta välilehdeltä saattaa löytyä visualisoinnista riippuen ns. analytiikkaominaisuuksia.

Visualisointipaneelin ensimmäisellä välilehdellä on valitsemasi visualisointityypin eri osat, kuten Akseli, Selite, Arvo, Työkaluvihjeet, jne. Kuljeta kenttiä eri osiin, kun haluat muokata visualisoinnin sisältöä. Esimerkiksi työkaluvihjeet näytetään puhekuplassa, kun hiiri siirretään visualisoinnin päälle.

visualisoinnin käsittely

Osittaja (slicer)

Alla olevaan raporttiin on lisätty kaksi osittajaa, joista toisessa on hallinnonala ja toisessa tositepäivä. Osittajan ulkoasu riippuu tiedon tyypistä.

osittaja.png

Visualisointien välinen vuorovaikutteisuus

Visualisoinnit ovat oletusarvoisesti keskenään vuorovaikutteisia. Kun napsautat yhtä kohdetta (esimerkiksi ympyrän sektoria), toiset visualisoinnit reagoivat valintaan automaattisesti. Kun napsautat kohdetta uudelleen, valinta poistuu.

vuorovaikutteisuus.png

Oletusarvoisesti vuorovaikutteisuus korostaa muista visualisoinneista vain osa-alueita. Esimerkiksi pylväskaavioon jää himmennettyinä alkuperäiset pylväät ja niissä näytetään korostettuna vain osuuksia. Yleensä oletus kannattaa vaihtaa PBI Desktopin asetuksista sellaiseksi, että ristiinkorostuksen sijaan tapahtuu ristiinsuodatus, jolloin visualisointien välillä tapahtuu täydellinen suodattuminen. Asetus löytyy komennolla Tiedosto > Asetukset ja vaihtoehdot > Asetukset > NYKYINEN TIEDOSTO > Raporttiasetukset > Muuta oletusarvon mukaista visualisoinnin vuorovaikutus ristiinkorostuksesta ristiinsuodatukseksi (File > Options and Settings > Options > CURRENT FILE > Report Settings > Change default visual interaction from cross highlighting to cross filtering). Tämä asetus tuli PBI Dekstopiin vasta alkuvuonna 2019, joten vanhemmissa versioissa ei voi määrittää oletusta.

Voit muokata vuorovaikutuksia myös visualisointikohtaisesti valitsemalla Muotoile > Muokkaa vuorovaikutuksia (Format > Edit Interactions). Löydät niistä lisätietoja aiemmasta Power BI -raportin viimeistely -jutustani.

Sisäänrakennettujen visualisointien lisäksi saat käyttöösi erilaisia mukautettuja visualisointeja, joita on nyt jo noin 200 erilaista.

Noh?

Aiotko ryhtyä tutkimaan aineistoa? Minä ainakin aion.

Julkaisin Vilahdukseen myös yhden datasta tehdyn raportin, jonka avulla voit tarkastella haluamaasi toimittajaa tai esimerkiksi vertailla kahta toimittajaa keskenään.

Avaa Vilahdus.fi -sivustolla julkaistu raportti

***************************

Laatija Heidi Enho, Sulava Oy

naama ja logot

5 kommenttia artikkeliin ”Valtion hankinnat Power BI:hin

  1. Kiitos artikkelista, koulukurssin kautta eksyin blogiisi. Ainoa iso puute artikkelissa on Query-ikkunan osio, kuinka sisään tulevaa dataa tulisi muokata… tämä ohitettiin täysin.

    Jos on vähänkään perehtynyt Power BI:hin ei tätä artikkelia lienee tarvitse, ja jos taas ei – olisi olennaista tietää… muuten importtauksen tuloksena iso kasa virheitä.

    Esimerkiksi ensimmäinen eli otsikkorivi pitää filtteröidä pois, ja päivämäärät eivät tule ilman date datatyypin localen määrittelyä… näin ainakin itselleni kävi.

    Tykkää

    • Hei,

      Kiitti kommentistasi!

      Enpä tullut juttua kirjoittaessani ajatelleeksi, että Suomessahan on myös työasemia, joissa ei ole oletuksena suomalaisia asetuksia, joten unohdin mainita, että ohjeet pätevät suomalaisilla kansallisuusasetuksilla varustettuihin työasemiin. Jos työaseman asetukset ovat esimerkiksi yhdysvaltalaiset, numeerisille sekä päiväyssarakkeille pitää tehdä enemmän kuin ohjeessa kerrotaan.

      Lisäsin nyt ohjeeseen kohdan 4, jolla varmistetaan, että ohje toimii kaikissa Power BI Desktopeissa työaseman kansallisuusasetuksista riippumatta. (Toinen vaihtoehto olisi se, että annetaan tiedoston olla yhdysvaltalaisessa muodossa ja määritetään kunkin numeerisen ja päivämääräsarakkeen kansallisuus erikseen valitsemalla tietotyyppivalikosta vaihtoehto Käytetään aluekohtaisia asetuksia (Using locale) ja kerrotaan minkä kansallisuuden mukaisessa formaatissa kukin sarake on.)

      Otsikkoriviä ei pitäisi tarvita filtteröidä pois? Power BI Desktopin pitäisi tunnistaa se automaattisesti otsikkoriviksi? Eikä sinulla tunnistanut? Onko mahdollista, että sinulla olisi jokin vanhempi versio Power BI Desktopista? Power BI Desktop on jo hyvin pitkään tunnistanut .csv -tiedostojen otsikot otsikkoriviksi automaattisesti. Ongelmia tulee lähinnä, jos otsikoiden yläpuolella on turhia rivejä.

      Vai oletko joskus muuttanut Power BI Desktopista asetusta, jonka avulla otsikoiden tunnistaminen tapahtuu? Asetus löytyy samasta ikkunasta kuin kansallisuusasetus ja se on kohdassa NYKYINEN TIEDOSTO > Tietojen lataaminen (CURRENT FILE > Data Load) ja näkyy ikkunassa ylimmäisenä: Tunnista rakenteettomien lähteiden saraketyypit ja otsikot automaattisesti (Automatically detect column types and headers for unstructured data sources).

      Eroja voi olla myös, jos ensin latasit tiedoston työasemaasi ja ryhdyit lukemaan sitä sen sijaan, että luit datan suoraan avoimen datan palvelusta. Ongelmia voi myös syntyä, jos tiedosto on kertaalleen avattu avoimen datan palvelusta Exceliin ja sen jälkeen tallennettu Excelistä uudelleen .csv-muotoon. Olen huomannut, että tallennus saattaa joskus muuttaa tiedoston rakennetta eikä se enää käyttäydy samalla tavalla kuin alkuperäinen tiedosto.

      Lisäohjeita Power BI Desktopin kyselyeditorista löytyy täältä https://hexcelligent.fi/power-query-opas/

      Onkohan muilla ollut ongelmia ohjeiden kanssa?

      t. Heidi

      Tykkää

  2. Paluuviite: Valtion virastojen hankintojen tutkiminen Power BI:n avulla – Timo Pertilä

  3. Paluuviite: Power BI – kaikki mitä sinun tulee tietää aloittaessasi | HExcelligent.fi

  4. Paluuviite: Power BI - kaikki mitä sinun tulee tietää aloittaaksesi - Sulava

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google photo

Olet kommentoimassa Google -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

Muodostetaan yhteyttä palveluun %s