Kerron tässä hyvin yksityiskohtaisessa ohjeessa miten saat valtion ostolaskut Power BI Desktop -ohjelmaan analysoitavaksi ja visualisoitavaksi.

Löydät lisätietoja Power BI:stä esimerkiksi Power BI – kaikki mitä sinun tulee tietää aloittaaksesi -blogijutustani.

Tämä ohje on kirjoittettu uudelleen 18.4.2020, sillä Hansel teki 14.4.2020 muutoksia ostolaskuaineistoon. Data-aineiston uudistuksen yhteydessä aineistoon tuotiin mukaan myös kuntien ostolaskuja ja datan sisältö muuttui. Lue lisätietoja täältä: https://www.avoindata.fi/data/fi/dataset/tutkihankintoja-data

Power BI Desktopin käyttöliittymä uudistui 03/2020, joten tämän ohjeen kuvat ovat uudesta versiosta.

Power BI Desktopin asennus

Power BI raporttien ja -analyysien käyttäminen on laitteistoriippumatonta, sillä niitä katsotaan joko Power BI -pilvipalvelussa selaimella tai mobiilisovelluksilla.

Raporttien ja analyysien tekeminen edellyttää Windowsin, sillä raportit laaditaan Power BI Desktop -nimisellä sovelluksella, jonka voi asentaa vain Windowsin päälle. Jos haluat asentaa PBI Desktopin Maciin, tarvitset sovelluksen (kuten Boot Camp tai Parallels), johon voit asentaa Windowsin ja sen jälkeen PBI Desktopin.

Lataa ja asenna ilmainen Power BI Desktop -ohjelma joko Microsoftin kaupasta tai latauskeskuksesta. Jos suoritat latauksen latauskeskuksesta, valitse 64-bittinen PBIDesktop_x64.msi -paketti. Ladattuasi .msi-tiedoston, aloita asennus kaksoisnapsauttamalla sitä ja etene ohjeiden mukaan.

Power BI Desktopin käynnistys

Kun käynnistät PBI Desktopin ensimmäisen kerran, sinua pyydetään rekisteröitymään. Voit kuitenkin käyttää Desktopia rekisteröitymättä napsauttamalla ikkunan alaosassa olevaa Kirjaudu (Sign in) -linkkiä ja sulkemalla sen jälkeen avautuneen kirjautumisikkunan.

Power BI Desktopin osat

PBI Desktopissa työskentely voidaan jakaa neljään osaan

1. Datan tuontiin eli kyselyiden toteutukseen
2. Tuodun datan mallintamiseen
3. Laskentalogiikan toteutukseen DAX-kielellä
4. Visualisointien toteutukseen

Valtion ostolaskuaineistot

Hansel on julkaissut valtion virastojen ostolaskut tositerivitasolla vuodesta 2016 alkaen. Alla on linkit avoindata.fi -palvelussa oleviin aineistotiedostoihin.

• 2016: https://www.avoindata.fi/data/dataset/ba96a638-67bf-4747-b084-c78ccfe052e9/resource/77d10094-c8a9-445d-97da-feeb82859f62/download/th_data_2016.csv
• 2017: https://www.avoindata.fi/data/dataset/ba96a638-67bf-4747-b084-c78ccfe052e9/resource/5467d131-d495-4e2f-8377-86d3e8e67668/download/th_data_2017.csv
• 2018: https://www.avoindata.fi/data/dataset/ba96a638-67bf-4747-b084-c78ccfe052e9/resource/1f5657c2-9d84-4f0f-bb0b-6727432bf127/download/th_data_2018.csv
• 2019: https://www.avoindata.fi/data/dataset/ba96a638-67bf-4747-b084-c78ccfe052e9/resource/9e7f65ab-0d27-4ed9-ac8a-f50a2e04fbd8/download/th_data_2019.csv
• 2020: https://www.avoindata.fi/data/dataset/ba96a638-67bf-4747-b084-c78ccfe052e9/resource/10d9ee7a-6eb9-4326-bb36-96f9c0f6a768/download/th_data_2020.csv

Yhden vuoden aineiston lataus

1. Käynnistä Power BI Desktop ja sulje mahdollisesti ohjelman päälle avautuva käynnistysruutu.
2. Aloita ensimmäisen vuoden aineiston lataaminen komennolla Home > Get Data > Web (Aloitus > Nouda tiedot > Verkko).
   
3. Kopioi esimerkiksi vuoden 2016 aineiston tiedostolinkki ikkunaan ja jatka OK:lla.
   
4. Jos sinulta kysytään autentikointia, valitse autentikointivaihtoehdoksi Anonyymi (Anonymous) ja Yhdistä (Connect) tiedostoon.
5. Seuraavaksi voit valita käytetyn merkistön, jotta skandinaaviset merkit näytetään oikein. Ostolaskutiedostoissa on käytetty UTF-8 -merkistöä. Siirry Power Queryyn muokkaamaan dataa Transform data (Muunna data) -painikkeella.
6. Tämän jälkeen Power BI Desktopin pääikkunan päälle avautuu Power Query -kyselyikkuna. Joskus ikkuna saattaa jäädä piiloon myös pääikkunan taakse. Tutki siis avoinna olevat ikkunat, jos mitään ei näytä tapahtuneen. Power Query on PBI Desktop -ohjelmaan sisältyvä työkalu, jolla voi tehdä hyvin monipuolisia muunnoksia sekä muokkauksia datalle.
7. Power Query -ikkunassa on
   (1) kyselyt-paneeli eli kaikki tässä PBI Desktop -tiedostossa olevat kyselyt,
   (2) esikatseluruutu, jossa näkyy muokattavana olevan kyselyn data
   (3) ruutu, jossa näkyy valittuna olevan solun sisältö
   (4) kyselyasetukset-paneeli eli aktiivisen kyselyn nimi sekä datan muokkausaskeleet eli vaiheet (steps) ja
   (5) painike, jolla kyselyssä muokattu data lopulta ladataan PBI Desktop -tiedostoon.Power Query nauhoittaa suorittamiasi datan muokkausoperaatioita kyselyasetukset-paneeliin (4). Nämä nauhoitetut kyseiset vaiheet suoritetaan aina kun data päivitetään. Voit poistaa vaiheita niiden edessä näkyvällä rastilla ja muokata vaiheita kaksoisnapsauttamalla, jos vaiheen kohdalla on ratas-painike.
   
8. Kyselyssä on jo kolme vaihetta (paneelissa oikealla), sillä Power Query on nauhoittanut tietolähteen (Source, Lähde), nostanut puolestasi otsikot otsikkoriviksi (Promoted headers, Ylennetyt otsikot) ja yrittänyt määrittää datan sarakkeiden tietotyypit (Changed type, Muutettu tyyppi). Olen tutkinut aineistoa ja viimeinen Changed type -vaihe (kokonaisluku, teksti, päivämäärä) on osittain virheellinen, sillä Power Query päättelee tietotyypit vain ensimmäisten 200 rivin perusteella. Power Query on määrittänyt esimerkiksi lasku_id -sarakkeen tietotyypiksi kokonaisluku (whole number), mistä kertoo sarakeotsikon vasemmassa reunassa näkyvä 123-symboli. Tietotyyppi ei ole oikein, sillä joukossa on myös lasku_id:eitä, joissa on kirjaimia. Koska tekstiä ei voi muuttaa kokonaisluvuksi, tekstiä sisältävät lasku_id:t muuttuvat virheiksi, solut tyhjenevät ja saat datan latauksen yhteydessä runsaasti virheilmoituksia, jos sarake jätetään kokonaisluku-muotoon.
9. Myös ylaorganisaatio_tunnus -sarakkeessa on tekstiä, joten vaihda sekä lasku_id että ylaorganisaatio_tunnus -sarakkeiden tietotyypeiksi Text (teksti) napsauttamalla otsikossa olevaa tietotyyppisymbolia. Oikeiden tietotyyppien määritys on yksi tärkeimmistä Power Query -kyselyissä suoritettavista toimenpiteistä, jotta soluja ei tyhjene datan latauksen yhteydessä.
   
10. Silmäile vielä kaikki sarakeotsikot ja huomaa, että esimerkiksi päiväys on tunnistettu päivämääräksi. Huomaa myös, että tiliointisumma-sarake on jäänyt tekstiksi (ABC), mikäli työasemassasi on suomalaiset kansallisuusasetukset. Jos työasemassa on suomalaiset asetukset, mutta datassa on desimaalipisteitä (eli data on yhdysvaltalaisessa muodossa), Power Query ei ole osannut määrittää tietotyyppiä oikein.
    Jos yrittäisit vaihtaa tietotyypin suoraan desimaaliluvuksi, saisit aikaan virheitä kansallisuusasetuksiin liittyvän ristiriidan takia. Käytä tällaisten ristiriitaisten sarakkeiden määrityksessä (A) Using Locale (Käytetään aluekohtaisia asetuksia) -toimintoa ja kerro, että haluat muuntaa sarakkeen sisällön (B) desimaaliluvuksi ja (C) valitse missä muodossa luvut ovat (locale of origin).
11. Kaikki suorittamasi toimenpiteet nauhoittuvat ja ne suoritetaan, kun data seuraavan kerran päivitetään. Kyselyssä pitäisi nyt olla neljä vaihetta: tietolähde (source), otsikoiden nostaminen ylös otsikkoriville (promoted headers), tavalliset tietotyyppimuutokset (changed type) sekä yhdysvaltalainen tietotyyppimuutos (changed type with locale).
12. Lisää kyselyyn vielä yksi vaihe, eli suodata sektori-sarakkeen avulla mukaan vain sellaiset rivit, joissa on valtion ostolaskuja. Jos aineistossa on hyvin paljoln rivejä, suodatuslistat eivät näytä kaikkia arvoja, vaan sinun pitää ladata listalle lisää tietoja.
13. Kun valitset napsauttamalla kyselyasetukset-paneelissa olevia vaiheita, näet miltä data näyttää kunkin vaiheen jälkeen. Jos tuot Power Query ikkunaan kaavarivin esiin View – Formula bar (Näytä > Kaavarivi) -komennolla, näet myös kunkin valitsemasi vaiheen taustalle muodostuneen kaavan. Power Query siis nauhoittaa ns. M-kielistä koodia. Vaiheita voi myös muokata kaavarivin avulla.
14. Jos haluat, voit vaihtaa datan sarakeotsikot kaksoisnapsauttamalla niitä.
15. Jos sinulle riittää yhden vuoden aineisto, voit tässä vaiheessa suorittaa datan latauksen komennolla Aloitus > Sulje ja ota käyttöön (Home > Close & Apply).

Siirry ohjeessa kohtaan Datan päivitys, jos päätit ladata vain yhden vuoden datan. Muussa tapauksessa jatka ohjeen lukemista ja laadi myös muiden vuosien kyselyt ja yhdistä ne ohjeiden mukaan yhdeksi kyselyksi.

Useiden vuosien lataaminen ja yhdistäminen yhdeksi tulosjoukoksi

Vaikka ohjeessa neuvotaan miten voi ladata datan 2016 vuodesta alkaen, älä turhaan lataa kaikkia vuosia, sillä datan lataus voi olla hyvin hidas. Ostolaskuja on lähes miljoona riviä per vuosi.

1. Saat muiden vuosien kyselyt helposti aikaan tekemällä ensimmäisestä kyselystä kaksoiskappaleita pikavalikosta löytyvällä komennolla. Tee niin monta duplikaattia kuin aiot ladata vuosia.
2. Kun olet luonut duplikaatit, muokkaa niihin oikeat tiedostolinkit (A) valitsemalla ensin kysely, (B) valitsemalla Source-vaihe ja (C) kopioimalla haluttu tiedostolinkki joko kaavarivillä punaisella näkyvään osaan lainausmerkkien sisälle tai napsauttamalla Source-vaiheen kohdalla olevaa ratasta ja vaihtamalla lähdetiedoston avautuvasta ikkunasta. Ole tarkka, kun muokkaat kaavariviä, ettet poista kaavasta mitään osia vahingossa.
3. Vaihda myös kyselyiden nimet.
   
4. Jotta eri vuosien aineistoista pystyy laatimaan esimerkiksi yhtenäisiä aikasarjakaavioita, jotka kattavat kaikki vuodet, aineistot pitää yhdistää yhdeksi tauluksi.
5. Vuosikyselyistä pitää siis muodostaa yksi tulosjoukko, jossa eri vuodet ovat allekkain. Valitse ensin yksi kyselyistä ja anna komento Home > Append Queries > Append Queries as New (Aloitus > Yhdistä > Liitä kyselyt loppuun > Liitä kyselyt uutena).
6. Käytä vähintään kolme taulukkoa -toimintoa ja kerää yhdistettävät kyselyt oikeanpuoleiseen ruutuun. Etene OK:lla.
   
7. Koska yhdistät useita eri aineistoja, Power Query pyytää määrittämään yksityisyystason, johon voit tässä tapauksessa valita Public (Julkinen). Kyseessä on julkinen avoin data. Vaihtoehtoisesti voit myös valita Ignore Privacy Levels.
   
8. Nimeä uusi muodostunut kysely Ostolaskut-nimiseksi.
9. Kaikista laadituista kyselyistä ainoastaan tämä viimeisin Ostolaskut-kysely halutaan ladata Power BI -tiedostoon, joten määritä kunkin vuosikyselyn pikavalikon kautta ettei vuosikyselyä ladata erillisenä tauluna tiedostoon. Ota siis Enable load (Ota lataaminen käyttöön) -asetus pois käytöstä. Jos saat varoituksen tiedon menetyksestä, hyväksy se. Kyselyiden nimet muuttuvat kursivoiduiksi ja lopulta vain Ostolaskut -aineisto latautuu visualisoitavaksi.
   
10. Kun kyselyt on yhdistetty ja vain Ostolaskut näkyy kursivoimattomana, lataa sen sisältö valitsemalla komento Aloitus > Sulje ja ota käyttöön (Home > Close & Apply). Odota rauhassa. Nettiyhteyden nopeudesta riippuen saattaa kestää hetken, kun Power BI kopioi dataa, sillä rivejä on useita miljoonia.

Jos latauksessa ilmoitetaan virheistä, ne johtuvat todennäköisesti virheellisistä tietotyypeistä (esimerkiksi tekstitietoa ei voi muuntaa kokonaisluvuksi). Voit palata takaisin Power Queryyn komennolla Home > Transform data (Aloitus > Muunna tiedot) ja poista varmuudeksi kaikista kyselyistäsi Changed type (Muutettu tyyppi)  -vaiheet ja määritä kaikki tietotyypit uudelleen.

Datan päivitys

Jos latasit myös kuluvan vuoden aineiston, Hansel on kertonut päivittävänsä sen sisällön kuukausittain.

Kun Hansel on julkistanut uuden datan, napsauta PBI Desktopissa Home > Refresh (Aloitus > Päivitä), jotta saat uusimman aineiston raporttiisi.

Kun suoritat datan päivityksen, Power BI suorittaa aina ensin vuosikyselyt ja lopulta yhdistää ne Ostolaskut-kyselyyn. Älä siis poista vuosikyselyitä, vaikkei niitä ladattu erillisinä tauluina Power BI -tiedostoon. Vaikka aiempien vuosien aineistot eivät enää päivity avoimen datan palvelussa, ne luetaan aina uudelleen, kun Power BI:ssä suoritetaan päivitys.

Ladatun datan tarkastelu

Kun lataus on onnistunut, näet oikealla taulun kentät eli sarakkeet sekä yli 30 erilaista visualisointivaihtoehtoa. Numeeriset kentät (esim. tiliointisumma) tunnistat sigma-merkistä.

Jos haluaisit muokata kyselyitä, voisit palata takaisin Power Queryyn (1) Home > Transform data (Aloitus > Muunna tiedot) -komennolla.

Power BI Desktopin pääikkunan vasemmassa reunassa on kolme eri näkymää
(1) visualisointi,
(2) ladattujen taulujen sisällön tarkastelu ja
(3) taulujen väliset yhteydet, jos malliin on ladattu useita eri tauluja, joiden välille luodaan relaatioita.

Kenttien eli sarakkeiden muotoilut

Datan lataamisen jälkeen on hyvä muotoilla sekä päiväykset että numeeriset sarakkeet. Siirry Data (Tiedot) -näkymään ja valitse sarake, jonka muotoilet. Valintanauhaan ilmestyy Column tools (Saraketyökalut), joka sisältää mm. muotoiluvaihtoehtoja.

Tiliointisumma-sarakkeeseen on hyvä määrittää tuhaterotin sekä nolla desimaalia. Valtion ostoista lasketut summat ovat hyvin suuria lukuja, joten raportteja tuskin halutaan sentin tarkkuudella.

Visualisointi

Siirry Raportti (Report) -näkymään.

Tee ensimmäinen visualisointi vetämällä arkille ensin vaikkapa hankintakategoria, jolloin Power BI muodostaa taulukon kaikista hankintakategorioista. Vedä muodostuneen taulukon sisään myös numeerinen tiliointisumma-kenttä, jolloin Power BI laskee sen perusteella summan hankintakategorioittain. Huomaa, että arkille kuljettamasi kentät näkyvät harmaassa paneelissa myös Values (Arvot) -ruudussa, missä voit esimerkiksi vaihtaaa niiden järjestystä hiirellä vetämällä.

Kun taulukko on muodostunut ja se on valittuna (valintakahvat näkyvät ympärillä), voit (1) vaihtaa sen visualisointityypin, (2) valita esimerkiksi tiliointisumma-kentän valikosta laskutoimituksen tai nimetä kentän visualisointikohtaisesti erilaiseksi ja (3) suodattaa visualisointia. Voit myös kuljettaa Filters (Suodatus) -paneeliin lisää suodatuskenttiä.

Kun sinulla on valittuna visualisointi, paneelissa oikealla näkyy 3 välilehteä (ympyröitynä alla olevassa kuvassa). Ensimmäinen välilehti näyttää visualisoinnin osat, toinen välilehti sisältää muotoilumahdollisuudet (värit, fontit, kehykset, asteikot, otsikot, jne.) ja kolmannelta välilehdeltä saattaa löytyä visualisoinnista riippuen ns. analytiikkaominaisuuksia.

Visualisointipaneelin ensimmäisellä välilehdellä on valitsemasi visualisointityypin eri osat, kuten Axis (Akseli), Legend (Selite), Value (Arvo), Tooltip (Työkaluvihjeet), jne. Eri visualisoinneilla on erilaisia osia ja niiden vaikutus visualisointiin selviää kokeilemalla. Kuljeta siis hiirellä datakenttiä visualisoinnin eri osiin, kun haluat muokata visualisoinnin sisältöä. Esimerkiksi työkaluvihjeet (tooltip) näytetään puhekuplassa, kun käyttäjä kuljettaa hiirtä visualisoinnin päällä. Format-välilehdeltä löydät erilaisia ulkoasuun vaikuttavia muotoiluita ja Analytics-välilehti saattaa sisältää analytiikkaominaisuuksia visualisoinnista riippuen.

Osittaja (slicer)

Alla olevassa kuvassa on kaksi osittajaa, joista toisessa on tositepvm ja toisessa yläorganisaatio. Osittajan ulkoasu riippuu tiedon tyypistä.

Visualisointien välinen vuorovaikutteisuus

Visualisoinnit ovat oletusarvoisesti keskenään vuorovaikutteisia. Kun napsautat yhtä kohdetta (esimerkiksi ympyrän sektoria), toiset visualisoinnit reagoivat valintaan automaattisesti. Kun napsautat kohdetta uudelleen, valinta poistuu.

Oletusarvoisesti vuorovaikutteisuus korostaa muista visualisoinneista vain osa-alueita. Esimerkiksi pylväskaavioon jää himmennettyinä alkuperäiset pylväät ja niissä näytetään korostettuna vain osuuksia. Yleensä oletus kannattaa vaihtaa PBI Desktopin asetuksista sellaiseksi, että ristiinkorostuksen sijaan tapahtuu ristiinsuodatus, jolloin visualisointien välillä tapahtuu täydellinen suodattuminen. Asetus löytyy komennolla Tiedosto > Asetukset ja vaihtoehdot > Asetukset > NYKYINEN TIEDOSTO > Raporttiasetukset > Muuta oletusarvon mukaista visualisoinnin vuorovaikutus ristiinkorostuksesta ristiinsuodatukseksi (File > Options and Settings > Options > CURRENT FILE > Report Settings > Change default visual interaction from cross highlighting to cross filtering).

Voit muokata vuorovaikutuksia myös visualisointikohtaisesti valitsemalla yhden visualisoinnin ja ylhäältä valintanauhasta (ribbon) Format > Edit Interactions (Muotoile > Muokkaa vuorovaikutuksia). Löydät niistä lisätietoja aiemmasta Power BI -raportin viimeistely -jutustani.

Sisäänrakennettujen noin 30 visualisoinnin lisäksi saat käyttöösi erilaisia mukautettuja visualisointeja, joita on nyt jo lähes 300 erilaista.

Noh?

Aiotko ryhtyä tutkimaan aineistoa? Minä ainakin aion.

Julkaisin Vilahdukseen myös yhden datasta tehdyn raportin, jonka avulla voit tarkastella haluamaasi toimittajaa tai esimerkiksi vertailla kahta toimittajaa keskenään. [Edit 04/2020: julkaistu raportti on vanhasta Hanselin datasta eikä sisällä vuoden 2020 lukuja.)

Avaa Vilahdus.fi -sivustolla julkaistu raportti

***************************

Laatija Heidi Enho, Corellia Helsinki Oy

• Koulutan, mentoroin ja toteutan Power BI -ratkaisuita Corelliassa.
• Avointen Power BI -koulutusten lisäksi järjestän asiakaskohtaisesti räätälöityjä koulutuksia.
• Tiedustelut heidi.enho(at)corellia.fi, LinkedIn
• Kirjoitan suosittua HExcelligent-blogia ja olen ollut perustamassa MSBI & Power BI User Group Finland -käyttäjäkerhoa Suomeen.