Automaattinen sisällönanalyysi: segmentointi

Miten automaattinen sisältöanalyysi voisi parantaa Areenan audio- ja videosisältöjen löydettävyyttä ja käyttöä?

Tiimi: Kim Viljanen / Yle, Sami Mattila / Yle, Valossa Labs Oy

Julkaistu 25.1.2017

 

MITÄ ME YRITÄMME SELVITTÄÄ?

Testasimme voiko tekoäly tunnistaa ohjelman rakennetta eli segmentoida ohjelman sisällön kannalta loogisiin kokonaisuuksiin. Tämä mahdollistaisi monenlaisia tapoja parantaa ohjelmien käytettävyyttä. Esimerkiksi makasiiniohjelmissa ja uutislähetyksissä käyttäjä voisi hyppiä vähemmän kiinnostavien aiheiden yli tai palata tiettyyn aiheeseen aivan kuten sanomalehteä lukiessa.

Segmentit voisi myös julkaista automaattisesti itsenäisinä klippeinä, joka vähentäisi käsityötä ja saattaisi parantaa sisältöjen näkyvyyttä esimerkiksi sosiaalisessa mediassa. Alkutunnarin ja lopputekstien helppo ohittaminen puolestaan mahdollistaisi sarjojen sujuvamman katsomisen ja pitäisi katsojat pidempään sarjan äärellä.

 

MIKSI SE ON TÄRKEÄÄ TAI MERKITYKSELLISTÄ?

Yle Areenaan julkaistaan vuosittain noin 15 000 tuntia videosisältöä ja 35 000 tuntia audiota. Yhteensä sisältöjä (jakso, klippi, pisteohjelma) on saatavilla kullakin hetkellä noin 150 000 kappaletta. Metatiedon tuottaminen on hidasta ja työlästä, joten siinä joudutaan keskittymään ydinasioihin eikä löydettävyyden maksimointiin.

Kun audiovisuaalinen sisältö on muutettu tekstiksi ja metatiedoksi (kuva 1), voidaan sisällölle tarjota kaikki samat toiminnallisuudet kuin tekstisisällölle: hakua, asiasanoitusta, notifikaatioita aiheen mukaan, automaattisia linkkejä lisätietoihin samasta aiheesta, tiivistelmät, sisällön jako loogisiin kokonaisuuksiin jne. Löydettävyys paranee, palvelu paranee, asiakastyytyväisyys kasvaa.

 

MITÄ ME KÄYTÄNNÖSSÄ TEIMME?

Aineistona kokeessa käytettiin TV-uutislähetyksiä ja A-studion jaksoja, joissa molemmissa ohjelmat koostuvat useista eri toisistaan liittymättömistä aiheista.

Ohjelman rakenne tunnistettiin Valossa AI -teknologian avulla kuvapinnan visuaalisen analysoinnin avulla sekä hyödyntäen ohjelmien tekstitysraitaa. Lopputuloksen arviointia varten tuotettiin yksinkertainen käyttöliittymä, jolla segmentointia pystyi kokeilemaan.

 

MITÄ TÄSSÄ KOKEILUSSA OPIMME?

Kokeen tulos oli se, että yhdistämällä kasvojen havainnointi, puhuttujen aiheiden tunnistaminen sekä erilaisten toistuvien visuaalisten elementtien tunnistaminen, saatiin automaattisesti aikaan käyttäjän kannalta hyödyllinen segmentointi.

Yksi havainto oli se, että vertailemalla saman sarjan eri jaksoja toisiinsa, pystyi toistuvat elementit, kuten alkutunnukset, välikkeet ja lopputunnukset, tunnistamaan melko helposti. Tämä jaksojen välinen vertailu vaikuttaisi olevan hyvä yleisperiaate varsin monenlaisiin sarjamuotoisiin audiovisuaalisiin sisältöihin, joita esimerkiksi Yle julkaisee.

Toinen havainto oli se, että visuaalisen tunnistuksen käyttö vaati tekoälyjärjestelmän hienosäätöä kukin sarja erikseen, joten tässä vaiheessa täysin automaattista segmentointia ei pystytty tekemään.

Asiasanat ovat näppärä tapa yksilöidä hyvinkin yksityiskohtaisesti tietyn sisällön pääkäsitteet, kuten vaikkapa sisällön aihe ja mitkä henkilöt sisällössä esiintyvät. Asiasanoituksen avulla sisällöt samaa aihetta käsittelevät sisällöt linkittyvät toisiinsa, jolloin käyttäjälle on mahdollista tarjota käsitelähtöisiä haku- ja navigointitoiminnallisuuksia. Näin toimitaan jo nyt Ylen artikkelisisällöissä, jossa esimerkiksi Uutisvahdissa käyttäjä voi valita yksityiskohtaisesti mistä sisällöstä on kiinnostunut ja mistä ei. TV- ja radiosisällöissä näin ei Ylellä toistaiseksi toimita, koska asiasanoitusta ei laajamittaisesti toistaiseksi tehdä.

*

Testikäyttöliittymä segmentoidun ohjelman katsomiseen (video).