I det minste kan det være greit å vite om det – Sony har annonsert to framtidige modeller med intelligente visuelle sensorer, og også de første billedsensorene i verden som er utstyrt med funksjonalitet for prosessering av AI – eller kunstig intelligens som det gjerne kalles på norsk. Styrken til disse modellene ligger i det faktum at de kommer med prosessoren som en integrert del av billedbrikka. Det vil muliggjøre prosessering av billeddate ved høy hastighet og uttrekk av kun nødvendige data i ethvert tilfelle, basert på de mulighetene som den innbygde AI teknologien gir. Noe som, i de tilfellene man kobler dette opp mot skytjenester reduserer forsinkelser når det kommer til overføring av data, adresserer hensyn til det private og som samtidig reduserer både strømforbruket og kommunikasjonskostnader. Dette er produkter som vil utvide mulighetene for å utvikle AI-utstyrte kameraer, muliggjøre et omfattende utvalg applikasjoner innenfor ulike områder og industrier og bidra til å bygge optimale systemer som kobles til skyen.

Signalene som blir samlet inn av billedpunktene på brikken blir kjørt gjennom en ISP (Image Signal Processor) og all AI-prosessering blir gjort i prosesstrinnet på logikkbrikka og den informasjonen som blir trukket ut blir publisert som metadata., noe som reduserer mengden av data som blir håndtert. Ved at man sikrer at billeddata ikke sendes ut bidrar til å redusere sikkerhetsrisikoen samtidig som det også adresserer hensyn til privat informasjon. I tillegg til det bildet som blir fanget opp av den konvensjonelle billedsensoren kan brukerne velge formater på de dataene som går ut i forhold til deres egne behov og bruksområder, inkludert ISP-formatet på bildene (YUV/RGB) og RIO (Region Of Interest) for uttrekk av spesifikke billeddata.

Signalet som blir hentet ned fra pikselbrikken kjøres gjennom en ISP (signalprosessor for billedinformasjonen) og AI prosessering blir utført på prosessnivå i brikken, og de resulterende dataene blir lagt ut som metadata, noe som reduserer mengden av data som blir håndtert. Ved å sikre at billeddata ikke blir sendt ut bidrar det til å redusere sikkerhetsrisikoen og vil kunne adressere private hensyn. I tillegg til de konvensjonelle billeddataene som hentes inn via den konvensjonelle billedsensoren, inkludert ISP formaterte bilder (YUV/RGB) og RGI (som står for Region of Interest – områder av interesse) blir det spesifikke billedområdet trukket ut.

 Når en video blir spilt inn ved hjelp av en konvensjonell billedsensor er det nødvendig å sende å sende data for hvert enkelt bilde for AI prosessering, noe som med en gang gir en utvidet mengde dataoverføring, og gjør det vanskelig å levere en ytelse som fungerer i sanntid. Det sentrale her er å kunne opprettholde en konstant nytte av de dataene som hentes inn til enhver tid. Det er på det området denne nye brikken fra Sony leverer ifølge Sony, og det er ikke minst takket være det faktum at all prosessering skjer på en enkelt brikke. Hvert enkelt bilde blir prosessert i løpet av noen få millisekunder på brikken, noe som gjør det mulig å avslutte hel prosessen i et enkelt bilde (og det muliggjør det å kunne hente inn data fortløpende med opp til 240 bilder i sekundet ved en oppløsning på 1080p. Dette er hva som vil være med på å muliggjøre sanntidssporing med høy presisjon mens man tar opp video.

Det er når man begynner å anvende AI koder opp mot denne brikken at ting begynner å bli langt mer interessant, og hvilke koder man velger å ta i bruk er helt opp til sluttbrukeren. Hvilke AI modeller man ønsker å skrive til minnet i denne brikka er brukeren valg. Dette er modeller som kan skrives over og oppdateres når det måtte være behov for det, og helt ut avhengig av vilkårene eller forholdene ved den lokasjonen hvor systemet vil bli anvendt. Sony gir et eksempel hvor brikken er satt til å styre flere kameraer, og hvor disse anvendes i en forretningssituasjon. En enkelt type kamera kan brukes med stor grad av anvendelighet på flere posisjoner, hendelser, tider og formål. Om den anvendes ved inngangen til en virksomhet kan den brukes for å telle antall besøkende, og når den blir plassert på en hylle kan den lese av forbruk og gi melding om etterfylling av hylla. Monterer man den i taket kan den lese av varmen fra de som er til stedet, og på det viset varsle om konsentrasjoner av folk på bestemte steder i lokalet og så videre. Videre kan AI modellen i et gitt kamera skrives om fra å lase av varme til å kjenne av oppførselen til den enkelte forbrukeren, samt en hel del mer.

Dette er en brikke som vil være tilgjengelig som en enkeltstående brikke, IMX500 eller som del av et pakkeprodukt, da kalt IMX501. Det for de som måtte ha interesse av å ta en litt nærmere titt på hva dette er, og om det er noe man kan gjøre nytte av i egne produkter også. Dette er kun ett produkt i en hel del som nå utvikles mot et marked av AI-relaterte produkter som garantert vil bli omfattende. Hva det brukes til i enden blir det avgjørende, og av hvem for hvilke formål. Det gir en unektelig noe å tenke på sjølsagt.