Share
Intel RealSense-teknologi kombinerer et 3D-kamera og en mikrofonmatrise med en SDK som lar deg implementere gestussporing, 3D-skanning, ansiktsuttrykksanalyse, talegjenkjenning og mer. I denne artikkelen ser jeg på hva dette betyr for spill, og forklarer hvordan du kan begynne å bruke den som spillutvikler.
RealSense er designet rundt tre forskjellige eksterne enheter, som hver inneholder et 3D-kamera. To er beregnet for bruk i tabletter og andre mobile enheter; den tredje frontfronten F200-er beregnet for bruk i bærbare datamaskiner og stasjonære datamaskiner. Jeg vil fokusere på sistnevnte i denne artikkelen.
F200 er allerede inkludert i en rekke forskjellige bærbare datamaskiner, så vel som et par andre enheter, og vil snart være tilgjengelig som en frittstående USB-perifer. (Du kan allerede bestille eller reservere en dev kit-versjon for rundt $ 100.)
Det består av:
Den infrarøde projektoren og kameraet kan hente dybdeinformasjon for å lage en intern 3D-modell av hva kameraet peker på; Fargeinformasjonen fra det konvensjonelle kameraet kan da brukes til å farge denne modellen.
SDK gjør det da enklere å bruke kameraets evner i spill og andre prosjekter. Det inkluderer biblioteker for:
Legg merke til at, i tillegg til at du kan spore, si posisjonen til noens nese eller spissen av høyre pekfinger i 3D-rom, kan RealSense også registrere flere innebygde bevegelser og uttrykk, slik som disse:
Så, i stedet for å skrive kode for å sjekke om hjørnene til spillerens munn er buet oppover og avgjøre om de smiler, kan du bare quizse RealSense-biblioteket for "smil" -bevegelsen.Her er noen eksempler på hvordan RealSense kan være (og blir) brukt i spill:
Nevermind, et psykologisk horror-spill, bruker RealSense til biofeedback: det måler spillerens puls ved hjelp av 3D-kameraet, og reagerer deretter på spillerens nivå av frykt. Hvis du mister ditt kjølig, blir spillet vanskeligere!
MineScan, av voidALPHA, er et proof of concept som lar deg skanne virkelige objekter (som fulle dyr) til Minecraft. Ethvert 3D PC-spill med vekt på mods eller personalisering kan bruke RealSense-kameraets skanningskapasiteter for å la spillerne sette inn sine egne objekter (eller til og med seg selv!) I spillet.
Faceshift bruker RealSense for bevegelsesfange ansikter i detalj. Denne teknologien kan brukes i sanntid, i et spill, når spillerne snakker med hverandre, eller i produksjonstid for å registrere en skuespiller uttrykk så vel som deres stemme for mer realistiske tegn.
Der kom et ekko er en taktisk RTS som bruker RealSense sine talegjenkjenningsfunksjoner for å la spilleren kommandere sin gruppe. Det er lett å se hvordan dette kan tilpasses til for eksempel en lagbasert FPS.
For mange år siden forklarte Johnny Lee hvordan man (mis-) bruker en Wii-kontroller og sensorlinje for å spore spillerens hodeposisjon og justere visning i spillet tilsvarende. Få spill, om noen, faktisk benyttet seg av dette (uten tvil på grunn av det uortodokse oppsettet det krevde) - men RealSenses sporingskapasitet for hodet og ansiktet gjør dette mulig, og mye enklere.
Det er også flere spill som allerede bruker RealSense til å drive sine gestusbaserte kontroller:
Laserlife, et sci-fi letespill fra studioet bak BIT.TRIP-serien.
Orderens leder, et turneringsstils slåssespill satt i en fantasiverden, hvor spillerne bruker håndbevis for å kaste staver på hverandre.
Mellomrom, hvor du bruker svømmehåndsbevegelser for å lede skilpadder, fisk og andre sjødyr gjennom en rekke oppgaver i en undervannsinnstilling.
Madagaskar flytte det !, et barnespill som ligner på Let's Dance-serien.
Gestekontroller er ikke helt nye for spill, men tidligere har de vært nesten eksklusive for Kinect. Nå kan de brukes i PC-spill - det betyr Steam, og til og med nettplattformen.
Første trinn: Last ned SDK. (Vel, OK, det første trinnet er sannsynligvis å få en enhet med et RealSense-kamera eller reservere et dev-sett.)
SDK inneholder:
Ta en titt på Intel RealSense SDK-treningsstedet. Her finner du guider for å komme i gang, opplæringsveiledning for å veilede deg gjennom å bruke bestemte funksjoner (inkludert Unity Toolkit) og videoer fra tidligere webinarer. Vi vil også publisere RealSense-veiledninger på Tuts + i løpet av de neste ukene.
Intels YouTube-kanal har en flott spilleliste med videoer om utvikling for RealSense. Disse har et mye større fokus på UX og UI enn opplæringen ovenfor; se denne videoen for et eksempel:
Disse UX-retningslinjene (PDF) er et godt akkompagnement til de ovennevnte videoene.
Når du har en god oversikt over hva SDK kan gjøre og hvordan de ulike bibliotekene fungerer, dykker du inn i dokumentasjonen for detaljer.
Endelig sjekk ut de offisielle forumene for å chatte med andre utviklere, se hva de jobber med, og få råd.
Vi har dekket hva RealSense er, hvilke spillutviklere bruker det til, og hvordan du kan begynne å bruke det i dine egne spill. Hold øye med Tuts + Game Development-delen i løpet av de neste ukene for noen opplæringsprogrammer på hodeskanning, tastaturfri skriving og uttrykksgenkjenning.
Intel® Software Innovator-programmet støtter innovative, uavhengige utviklere som viser evne til å lage og demonstrere fremadrettede prosjekter. Innovatører utnytter høyttalerskap og demo muligheter ved industri hendelser og utvikler sammenkomster.
Intel® Developer Zone tilbyr verktøy og veiledningsinformasjon for plattformsapputvikling, plattform og teknologiinformasjon, kodeprøver og faglig kompetanse for å hjelpe utviklere til å innovere og lykkes. Bli med i våre fellesskap for Internett av ting, Android *, Intel RealSense-teknologi, Moderne kode, Spill Dev og Windows * å laste ned verktøy, få tilgang til dev kits, dele ideer med likesinnede utviklere, og delta i hackoner, konkurranser, roadshows og lokale arrangementer.
Accentsconagua