Mga Detalye ng Intel sa Inner Working ng XeSS

Naglabas ang Intel ng explainer video para sa paparating nitong XeSS AI upscaling technology, at ipinakita kung paano gumagana ang tech sa halos handa na para sa public release ng Arc Alchemist GPUs. Ginamit nito ang pinakamabilis na Arc A770 para sa mga demonstrasyon, kahit na mahirap sabihin kung paano sasalansan ang pagganap laban sa pinakamahusay na mga graphics card batay sa limitadong mga detalye ng pagganap na ipinapakita.

Kung pamilyar ka sa DLSS ng Nvidia, na nasa apat na taon na ngayon sa iba’t ibang pagkakatawang-tao, ang video ay dapat na pumukaw ng isang matalas na pakiramdam ng Deja Vu. Si Tom Petersen, na dating nagtrabaho para sa Nvidia at nagbigay ng ilan sa mga lumang presentasyon ng DLSS, ay naglalakad sa XeSS fundamentals. Sa maikling kuwento, ang XeSS ay parang isang mirrored na bersyon ng DLSS ng Nvidia, maliban kung ito ay idinisenyo upang gumana sa malalim na pag-aaral ng mga XMX core ng Intel kaysa sa mga tensor core ng Nvidia. Ang teknolohiya ay maaari ding gumana sa iba pang mga GPU, gayunpaman, gamit ang DP4a mode, na maaaring gawin itong isang kawili-wiling alternatibo sa AMD’s FSR 2.0 upscaler.

Sa mga demo na ipinakita ng Intel, ang XeSS ay mukhang gumagana nang maayos. Siyempre, mahirap sabihin nang tiyak kung ang pinagmulang video ay isang 1080p na naka-compress na bersyon ng aktwal na nilalaman, ngunit magse-save kami ng mga detalyadong paghahambing sa kalidad ng imahe sa ibang pagkakataon. Ang mga nadagdag sa performance ay mukhang katulad ng nakita natin sa DLSS, na may higit sa 100% frame rate boost sa ilang sitwasyon kapag gumagamit ng XeSS Performance mode.

Paano Ito Gumagana

Kung alam mo na kung paano gumagana ang DLSS, ang solusyon ng Intel ay halos pareho, ngunit may ilang maliliit na pag-aayos. Ang XeSS ay isang AI accelerated resolution upscaling algorithm, na idinisenyo upang taasan ang mga frame rate sa mga video game.

Nagsisimula ito sa pagsasanay, ang unang hakbang sa pinakamalalim na algorithm sa pag-aaral. Kinukuha ng AI network ang mga sample na frame ng mas mababang resolution mula sa isang laro at pinoproseso ang mga ito, na bumubuo ng kung ano ang dapat na upscaled na mga larawan ng output. Pagkatapos, ikinukumpara ng network ang mga resulta laban sa nais na target na imahe at ang likod ay nagpapalaganap ng mga pagsasaayos ng timbang upang subukan at itama ang anumang “mga error.” Sa una, hindi magiging maganda ang hitsura ng mga resultang larawan, ngunit dahan-dahang natututo ang AI algorithm mula sa mga pagkakamali nito. Pagkatapos ng libu-libo (o higit pa) ng mga larawan ng pagsasanay, ang network sa kalaunan ay nagtatagpo patungo sa mga ideal na timbang na “magically” na bubuo ng mga nais na resulta.

Kapag ang algorithm ay ganap nang nasanay, gamit ang mga sample mula sa maraming iba’t ibang mga laro, sa teorya ay maaari itong kumuha ng anumang input ng imahe mula sa anumang video game at halos ganap na palakihin ito. Tulad ng DLSS (at FSR 2.0), ang XeSS algorithm ay nagsasagawa rin ng papel na anti-aliasing at pinapalitan ang mga klasikal na solusyon tulad ng temporal na AA.

(Kredito ng larawan: Intel)

Muli, wala sa ngayon ang partikular na kapansin-pansin. Ang DLSS at FSR 2.0 at maging ang mga karaniwang temporal na AA algorithm ay may maraming parehong pangunahing functionality — minus ang AI stuff para sa FSR at TAA. Isasama ng mga laro ang XeSS sa pipeline ng pag-render ng mga ito, kadalasan pagkatapos magawa ang pangunahing pag-render at mga paunang epekto ngunit bago iguhit ang mga epekto sa pagpoproseso ng post at mga elemento ng GUI/HUD. Sa ganoong paraan nananatiling matalas ang UI habang ang mahirap na gawain ng 3D rendering ay tatakbo sa mas mababang resolution.

Gumagana ang XeSS sa mga core ng Arc XMX ng Intel, ngunit maaari rin itong tumakbo sa iba pang mga GPU sa bahagyang naiibang mode. Ang mga tagubilin sa DP4a ay karaniwang apat na pagkalkula ng INT8 (8-bit integer) na ginagawa gamit ang isang 32-bit na rehistro, kung ano ang karaniwan mong maa-access sa pamamagitan ng isang GPU shader core. Samantala, ang mga XMX core ay katutubong sumusuporta sa INT8 at maaaring gumana sa 128 na mga halaga nang sabay-sabay.

Iyon ay maaaring mukhang napakabaligtad, ngunit bilang isang halimbawa ang isang Arc A380 ay may 1024 shader cores na bawat isa ay maaaring gumawa ng apat na operasyon ng INT8 sa parehong oras. Bilang kahalili, ang A380 ay may 128 MXM units na bawat isa ay makakagawa ng 128 INT8 operations. Ginagawa nitong apat na beses na mas mabilis ang throughput ng MXM kaysa sa throughput ng DP4a, ngunit tila sapat pa rin ang DP4a mode para sa ilang antas ng kabutihan ng XeSS.

Tandaan na ang DP4a ay lumilitaw na gumagamit ng ibang sinanay na network, isa na marahil ay hindi gaanong masinsinang computation. Kung paano iyon isasalin sa real-world na pagganap at kalidad ng imahe ay nananatiling makikita, at mukhang kakailanganin ng mga developer ng laro na tahasang isama ang suporta para sa parehong XMX at DP4a mode kung gusto nilang suportahan ang mga hindi-Arc GPU.

Mga Inaasahan sa Pagganap ng Intel XeSS

Ipinakita ng Intel ang ilang pagsubok sa paglalaro na nagpapatakbo ng XeSS, kabilang ang pagbuo ng Shadow of the Tomb Raider at isang bagong benchmark ng 3DMark na partikular na ginawa para sa XeSS. Nagpakita rin ito ng mga maikling clip ng Arcadegeddon, Redout II, Ghostwire Tokyo, The DioField Chronicle, Chivalry II, Naraka Bladepoint, at Super People na tumatakbo nang may at walang XeSS sa dulo ng video.

Sa Shadow of the Tomb Raider, na tumatakbo sa isang Arc A770 graphics card sa 2560×1440 na may halos maxed out na mga setting, kabilang ang mga ray traced shadow, ang XeSS ay nagbibigay ng kahit saan mula sa humigit-kumulang 25% na performance boost sa Ultra Quality setting hanggang sa higit sa 100% sa mga frame rate sa paggamit ng setting ng Performance. Ang mga setting ng Kalidad at Balanseng ay napupunta sa gitna, at pinahusay na pagganap ng humigit-kumulang 50% at 75%, ayon sa pagkakabanggit.

Ang mga pakinabang na iyon ay natural na mag-iiba ayon sa game engine, mga setting, at base na pagganap. Kung mas hinihingi ang laro at mas mababa ang framerate, mas magiging kapaki-pakinabang ang XeSS. Gamit ang Performance mode, ipinakita ng Intel ang mga tipikal na nadagdag saanman mula 40% hanggang 110% sa 1440p, habang ang Balanced mode ay naghatid ng mga pagpapabuti mula sa humigit-kumulang 25% hanggang sa 75%.

Magdaragdag din ang 3DMark ng Intel XeSS Feature Test para sa Advanced na edisyon nito, na may kasamang benchmark mode pati na rin ang Frame Inspector na nagbibigay-daan sa mga user na tumingin sa mga larawan ng benchmark, na nag-zoom in upang suriin ang mga pagkakaiba sa visual na kalidad. Mukhang mas madaling gamitin kaysa sa utility ng ICAT ng Nvidia, ngunit siyempre limitado rin ito sa pagbibigay ng mga frame mula sa isang solong synthetic na benchmark.

Dahil ginagamit ng 3DMark ang hinihingi nitong Port Royal ray tracing scene para sa XeSS Feature Test, maaaring maging kahanga-hanga ang mga nadagdag sa performance. Sa 1440p na may XeSS sa performance mode, ang benchmark ay nakakita ng 145% na pagpapabuti sa FPS, 109% na boost sa Balanced mode, 81% gamit ang Quality mode, at 49% sa Ultra Quality mode.

Nagpakita rin ang Frame Inspector ng ilang magagandang resulta, kasama ang XeSS na muling buuin ang imahe, hanggang sa punto kung saan ang Intel’s Tom Petersen ay nakipagtalo na ang XeSS na imahe ay talagang mas maganda kaysa sa katutubong may TAA. Siyempre, kailangan mong kunin iyon nang may kaunting asin, at ang mga larawan mula sa isang naka-kahong sequence ay malamang na hindi ganap na kumakatawan sa mga karanasan sa paglalaro sa totoong mundo.

XeSS SDK at Higit sa 20 Laro sa Works

Magbibigay ang Intel ng madaling gamitin na SDK para sa pagpapatupad ng XeSS sa isang game engine. Ang interface at mga kinakailangan ay magiging halos kapareho sa mga pagpapatupad ng TAA, pati na rin sa DLSS at FSR 2.0, kaya dapat itong isang medyo madaling karagdagan para sa anumang modernong graphics engine.

Tulad ng TAA, FSR 2.0, at DLSS, kailangan ng XeSS ng mga motion vector kasama ang kasalukuyang frame, at pinapanatili nito ang sarili nitong koleksyon ng mga nakaraang frame. Ang lahat ng ito ay pinapakain sa network ng AI upang sa huli ay makabuo ng magandang resulta. Gumagamit din ang XeSS ng camera jitter upang makatulong na alisin ang pag-alyas sa eksena.

Sa kasalukuyan, ang Intel ay may higit sa 20 laro na may XeSS na nakaplanong ipalabas sa mga darating na buwan. Ang ilan sa mga iyon ay maaaring mahulog sa mga bitak o maantala, ngunit ito ay hindi bababa sa isang disenteng simula para sa bagong dating. Kasabay nito, inanunsyo ng AMD ang isa pang walong laro na kamakailan ay idinagdag o malapit nang magdagdag ng FSR 2.0, at ang Nvidia ay may higit sa 100 laro na nagpapadala sa DLSS 2.0 o mas bago. Ilang developer ng laro ang handang idagdag ang lahat ng tatlong alternatibo, na magbibigay sa mga manlalaro ng pagpipilian ng pinakamahusay na algorithm? Inaasahan namin na maraming laro ang susuportahan lamang ng isa o dalawa sa mga posibleng opsyon sa pag-upscale.

Opisyal na ilulunsad ang XeSS kapag inilabas ng Intel ang mga Arc Alchemist GPU nito sa buong mundo sa isang punto sa malapit na hinaharap. Ang Arc A380 ay epektibong inilunsad sa puntong ito, at tinukso na ngayon ng Intel ang A750 at A770. Sana, maranasan natin ang XeSS, sa parehong MXM at DP4a mode, sa hindi masyadong malayong hinaharap. Sa kasalukuyan, ang uptake ay nananatiling napakalayo sa likod ng kumpetisyon ng AMD at Nvidia.

(Kredito ng larawan: Intel)