Foilsíonn Meta an cód sa rochtain oscailte hintleachta saorga faoin ainm ÍomháBind, a thuarann gaolmhaireachtaí idir sonraí atá cosúil leis an dóigh a mbreathnaíonn nó a shamhlaíonn daoine a dtimpeallacht. Cé go gceanglaíonn gineadóirí íomhá cosúil le Midjourney, Stable Diffusion, agus DALL-E 2 focail le híomhánna, rud a ligeann duit radhairc amhairc a chruthú bunaithe ar thuairisc téacsúil amháin, téann ImageBind níos faide ná sin. Is féidir leis téacs, íomhánna nó físeáin, fuaime, tomhais 3D, sonraí teochta agus sonraí gluaisne a nascadh - agus déanann sé sin gan gá le réamhoiliúint gach deis. Is céim luath é seo de chreat a bheidh in ann timpeallachtaí casta a ghiniúint faoi dheireadh ó ionchuir shimplí ar nós leid téacs, íomhá nó fuaime (nó meascán díobh).
Is féidir leat smaoineamh ar ImageBind mar chomhfhogasú ar mheaisín-fhoghlaim d'fhoghlaim an duine. Mar shampla, má tá tú i do sheasamh i dtimpeallacht dhinimiciúil, cosúil le sráid ghnóthach sa chathair, ionsúnn d’inchinn (go neamh-chomhfhiosach den chuid is mó) radharcanna, fuaimeanna agus braiteanna céadfacha eile chun faisnéis a fháil faoi ghluaisteáin atá ag dul thart, foirgnimh arda, an aimsir, agus go leor eile. . Tháinig daoine agus ainmhithe eile chun cinn chun na sonraí seo a phróiseáil dár mbuntáistí géiniteacha: maireachtáil agus ár DNA a chur ar aghaidh. (Mar is mó eolas atá agat ar do thimpeallacht, is amhlaidh is mó is féidir leat an chontúirt a sheachaint agus oiriúnú do do thimpeallacht le maireachtáil agus le rathú níos fearr). De réir mar a thagann ríomhairí níos gaire d’aithris a dhéanamh ar naisc ilchéadfacha ainmhithe, is féidir leo na naisc sin a úsáid chun radhairc iomlána a chruthú bunaithe ar phíosaí teoranta sonraí amháin.
Mar sin, cé go mb’fhéidir go mbainfeá úsáid as Midjourney chun “cú le basset i gculaith Gandalf a chothromú ar liathróid trá” a chruthú agus grianghraf réasúnta réalaíoch a fháil den radharc aisteach sin, d’fhéadfadh uirlis AI ilmhódach cosúil le ImageBind físeán a chruthú leis an madra le hábhar ábhartha. fuaimeanna, lena n-áirítear seomra suí mionsonraithe, teocht an tseomra agus suíomh cruinn an madra agus gach duine eile sa radharc. "Cruthaíonn sé seo deis iontach chun beochan a chruthú ó íomhánna statacha trí iad a chomhcheangal le leideanna fuaime," an Meta taighdeoirí faoi deara ina bhlag atá dírithe ar an bhforbróir. "Mar shampla, is féidir le cruthaitheoir íomhá a chomhcheangal le clog aláraim agus le rooster glaoite agus úsáid a bhaint as cue fuaime chun an rooster nó fuaim an chlog aláraim a dheighilt chun an clog a dheighilt agus an dá cheann a bheochan i seicheamh físeáin."
Maidir leis an méid eile is féidir a dhéanamh leis an bréagán nua seo, léiríonn sé go soiléir ceann de chroí-uaillmhianta Meta: VR, réaltacht mheasctha, agus meiteaspás. Mar shampla, samhlaigh headset amach anseo a fhéadfaidh radhairc 3D iomlán a thógáil (le fuaim, gluaiseacht, etc.) ar an eitilt. Nó d’fhéadfadh forbróirí cluiche fíorúil é a úsáid ar deireadh thiar chun cuid shuntasach den obair dhian sa phróiseas dearaidh a shábháil dóibh féin. Mar an gcéanna, d'fhéadfadh cruthaitheoirí inneachair físeáin thumoideachais a chruthú le fuaimrianta réalaíocha agus tairiscint bunaithe ar théacs, íomhánna nó fuaime. Is furasta freisin a shamhlú conas a osclaíonn uirlis cosúil le ImageBind doirse nua in inrochtaineacht trí chur síos ilmheán fíor-ama a ghiniúint chun cabhrú le daoine le lagú amhairc nó éisteachta a dtimpeallacht a thuiscint níos fearr.
Suimiúil freisin: Na huirlisí is fearr atá bunaithe ar hintleachta saorga
“I gcórais AI tipiciúla, tá leabú ar leith (.i. veicteoirí uimhreacha ar féidir leo sonraí agus a ngaolmhaireacht i meaisínfhoghlaim a léiriú) do gach modhúlacht ábhartha,” a deir Meta. “Léiríonn ImageBind gur féidir spás leabaithe comónta a chruthú le haghaidh ilmhódúlachtaí gan a bheith riachtanach oiliúint a chur ar shonraí le gach teaglaim aonair de mhodhanna. Tá sé seo tábhachtach mar ní féidir le taighdeoirí tacair shonraí a chruthú le samplaí ina bhfuil, mar shampla, sonraí fuaime agus sonraí teirmeacha ó shráid ghnóthach sa chathair, nó sonraí doimhneachta agus cur síos téacsach ar aill cois farraige.”
Creideann Meta go rachaidh an teicneolaíocht seo níos faide ná na sé "chiall" atá ann faoi láthair, mar a déarfá. “Cé go ndearnamar imscrúdú ar shé mhódúlacht inár staidéar reatha, creidimid go gceadóidh tabhairt isteach módúlachtaí nua a nascann an oiread céadfaí agus is féidir - cosúil le comharthaí tadhaill, cainte, boladh agus inchinn fMRI - samhlacha AI níos saibhre atá dírithe ar an duine." Is féidir le forbróirí a bhfuil suim acu an bosca gainimh nua seo a iniúchadh tosú trí thumadh isteach i gcód foinse oscailte Meta.
Léigh freisin: