Matemàtiques i aprenentatge automàtic: el taller de Barcelona uneix disciplines

Més de 100 investigadors es van reunir al Centre de Recerca Matemàtica per explorar els fonaments matemàtics necessaris per entendre la intel·ligència artificial moderna. El taller de tres dies va reunir matemàtics que treballaven en EDP, probabilitat, sistemes dinàmics i transport òptim per abordar preguntes fonamentals sobre les xarxes neuronals, des de l'eficiència i la interpretabilitat fins als misteris de per què aquests sistemes funcionen tan bé.

El taller va comptar amb presentacions d'investigadors destacats que van abordar qüestions teòriques bàsiques des de diverses perspectives matemàtiques. Stéphane Mallat, (Collège de France i ENS), guardonat amb la Medalla d'Or del CNRS 2025, lliurada Difusió guiada per moments per a la generació màxima d'entropia, connectant els mètodes clàssics d'entropia màxima amb les tècniques de mostreig contemporànies. «El tema es troba a la interfície de les tècniques estadístiques més antigues i les tècniques molt més recents sobre com aprendre a mostrejar distribucions de probabilitat amb aquestes tècniques d'aprenentatge automàtic», va explicar. «Comprendre el pont entre aquestes tècniques més antigues i el que s'està fent ara defineix entorns matemàtics en què és més fàcil entendre les propietats d'aquests algoritmes més nous».

El seu treball aborda la maledicció de la dimensionalitat, com les xarxes neuronals aprenen distribucions de probabilitat malgrat l'explosió exponencial dels espais de paràmetres. "Si penses en xarxes neuronals profundes, el que fan és aprendre distribucions de probabilitat. Ara bé, no pots aprendre la distribució de probabilitat quan tens un nombre molt gran de paràmetres perquè el conjunt de possibilitats està explotant", va assenyalar Mallat. Comprendre com les xarxes neuronals superen aquest repte representa "un problema fonamental molt bonic que afecta tots els rangs del coneixement, que ara intentem abordar des d'un punt de vista matemàtic".

A més de l'eficiència, la comprensió matemàtica ofereix interpretabilitat. «Quan s'apliquen a la física per predir el temps, en algun lloc poden entendre l'estructura subjacent de la física», va explicar Mallat. «Quin tipus d'informació extreuen? Com ​​podem entendre-ho matemàticament?»

Lenka Zdeborová (EPFL) va parlar sobre Generalització en models basats en l'atenció, aplicant mètodes de la física estadística per entendre els mecanismes d'atenció. La seva recerca demostra que l'atenció no ha de ser més difícil d'entendre matemàticament que les xarxes de retroalimentació. "En essència, conceptualitzem part de la dificultat i la portem a un conjunt de models que es poden resoldre utilitzant eines molt similars", va explicar.

El taller va reunir ponents convidats que treballaven amb diferents enfocaments matemàtics de la teoria de l'aprenentatge automàtic. Gabriel Peyré (CNRS i ENS) presentat Fluxos de difusió i transport òptim en l'aprenentatge automàtic, examinant com s'apliquen els mètodes de transport òptims a la coincidència de flux, els fluxos de gradient de Wasserstein i l'evolució de la probabilitat de tokens en transformadors. Eric Vanden-Eijnden (Courant Institute, NYU) va parlar sobre Més enllà de les difusions amb interpolants estocàstics, introduint un marc que unifica els models generatius basats en el flux i els basats en la difusió. Gergely Neu (UPF) va discutir distàncies de transport òptimes per a cadenes de Markov, demostrant l'equivalència entre les mètriques de bisimulació i les distàncies de transport òptimes.

Eulàlia Nualart (UPF-BSE) va abordar el convergència del descens de gradient estocàstic en temps continu, Mentre que Borjan Geshkovski (INRIA) va presentar un treball sobre transformadors com a sistemes de partícules interactuants. Andrea Agazzi (Universitat de Berna) va parlar sobre anàlisi de camp mitjà de models de transformadorsi Jaume de Dios Pont (ETH Zurich) presentat límits per al mostreig log-còncau. Roberto Rubio (UAB) va contribuir la perspectiva d'un matemàtic purEl programa també incloïa Xavier Fernàndez-Real (EPFL), Gábor Lugosi (ICREA-UPF), i Maria Prat (Marró).

Més enllà de les presentacions tècniques, el taller va incloure una taula rodona i una sessió de debat on els participants van participar en una discussió oberta sobre l'estat actual de la recerca en la intersecció de les matemàtiques i l'aprenentatge automàtic, examinant tant els progressos realitzats com els reptes futurs en el desenvolupament de fonaments teòrics rigorosos per als sistemes d'IA.

El Repte

«Les matemàtiques van molt endarrerides», va explicar Stéphane Mallat en una entrevista durant el taller. «La majoria d'aquests resultats són resultats d'enginyeria. Molt impressionants, molt espectaculars, però realment no entenem les matemàtiques subjacents». Aquesta bretxa té conseqüències pràctiques. «Aquests algoritmes requereixen molta energia per optimitzar-los. Requereixen moltes dades», va assenyalar Mallat. «La comprensió de les matemàtiques consisteix a millorar-les potencialment».

Lenka Zdeborová va establir un paral·lelisme històric. «Si comparem la màquina de vapor del segle XVIII amb la revolució de la IA actual, en aquell temps també els trens funcionaven, les companyies funcionaven, però no enteníem realment els principis científics», va observar. «Només mig segle més tard, amb Carnot i la seva obra, vam descobrir quins són els límits de l'eficiència». L'analogia s'estén directament a la intel·ligència artificial. «La IA actual utilitza moltes dades, molta electricitat per entrenar-se. I es podria pensar que no es pot fer millor, però no ho sabem científicament», va continuar Zdeborová. «Si podem fer-ho millor, això estalviaria molts recursos, i la comprensió conduiria a això».

"Ara estem entrant realment en una fase en què el progrés teòric a través de la comprensió teòrica serà un motor important per al progrés futur."
— Joan Bruna, Institut Courant de la NYU

Joan Bruna, que va formar part del comitè científic del taller, va qualificar el moment actual de transformador. «La IA s'ha transformat completament, passant de ser una disciplina molt petita a la cantonada de la informàtica a ser realment una part central de la societat», va dir. «Crec que la IA està definitivament preparada per aportar nous problemes, noves preguntes matemàtiques interessants que hem d'estudiar». Aquesta integració segueix un precedent històric. «La física va portar les EDP. També tenim problemes en enginyeria que van portar l'anàlisi harmònica», va assenyalar Bruna. Mallat va reforçar això amb un context històric més profund: «En la història de les matemàtiques, la majoria de les branques de les matemàtiques han anat evolucionant a partir de problemes aplicats. Si penseu en fa 4,000 anys, l'aparició de la geometria dels egipcis, que era per mesurar la superfície dels camps».

«La dinàmica és realment al cor de l'aprenentatge automàtic», va explicar Bruna. «La veiem aparèixer en moltes, moltes àrees diferents. L'entrenament de xarxes neuronals implica un procés dinàmic de descens de gradient. També veiem la dinàmica a mesura que les característiques progressen a través de les capes. Ara també veiem la dinàmica quan fem models generatius amb models de difusió i coincidència de fluxos». L'experiència de Barcelona en EDP, sistemes dinàmics i probabilitat la va convertir en un lloc natural. «El que esperem és que potser en el futur també puguem unir altres àrees de les matemàtiques», va afegir Bruna.

Preguntes obertes: antigues i noves

Més enllà d'aportar noves eines metodològiques, el treball interdisciplinari ofereix llibertat intel·lectual. "Com a espècie social, tendim a estar influenciats pels biaixos de la nostra comunitat", va reflexionar Zdeborová. "Quan veiem com diferents comunitats es fan les mateixes preguntes, ho fan de manera molt diferent. Això ens obliga a repensar tots aquests biaixos i, en cert sentit, alliberar-nos-en. I anar realment cap al nucli del qüestionament científic sense els biaixos creats per la comunitat". Per a Mallat, representa la construcció de ponts que ha caracteritzat la seva carrera: "El que més m'agrada és estar entremig, anar des de les aplicacions, però intentar entendre l'essència de les matemàtiques que hi ha al darrere".

El taller va emfatitzar l'optimisme sobre la configuració de la trajectòria de la matemàtica teòrica en la matemàtica, amb molts estudiants i joves investigadors entre els participants. "Ara realment estem entrant en una fase en què el progrés teòric a través de la comprensió teòrica serà un motor important per al progrés futur", va afegir Bruna. Per a aquells que es plantegen entrar en aquest camp, va oferir un encoratjament directe: "Les matemàtiques tenen un paper molt important. No dubteu a contactar amb la gent del vessant aplicat; sempre hi ha preguntes interessants que es poden plantejar connectant les matemàtiques amb els aspectes pràctics del problema".

Amb més de 100 participants que van interactuar amb persones de diferents disciplines, el taller va establir les bases per a un treball continu a la intersecció de la teoria matemàtica rigorosa i els reptes contemporanis de la IA, demostrant els punts forts de Barcelona alhora que creava oportunitats de col·laboració entre investigadors que treballen en fonaments matemàtics i sistemes pràctics d'aprenentatge automàtic.

Les gravacions de totes les xerrades dels tallers estan disponibles a Canal de YouTube de CRM, juntament amb un vídeo amb entrevistes amb Stéphane Mallat, Lenka Zdeborová i Joan Bruna que tracten els temes clau del taller.