return

Celebratio Mathematica

Ingrid Daubechies

Letter to Yves Meyer, February 22, 1987

[let­ter­head]
Cour­ant In­sti­tute of Math­em­at­ic­al Sci­ences
251 Mer­cer Street [hand­writ­ing] Feb­ru­ary 22, ’87
New York, N.Y. 10012
Tele­phone: (212) 460-7100


Dear Yves,

How are you? I’ve been mean­ing to write for a long time, and I’m a bit em­bar­rassed that I’ve waited so long. But here fi­nally are some news.

Ann Ar­bor has offered us, Robert and me both, as­so­ci­ate pro­fess­or­ships (“with ten­ure”). They told me that they were quite im­pressed by your let­ter of re­com­mend­a­tion, for which I would like to thank you again. Moreover, Bell Labor­at­or­ies has also made me an of­fer (Robert is work­ing there already). We have to de­cide be­fore March 1 (one week to go…) If it were only up to me, I think I’d likely go for Ann Ar­bor: I like the area very much, and it is a good uni­versity. And I would learn a lot of math there. On the oth­er hand, Robert is rather more at­tached to Bell Labs than I thought (and than he him­self thought, in fact), and, since I don’t want to start our mar­riage by tak­ing him away from Bell when he likes it there, we will prob­ably opt for the Bell al­tern­at­ive. Ac­tu­ally I think I’ll en­joy Bell too, quite a bit: there are very good math­em­aticians there too, and they give their re­search­ers a lot of free­dom. You’d said that, if we went to Ann Ar­bor, you’d come vis­it us — Robert and me and the kids. I hope you will come see us even if we cast our lot with Bell! I think you will find in­ter­est­ing cer­tain of the math­em­aticians (An­drew Odlyzko, Ron Gra­ham, Larry Shepp, Jeff Lagari­as, Neil Sloane,⁠…). They too were very im­pressed by your re­com­mend­a­tion. Thanks for open­ing those doors to me!

While wait­ing to de­cide with fi­nal cer­tainty (which will hap­pen this week), I have fi­nally fin­ished the big pa­per on frames (which I was really fed up with by the end), and re­turned to wave­lets. The ar­rival of Stéphane Mal­lat’s pa­per, which I thought very beau­ti­ful, led me to mulling on or­thonor­mal wave­let bases. I wondered, too, wheth­er a “pyr­am­id” al­gorithm such as the one in Mal­lat’s pa­per must ne­ces­sar­ily be foun­ded on a wave­let basis. I dis­cussed this with the “vis­ion” people here, and they seem to think that an or­tho­gon­al­ity prop­erty for sub­spaces of 2(Z), which then re­quires the ex­ist­ence of an or­thonor­mal wave­let basis un­der­ly­ing the “pyr­am­id”, is es­sen­tial. This whole thing has led me also to the con­struc­tion of or­thonor­mal bases of wave­lets with com­pact sup­port. (Here am I, who had al­ways worked with frames, sur­ren­der­ing to or­thonor­mal­ity too!) Such bases ex­ist, but the ones I’ve found look a bit strange.

The idea is the fol­low­ing.

Let’s try to con­struct se­quences f(n),g(n) such that (1)kf(n2k)f(2k)+g(n2k)g(2k)=δn. (In es­sence, that’s all that’s needed for an 2(Z) de­com­pos­i­tion-and-re­con­struc­tion “pyr­am­id” to work.)

We can then define G,F:2(Z)2(Z) by (Fc)k=nf(n2k)cn,(Gc)k=ng(n2k)cn. Then FF+GG=𝟙, and we have (F)NFN+j=1NFNjGGFNj=𝟙, that is, a de­com­pos­i­tion-and-re­con­struc­tion of 2(Z) with a pyr­am­id al­gorithm. In prac­tice, we will choose f,g to be real.

It seems reas­on­able (but not ne­ces­sary) to lim­it ourselves to the case where F2(Z)G2(Z) (it is clear that the sum of the two spaces is 2 in all cases). This would lead (ac­cord­ing to the in­tu­ition of the vis­ion people) to a great­er de­gree of data com­pac­tion than the non-or­tho­gon­al case. So we im­pose the con­di­tion (2)nf(n2k)g(n2)=0. Clearly all the con­di­tions are sat­is­fied if the f,g are ob­tained start­ing from a wave­let basis. On the oth­er hand, if (3)nf(n)=2,ng(n)=0 (these two con­di­tions are equi­val­ent if all the oth­ers hold), and if F(ξ)=12nf(n)einξ sat­is­fies j=1F(2jξ)L2(R), then we have an as­so­ci­ated wave­let basis: φ^(ξ)=j=1F(2jξ),ψ(x)=kg(k)2φ(2xk),φ1k,φ0n=f(n2k),ψ1k,φ0n=g(n2k). If we in­sist, at the start, that the se­quences f(n),g(n) only have fi­nitely many nonzero terms, the as­so­ci­ated ψ,φ will have com­pact sup­port (in that case F, and there­fore also j=1F(2jξ), are en­tire and of ex­po­nen­tial type).

So the ques­tion is to find f,g sat­is­fy­ing all the con­di­tions.

If we set f(2n)=a(n),g(2n)=c(n),f(2n+1)=b(n),g(2n+1)=d(n), and define Toep­litz matrices A,B,C,D (in­fin­ite on both sides) by Ank=a(nk),, and func­tions α,β,γ,δ by α(x)=na(n)einx, …, which are en­tire since only fi­nitely many a,b, are nonzero, then the con­di­tions be­come {AA+CC=𝟙BB+DD=𝟙AB+CD=0or{|α(x)|2+|γ(x)|2=1|β(x)|2+|δ(x)|2=1α(x)β(x)+γ(x)δ(x)=0(1)(1)AC+BD=0orα(x)γ(x)+β(x)δ(x)=0.(2)(2) It fol­lows from these last two equa­tions (this is most eas­ily seen on the α,β,γ,δ side) that |β(x)|2=|γ(x)|2,orBB=CC, and hence |α(x)|2=|δ(x)|2,orAA=DD. Let na,nb,nc,nd be the widths of the di­ag­on­al bands out­side which the Toep­litz matrices A,B,C,D van­ish. Then, since BB=CC and AA=DD, we have nb=nc,na=nd, and, if na,nb,nc,nd are all nonzero, na=nc,nb=nd. (This be­cause the width of BB is 2nb1, that of DD is 2nd1, and BB+DD=𝟙.) We there­fore have na=nb=nc=nd.

Sup­pose there ex­ist wave­lets as­so­ci­ated to f,g. Sup­pose that φ is sym­met­ric about 0, as in all in­ter­est­ing cases up to now. Then f(n) is sym­met­ric about 0: f(n)=f(n). If there are only fi­nitely many nonzero f(n), this im­plies that nanb, (na+nb is ne­ces­sar­ily odd in this case).

It fol­lows that there are no com­pactly sup­por­ted or­thonor­mal wave­let bases with φ sym­met­ric about 0 and com­pactly sup­por­ted.

In the case of the Haar basis, ψ is sym­met­ric about 12. Since sym­metry about 0 is not pos­sible, what about sym­metry about 12? This leads to f(n+1)=f(n) or C=A(let’s suppose the f are real). But then 2AA=𝟙, which im­plies na=1. The solu­tion, unique up to per­muta­tions and shifts, is then A=C=12𝟙,B=D=12𝟙, which cor­res­ponds to the Haar basis. There is no oth­er com­pactly sup­por­ted or­thonor­mal wave­let basis as­so­ci­ated to a com­pactly sup­por­ted func­tion φ sym­met­ric about 12, apart from the Haar basis.

On the oth­er hand, if we drop the sym­metry re­quire­ment, there are non­trivi­al ex­amples.

For na=nb=nc=nd=1, for ex­ample, we find that, for every λ,μR, the matrices A=N1(λμ+U),B=N1(λμU),C=N1(μλU),D=N1(1+λμU), where N=[(1+λ2)(1+μ2)]1/2 and where U is the “shift” mat­rix, Unk=δnk+1, sat­is­fy equa­tions (1) and (2).

If we also im­pose (3), then μ=λ1λ+1, and φ^(ξ)=j=1[F(2jξ)] con­verges, and lies in L2(R), where F(ξ)=12(1+λ)2[λ(λ1)+λ(λ+1)eiξ+(λ+1)e2iξ(λ1)e3iξ]. The func­tion φ is sup­por­ted in the in­ter­val [0,3] (or in [1,2] if we ap­ply a “shift”). Al­to­geth­er it looks kind of funny. For λ=2±3, φ^ de­creases faster than (1+|ξ|)(1+ε), and there­fore φ is con­tinu­ous.

If we draw a graph, it looks like this:

The “slopes” of φ have little bumps; the whole has a very fractal pro­file. It’s nice, isn’t it, a fractal wave­let.

If we move on to na=2, we can find ex­amples of “cusp­less” φ. My con­jec­ture now is that there ex­ist φCk in the class na=k+1.

I had ex­pec­ted that the “vis­ion people” would love a pyr­am­id al­gorithm re­cur­rence with a fi­nite num­ber of terms, but they’re not very fond of the asym­metry. But per­haps the con­struc­tion might serve for oth­er things…?

That’s all the news I have.

My best greet­ings to Anne, and to Guy Dav­id!

In­grid

Cher Yves,

Com­ment vas-tu? Il y a longtemps que je voulais t’écri­re, et j’ai un peu honte d’avoir at­tendu si longtemps. Mais voilà en­fin de mes nou­velles.

Ann Ar­bor nous a fait, à Robert et moi deux of­fres de “as­so­ci­ate pro­fess­or­ships” (“with ten­ure”). Ils m’ont dit qu’ils étaiet fort im­pres­sionnés par ta lettre de re­com­mend­a­tion, pour laquelle je voudrais en­core te re­mer­ci­er. D’autre part, Bell Labor­at­or­ies aus­si m’a fait une of­fre (Robert y trav­aille déjà). Il nous faut décider av­ant le 1er mars (en­core une se­maine…). Si j’étais la seule à décdi­er, je crois que je pench­erais plutôt vers Ann Ar­bor: j’aime beau­c­oup l’en­droit, et c’est une bonne uni­versité. J’y ap­pren­drais beau­c­oup plus de math, aus­si. D’autre part, Robert est vraiment plus at­taché à Bell Labs que je ne croy­ais (et qu’il ne croy­ait lui-même d’ail­leurs), et, comme je répugne de com­men­cer notre mariage en le séparant de Bell al­ors qu’il s’y plaît, nous op­ter­ons prob­able­ment pour la solu­tion Bell. Je crois d’ail­leurs que je me plair­ai beau­c­oup à Bell aus­si: il y a de très bons mathématiciens là aus­si, et ils lais­sent une grande liberté à leurs cher­ch­eurs. Tu avais dit que, si nous al­lions à Ann Ar­bor, tu viendrais nous rendre vis­ite, Robert et moi et les petits. J’espère que tu viendras aus­si nous voir si nous pren­ons la voie Bell! Je crois que tu trouverais cer­tains des mathématiciens intéress­ants (An­drew Odlyzko, Ron Gra­ham, Larry Shepp, Jeff Lagari­as, Neil Sloane, …). Eux aus­si étaient fort im­pres­sionnés par ta re­com­mend­a­tion… Merci de m’avoir ouvert ces por­tes!

En at­tend­ant de décider tout à fait défi­nit­ive­ment (ce qui sera fait cette se­maine), j’ai en­fin ter­miné le gros papi­er, frames (dont j’avais vraiment marre à la fin), et je me suis re­mis aux ondelettes. L’ar­rivée du papi­er de Stéphane Mal­lat, que je trouve très beau, m’a amenée a réfléchir sur les bases or­thonor­males d’ondelettes. Je me de­mandais aus­si si un al­gorithme en “pyr­am­ide” comme dans le pa­per de Mal­lat, néces­saire­ment devait re­poser sur une base d’ondelettes. J’en ai dis­cuté avec des “vis­ion”-peuple ici, et ils semblent penser qu’une pro­priété d’or­tho­gon­alité des sous-es­paces de 2(Z), qui al­ors im­pose l’ex­ist­ence d’une base or­thonor­male d’ondelettes sous-ja­cent la “pyr­am­ide”, est es­sen­ti­elle. Tout cela m’a aus­si amenée à la con­struc­tion de bases or­thonor­males d’ondelettes à sup­port com­pact. (Voilà que moi, qui étais tou­jours dans les frames, je sombre dans l’or­thonor­mal aus­si!) Elles ex­ist­ent, mais les ex­emples que j’ai trouvés ont une drôle de gueule.

L’idée est la suivante.

Es­say­ons de con­stru­ire des suites f(n),g(n) tell­es que (1)kf(n2k)f(2k)+g(n2k)g(2k)=δn. (au fond, c’est tout ce qui est néces­saire pour qu’une “pyr­am­ide” de décom­pos­i­tion + re­con­struc­tion de 2(Z) marche.)

On peut al­ors définir G,F:2(Z)2(Z) par (Fc)k=nf(n2k)cn,(Gc)k=ng(n2k)cn, Al­ors FF+GG=𝟙, et on a (F)NFN+j=1NFNjGGFNj=𝟙, c.à.d. une décom­pos­i­tion + re­con­struc­tion avec al­gorithem en pyr­am­ide de 2(Z). En pratique, on choisira f,g réels.

Il parait rais­on­nable (mais non pas néces­saire) de se re­streindre au cas où F2(Z)G2(Z) (il est clair que la somme des 2 es­paces est 2 dans tous les cas). Cela mènerait (d’après l’in­tu­itions des vis­ion people) à une plus grande “data com­pac­tion que le cas non-or­tho­gon­al. On im­pose donc \ad­dto­counter{equa­tion}{1} (1)nf(n2k)g(n2l)=0.

Toutes ces con­di­tions sont évidem­ment sat­is­faites si les f,g sont ob­tenus à partir d’une base d’ondelettes. D’autre part, si (2)nf(n)=2,ng(n)=0 (ces 2 con­di­tions sont équi­val­entes si on a toutes les autres), et si F(ξ)=12nf(n)einξ sat­is­fait que j=1F(2jξ)L2(R), al­ors on a une base d’ondelettes as­sociées: ψ^(ξ)=j=1F(2jξ),ψ(x)kg(k)2φ(2xk),φ1k,φ0n=f(n2k),ψ1k,φ0n=g(n2k). Si on im­pose, au départ, que les suites f(n),g(n) n’ont qu’un nombre fini de terms non-nuls, al­ors les ψ,φ as­sociés auront un sup­port com­pact (F, et par conséquent j=1,F(2jξ), est, dans ce cas-là, en­ti­er de type ex­po­nen­tiel).

ll s’agit donc de trouver des f,g sat­is­fais­ant toutes les con­di­tions.

Si on défi­nit f(2n)=a(n),g(2n)=c(n),f(2n+1)=b(n),g(2n+1)=d(n), et des matrices Toep­litz A,B,C,D (in­finies des 2 côtés) par Ank=a(nk),, et des fonc­tions entières (puisque un nombre fini seule­ment des a,b, est 0) α,β,γ,δ par α(x)=a(n)einx, …, al­ors les con­di­tions devi­ennent {AA+CC=𝟙BB+DD=𝟙AB+CD=0ou{|α(x)|2+|γ(x)|2=1|β(x)|2+|δ(x)|2=1α(x)β(x)+γ(x)δ(x)=0(1)(1)AC+BD=0orα(x)γ(x)+β(x)δ(x)=0.(2)(2) Une conséquence de ces 2 dernières éq. est (cela se voit le mieux du côté α,β,γ,δ |β(x)|2=|γ(x)|2,ouBB=CC, et donc |α(x)|2=|δ(x)|2,ouAA=DD. Soi­ent na,nb,nc,nd la largeur de la bande di­ag­onale en de­hors de laquelle les matrices Toep­litz A,B,C,D sont nulles. Al­ors, puisque BB=CC, AA=DD, nb=nc,na=nd, et, si tous les na,nb,nc,nd0, na=nc,nb=nd. (Ceci parce que la largeur de BB=2nb1, celle de DD=2nd1, et BB+DD=𝟙). On a donc na=nb=nc=nd. Sup­po­sons qu’il ex­iste des ondelettes as­sociées aux f,g. Sup­po­sons que φ soit symétrique au­tour de 0, (comme dans tous les cas intéress­ants jusqu’à présent). Al­ors f(n) est symétrique au­tour de 0:f(n)=f(n). Si il y a un nombre fini de f(n) non­nuls, cela im­plique nanb, (na+nb est néces­saire­ment im­pair dans ce cas-ci).

Il n’y a donc pas de bases or­thonor­males d’ondelettes à sup­port com­pact avec φ de sup­port com­pact et symétrique au­tour de 0.

Dans le cas de la base de Haar, ψ est symétrique au­tour de 12. La symétrie au­tour de 0 étant ex­clue, qu’en est-il par la symétrie au­tour de 12? Ceci mène à f(n+1)=f(n) ou C=A(supposons les f réels). Mais al­ors 2AA=𝟙, ce qui im­plique na=1. L’unique solu­tion (à des per­muta­tions et das “shifts” près) est al­ors A=C=12𝟙,B=D=12𝟙, ce qui cor­res­ond à la base de Haar. Il n’y a pas d’autre base or­thonor­male d’ondelettes à sup­port com­pact as­socié à une fonc­tion φ de sup­port com­pact, au­tour de 12, que la base de Haar.

Si on laisse tomber l’idée de symétrie par contre, il y a des ex­emples non trivi­aux.

Pour na=nb=nc=nd=1, par ex­emple, on trouve que, pour tout λ,μR, les matrices A=N1(λμ+U),B=N1(λμU),C=N1(μλU),D=N1(1+λμU),N=[(1+λ2)(1+μ2)]1/2, et où U est la matrice “shift”, Unk=δnk+1, sat­is­font les équa­tions (1) et (2).

Si on im­pose en plus (3), al­ors μ=λ1λ+1, et φ^(ξ)=j=1[F(2jξ)] con­verge, et est dans L2(R), où F(ξ)=12(1+λ)2[λ(λ1)+λ(λ+1)eiξ+(λ+1)e2iξ(λ1)e3iξ]. La fonc­tion φ a comme sup­port l’in­ter­vale [0,3] (ou [1,2] si on fait un “shift”). En général elle a une drôle de gueule. Pour λ=2±3, φ^ de­croît plus vite que (1+|ξ|)(1+ε), et φ est donc con­tin­ue.

Si on fait un graph­ique, on a

Les “pentes” de φ ont des petites bosses; le tout a une al­lure très fractale. C’est joli, non, l’ondelette fractale.

Si on passe à na=2, on ar­rive à trouver des φ sans “cusps”. Ma con­jec­ture, main­ten­ant, est qu’il ex­iste des φCk dans la classe na=k+1.

J’avais espéré que les “vis­ion people” aim­eraient une récur­rence pour l’al­gorithme pyr­am­id­al avec un nombre fini de ter­mes, mais ils n’aiment pas trop l’as­symétrie. Mais elles pour­raient peut-être ser­vir à autre chose…?

Voilà toutes mes nou­velles.

Un grand bon­jour à Anne, et à Guy Dav­id!

In­grid