overview
A new way to understand equations intuitively
i was thinking of and idea of a connecting mathematics and music. this is equivalent to the connection between algebra and geometry by René Descartes with the Cartesian coordinate system!
(although today we know that Pierre de Fermat really invented this and not Descartes).
this can make mathematics accessible for the public, just like everybody can understand a graph of the climate change (even if he doesn’t understand the equation).
this can also advance the professional mathematics, like after the use of visual intuition by René Descartes (Cartesian coordinate system) – Calculus was developed.
This can advance the music (art) with much more interesting and original tunes in songs.
how does it work?
differential equations are the way to describe nature/science.
a differential equation creates functions (simpler equations).
you can change a single parameter over all its possible values (like the command Manipulate that is applied to a graph in the software Mathematica) and you get a series of functions.
using Fourier transform
…
בעזרת התמרת פורייה אפשר לפרק כל פונקציה לסינוסים וקוסינוסים
גלי סינוס (וכנראה גם קוסינוס) אפשר להשמיע כמו בסינתיסייזר
על פני ציר הזמן הצלילים משתנים ונוצרת מנגינה (מוסיקה) לכל משוואה דיפרנציאלית. זה בדיוק כמו אנימציה בטלוויזיה שמשתמשת בזיכרון החזותי (פרסיסטנס אוף ויז’ן) שלנו אז פה משתמשים בזיכרון השמיעתי.
המעבר בין פיקסלים קרובים נראה כמו תנועה. המעבר בין גבהי צליל דומים נשמע כמו מנגינה. המעבר בין צורות גל שונות נשמע כמו שינוי של כלי הנגינה (טימבר/גוון צליל).
אז לדוגמה מושגים כמו קצב שינוי לפי זמן, מקבלים משמעות אינטואיטיבית, למשל קצב שינוי גובה הצליל זה הקצב של המנגינה. זה הנגזרת הראשונה בעצם. קצב השינוי של הטימבר זה עד כמה מהיר המעבר בין החלקים השונים של התזמורת (נגיד שהצליל מתחיל בכינורות ועובר לכלי נשיפה מעץ).
אפשר להשמיע ברקע משוואה דיפרנציאלית נוספת ולראות מתי הן נפגשות (כמו תופעת פעימה באקוסטיקה)
אז אנחנו מנצלים את העובדה שכל תופעה טבעית אפשר לתאר בעזרת גלים ומתרגמים תופעות של גלים (ויברציות, חום, אופטיקה) למידע אקוסטי/מוסיקה.
זה לגבי מידע במימד אחד. מידע בשני מימדים אפשר לתרגם לסטריאו (האם הצליל מגיע יותר מימין או יותר משמאל) מידע בשלושה מימדים אפשר לתרגם בנוסף לימין שמאל להתאבכות דרך עצמות הגולגולת האם הצליל מגיע מקדימה או מאחורה ושינוי בווליום (עוצמה) – מה שיותר נשמע יותר חזק ומה שיותר רחוק יותר חלש. החוויה תהיה דומה להסתכלות על תמונה גדולה של הולוגרמה, אבל אודיו.
בשלב הבא אחרי שמישהו כבר מנוסה עם המערכת אפשר לשלב את זה במציאות מדומה, כאשר הוא הולך ימינה שמאלה זה ציר איקס, קדימה אחורה זה ציר וואי, הראש מסתכל למעלה או למטה זה ציר זד.
זה גם מאפשר לחבר את האינטואציה השמיעתית עם אינטואיציה חזותית ואולי גם עם אינטואיציה של מישוש, ממש ללכת לאורך המודל או בתוכו ולהרגיש אותו עם כפפות הפטיות.
כמו שהיום מסתכלים על שדה וקטורים ורואים לפי החיצים כל מה שהמשוואה הדיפרנציאלית תעשה בכל מצב, ככה בעתיד יאזינו למגינה שלה בכל הכיוונים (קדימה אחורה לצדדים וכו’) כדי להבין איך הפתרונות מתנהגים.
הדוגמה היחידה שמצאתי היא סרטון יוטיוב עם שתי תגובות משנת 2019 (אני חושב שזה לא בדיוק כמו הכוונה שלי, כי פה הוא חותך את הפונקציה להרבה חתיכות קטנות, ואני מתכוון להסתכל על הפונקציה בשלמותה).
Sounds Of The Heat Equation (Sonification)
Devashish Gupta
https://www.youtube.com/watch?v=JxvsQzaSB3s
דוגמה היפותטית שלי נגיד בעיית הברכיסטרון אז שהמסלולים שעליהם מתגלגלים הכדור יהיו צליל שיורד כמו שמורידים את היד בכלי הנגינה ללא מגע טרמין, שזה יכול להיות גם ממשק נוסף לשוטט בתוך הסאונד-סקייפ, הפעם אנלוגי במקום דיגיטלי וגם יותר זול מאשר הליכה בתוך מציאות מדומה. (בטרמין האנטנה המאוזנת שולטת בעוצמת הצליל, והמאונכת בתדירותו.)
מבחינת החוש השלישי הכי רלוונטי אצלנו לסקירת משטח/מרחב אחרי ראייה ושמיעה שזה מגע, אפשר להשתמש ב Pinscreen או Pin Art (מסך סיכות) שבו הסיכות נשלטות דינמית על ידי מחשב ולמשל כאשר הידיים קפוצות לאגרוף כל הלוח משתנה דינמית על ידי איפה כף היד שלנו נמצאת, ולעומת זאת כאשר כף היד פתוחה (זה אומר שאנחנו רוצים למשש) אז הלוח “קופא” כדי שנוכל למשש את כל הסביבה שאנחנו רוצים.
so now let me tell you what i am NOT trying to do: i’m NOT trying to do what today is called sonification.
in Wolfram Mathematica there is a command called “play” for this:
https://reference.wolfram.com/language/ref/Play.html
you can listen to examples in Youtube it sounds like a vacuum cleaner or ufo. this is NOT what i want to do:
Riemann Hypothesis — The sound of Riemann zeta function
Gustavo Díaz-Jerez
https://www.youtube.com/watch?v=-iZhaAlmoFE
and here in the article
Hearing the music of the primes: auditory complementarity and the siren song of zeta
M V Berry1
there are a few examples titles “supplementary data” in mp3 format. again this is NOT what i’m trying to do.
all of the above try to turn the data into sound directly, like you have sine that goes up and down and this turns to wave file that you play. this is NOT what i’m trying to do.
OK so what i AM trying to do, is to follow the curve that you see visually in a graph, and translate this into music, not just annoying sound!
OK so first of all what are the things that are obvious in first glance, but we cannot use them because our ear is not sensitive enough?
this will be treating the sound as if it’s a physical thing, like when we hear something far away in front of us, and the volume is soft (low volume), or there’s something close by and the volume is loud (high volume). this would have been nice for the positive Z axis (going into the blackboard) but we are not sensitive enough to changes in the volume (we could have used the negative Z axis as the way that the sound passes through the bones of our skull with some interference, but again we are not sensitive enough for this). from the same reason treating what’s left or right as the stereo panning (left ear or right ear) is not useful for us. all these things can be a nice “extra” topping on the cake if one day someone builds my system into a virtual reality immersion, but just as a “bonus”. these subtle changes are not the “meat and potatoes”.
So we are left with pitch (higher or lower) which we notice very easily so pitch is good.
this should be our X axis. like in the piano: the more you go to the left, the more bass the sound is. The more you go to the right the more treble the sound is. So this can become intuitive easily with practice.
But this alone is not enough for music. what else can we use that we ARE sensitive to? What other important parameters do we have?
timbre! that is what instrument are hearing (strings (violins…), woodwind (flute…), brass (trumpet…)). we can tell right away that the “tone quality” is this or that, and also this can be made into continues thing, by changing gradually the wave form in a synthesizer.
So the timbre can be our Z axis, let’s say this is the order that the orchestra is sitting, let’s say violins in the front and woodwinds behind them in the middle, and brass far in the back behind everybody else.
this is not as intuitive as the pitch, but with practice our brain get used to this, so it does make sense.
What else? is there something we can use for the Y axis?
one option which is NOT good is to us
there are effects that you can use on sound, like for example:
vibrato – frequency modulation (high-low-high-low pitch) – NOT good for us because there’s another axis (X) for pitch.
tremolo – amplitude modulation (loud-soft-loud-soft volume) – also NOT good for us because we already decided that we’re not sensitive enough to volume.
but remember we are talking about MUSIC not just sound, so this gives us an extra dimension of TIME!
different tempo (speed or pace), will be how high we are from the origin (going to infinity will be allegro vivace and presto = very fast) or how low we are (going to minus infinity will be lento slow or lentissimo very slow).
OK so how do we “scan” this “picture”?
when we look at a graph we can use our eyes and follow the lines, so in our music interpretation this is exactly what we will do, we will follow interesting paths along the object. if we have just a two dimensional (the usual) graph, then we can just trace it “walk along it” follow the curves of this graph and make the appropriate sound in each step.
if we have higher dimension like three dimensional graph then we need to do cross sections, or we need to find more parameters of music such as PolyRhythm.
OK here i have “homework” to do, so I need to watch these videos and understand how to incorporate this into my model. the way i think of this now, is that for example in the fourth dimension let’s say “ana” and “kata” are our directions (thank you Charles Howard Hinton) in 4th dimension, so then going in the “ana” direction can start with 3 to 4 polyrhythm, and going in the opposite direction can start with the 4 to 3 polyrhythm (the opposite).
see in this nice video
POLYRHYTHM- Learn and MASTER 3:4 and 4:3 [MUSIC THEORY – RHYTHM- COUNTING]
by
Signals Music Studio
i’m not saying it’s easy to drum this yourself, i’m just saying that a machine (the computer) is playing this for you, and all you have to do is practice to recognize intuitively the rhythms.
And when you go further in some direction then you hear bigger numbers like 3:4 and then 4:7 and so on.
And in the opposite direction you also go to bigger numbers but flipped: like 4:3 and then 7:4 and so on.
So the sound that you hear is no longer played continuously, i guess 4-Dimensional graph will sound more like jazz, rather than classical music!
more explanations about polyrhythm that i haven’t watched yet:
https://www.youtube.com/watch?v=UdUtomvFX4w
Rhythm Composite Synthesis
Andy Mullen
https://emastered.com/blog/polyrhythm
Understanding Polyrhythms: What You Need To Know
Blake Manion
https://www.musical-u.com/learn/making-sense-of-polyrhythms/
Polyrhythm for Beginners
Musical U Team
https://www.youtube.com/watch?v=MqyrPzvN3Zc
POLYMETER – Understanding and Using Complex Rhythms [MUSIC THEORY – RHYTHM]
Signals Music Studio
OK so what is my Evil Master Plan?
(1) watch again the “the teaching company” course about music and mathematics.
how music and mathematics relate
https://www.thegreatcourses.com/courses/how-music-and-mathematics-relate
(2) then there is a 1 book in 2 volumes that i want to read:
Musimathics: the mathematical foundations of music 1
Musimathics: the mathematical foundations of music. Vol. 2
Author(s): Gareth Loy
(who helps with more resources here: http://www.musimathics.com/)
(3) also these books sound nice (pun ha ha):
Music by the numbers: from Pythagoras to Schoenberg
Author(s): Maor, Eli
Music, physics and engineering
Author(s): Harry Olson
The Science Of Musical Sound
by John Robinson Pierce
( i couldn’t find a downloadable copy of the last one)
(4) learn how to program in Csound, this is a text to sound compiler, so you can write a software synthesizer without having to know how to program the soundcard etc.
so if we have the whole process of equation –> computer –> music
then Csound takes care of the computer –> music part,
and now we only need to think of a generic method for turning an equation from math to pseudo algorithm.
so there are 2 books i want to read:
Csound: A Sound and Music Computing System
Author(s): Victor Lazzarini, Steven Yi, John ffitch, Joachim Heintz, Øyvind Brandtsegg, Iain McCurdy.
The Csound book: perspectives in software synthesis, sound design, signal processing, and programming
Author(s): Richard Boulanger
mwahahaha!