ספקטרוגרמה היא ייצוג חזותי של ספקטרום התדרים של האות והשתנותו עם הזמן. כאשר מדובר באות אודיו, ספקטרוגרמה נקראת לעיתים סונוגרפיה, טביעת-קול (על משקל "טביעת אצבע") או קולגרמה. בייצוג תלת-ממדי אפשר שתיקרא "תרשים מפל מים".
ספקטרוגרמה מתוארת לרוב כמפת חום, כלומר כתמונה שבה הגודל מיוצג על ידי שינוי צבע או בהירות.
תבנית
תבנית שכיחה היא גרף שבו שני ממדים גאומטריים מייצגים זמן ותדר והמימד השלישי מציין את המשרעת (Amplitude) של תדר מסוים בזמן מסוים. המשרעת מיוצגת על ידי הבהירות או הצבע של הנקודה.
ישנן לתבנית וריאציות רבות: הציר האנכי והציר האופקי לעיתים מוחלפים, כך שהזמן הוא בציר האנכי. אפשר להשתמש בתרשים מפל מים שבו המשרעת מיוצגת על ידי גובהו של משטח תלת־ממדי ולא צבע או בהירות. צירי התדירות והמשרעת יכולים להיות ליניאריים או לוגריתמיים, לפי הצורך. אודיו יוצג לרוב עם ציר משרעת לוגריתמי (לרוב בדציבלים, או dB), והתדר יהיה ליניארי כדי להדגיש יחסים הרמוניים, או לוגריתמי כדי להדגיש קשרים מוזיקליים וטונליים.
ספקטרוגרמה נותנת ביטוי חזותי מובחן לאלמנטים שונים בצליל כגון הרמוניות בכפולות שלמות של תדר יסוד, חזרה על צליל, גובה הצליל או עוצמתו.
יצירת ספקטרוגרמה
אפשר ליצור ספקטרוגרמות אור במישרין על ידי קריאות של ספקטרומטר אופטי, במשך זמן מסוים.
אפשר ליצור ספקטרוגרמות מאותות על ציר זמן באחת משתי דרכים: קירוב על ידי סדרה של מסנני תדרים (זו הייתה הדרך היחידה לפני עידן עיבוד האותות הדיגיטלי המודרני), או חישוב באמצעות התמרת פורייה. שתי השיטות יוצרות ייצוגי זמן-תדר שונים, אך שקולים בתנאים מסוימים.
שיטת מסנני התדרים מתבססת לרוב על עיבוד אנלוגי כדי לחלק את אות הקלט לפסי תדר; גודל ערכי הפלט של כל מסנן שולט במתמר שכותב את הספקטרוגרמה כתמונה על נייר.[3]
יצירת ספקטרוגרמה באמצעות FFT מתבססת על חלוקת ציר הזמן לקטעים, לרוב עם חפיפה ביניהם. על כל קטע אפשר להפעיל פונקציית חלון. עבור כל קטע, המשרעות של התדרים בספקטרום מחושבות על ידי התמרת פורייה ומיוצגות כקו אנכי. הקווים האנכיים, מוצבים זה לצד זה ויוצרים תמונה או משטח תלת־ממדי, על פי תבנית ההצגה שנבחרה.[4]
מגבלות וסינתזה מחדש
הספקטרוגרמה אינה מכילה מידע מלא על הפאזה של האות המיוצג. מסיבה זו, יצירת הספקטרוגרמה אינה הפיכה ולא ניתן לשחזר ממנה את האות המקורי. בספקטרוגרמה קיים מידע פאזה מסוים, אך הוא מופיע בצורת השהיית זמן (או השהיית קבוצה ).[5] במצבים בהם הפאזה המדויקת אינה חשובה, ייתכן וניתן לחשב קירוב שימושי של האות המקורי. ספקטרוגרף הצליל של אנליזה וסינתזה מחדש[6] הוא דוגמה לתוכנית מחשב שמנסה לעשות זאת. ה-Pattern Playback היה סינתיסייזר דיבור מוקדם, שתוכנן במעבדות Haskins בסוף שנות ה-40, שהמיר ספקטרוגרמות בחזרה לצליל.
גודל של קטע, או חלון, יכול להיות בטווח רחב של ערכים. חלון קצר יותר, ייתן תוצאות מדויקות יותר על ציר הזמן, על חשבון הדיוק בתדר, ולהפך. בחירת גודל הקטע, או החלון, מהווה פשרה בין דיוק בזמן לדיוק בתדר.
יישומים
ספקטרוגרמות אנלוגיות מוקדמות יושמו בתחומים רבים כולל חקר קריאות ציפורים (כגון זו של ירגזי מצוי), והמחקר נמשך כיום עם ציוד דיגיטלי מודרני[7] ועוסק בקולות כל בעלי החיים. במחקר העכשווי הספקטרוגרמה הדיגיטלית שימושית במיוחד לחקר אפנון תדר (FM) בקריאות של בעלי חיים. בפרט, המאפיינים המובחנים של ציוצי FM, קליקים בפס רחב ויצירת הרמוניה חברתית מוצגים חזותית בצורה הנוחה ביותר באמצעות ספקטרוגרמה.
ספקטרוגרמות שימושיות בסיוע בהתגברות על ליקויים בדיבור ובאימון דיבור לסובלים מחרשות קשה.[8]
בסינתזת דיבור על בסיס למידה עמוקה, ספקטרוגרמה (או ספקטרוגרמה בסולם mel ) נחזית תחילה על ידי מודל seq2seq, ולאחר מכן מוזנת למקודד דיבור עצבי (neural vocoder) כדי להפיק את הגל הגולמי המסונתז.
על ידי היפוך תהליך יצירת ספקטרוגרמה, ניתן לייצר אות שהספקטרוגרמה שלו היא תמונה שרירותית. טכניקה זו מאפשרת להסתיר תמונה בקטע אודיו ומספר אמני מוזיקה אלקטרונית עשו בה שימוש.[11] ראו גם סטגנוגרפיה.
מקצת מהמוזיקה המודרנית נוצרת באמצעות ספקטרוגרמות כמדיום ביניים; שינוי עוצמת תדרים שונים לאורך זמן, או אפילו יצירת תדרים חדשים, על ידי ציורם ולאחר מכן היפוך הספקטרוגרמה. ראו Audio timescale-pitch modification ו-Pase vocoder.
ניתן להשתמש בספקטרוגרמות לניתוח התוצאות של העברת אות בדיקה דרך מעבד אותות, כגון מסנן, כדי לבדוק את ביצועיו.[12]
ספקטרוגרמות בחדות גבוהה משמשות בפיתוח מערכות RF ומיקרוגל[13]
כיום נעשה שימוש בספקטרוגרמות להצגת פרמטרי פיזור הנמדדים באמצעות מנתחי רשת וקטוריים[14]
^Boashash, B. (1992). "Estimating and interpreting the instantaneous frequency of a signal. I. Fundamentals". Proceedings of the IEEE. Institute of Electrical and Electronics Engineers (IEEE). 80 (4): 520–538. doi:10.1109/5.135376. ISSN0018-9219.
^Saunders, Frank A.; Hill, William A.; Franklin, Barbara (1 בדצמבר 1981). "A wearable tactile sensory aid for profoundly deaf children". Journal of Medical Systems. 5 (4): 265–270. doi:10.1007/BF02222144. PMID7320662. {{cite journal}}: (עזרה)