בתורת החבורות, חבורת קוקסטר היא חבורה (סופית או אינסופית), בעלת ייצוג פשוט במיוחד, הכולל הנחות רק על הסדר של היוצרים, שהוא 2, ועל הסדר של מכפלות של זוגות של יוצרים. מתברר שחבורות כאלה נוצרות על ידי שיקופים במרחב וקטורי (שלו מתאימה תבנית ריבועית, המגדירה לעיתים קרובות מרחב מכפלה פנימית), ובדרך זו הן מתקשרות לתחומים רבים ומרכזיים במתמטיקה: אלגברות לי, חבורות אלגבריות, קומבינטוריקה וגאומטריה.

חבורת קוקסטר ${\displaystyle W}$ היא חבורה הנוצרת על ידי קבוצה סופית ${\displaystyle \ S=\{s_{1},\dots ,s_{n}\}}$, בכפוף ליחסים מהצורה ${\displaystyle \ s_{i}^{2}=1}$ ו-${\displaystyle \ (s_{i}s_{j})^{m_{ij}}=1}$ בלבד. רושמים:

${\displaystyle W=\langle s_{1},...,s_{n}\mid (s_{i}s_{j})^{m_{ij}}=1\rangle }$

כאשר:

• לכל i מתקיים ${\displaystyle m_{ii}=1}$, כלומר היחס ${\displaystyle s_{i}s_{i}=s_{i}^{2}=1}$.
• אם אין יחסים בין ${\displaystyle s_{i}}$ ו-${\displaystyle s_{j}}$ נהוג לסמן זאת ${\displaystyle (s_{i}s_{j})^{\infty }=1}$, כלומר: ${\displaystyle m_{ij}=\infty }$.
• נשים לב שאם ${\displaystyle m_{ij}=2}$ אז ${\displaystyle s_{i}s_{j}=s_{j}s_{i}}$ (כלומר: ${\displaystyle s_{i}}$ ו-${\displaystyle s_{j}}$ ומתחלפים).

הזוג ${\displaystyle (W,S)}$ נקרא מערכת קוקסטר. קבוצת היוצרים של חבורה אינה נקבעת באופן ייחודי ולחבורה יכולות להיות מספר מערכות קוקסטר לא שקולות.

את החזקות ${\displaystyle \ m_{ij}}$ אפשר לאסוף במטריצת קוקסטר, שהיא מטריצה סימטרית עם ערכים טבעיים (או אינסוף) בה כל הערכים על האלכסון שווים ל-1 וכל שאר הערכים גדולים מ-1. הערך אינסוף בנקודה (i,j) מציין שאין יחס מהצורה ${\displaystyle \ (s_{i}s_{j})^{m}=1}$.

דיאגרמת קוקסטר היא דרך נוחה לייצג מערכת קוקסטר על ידי גרף בו הקודקודים הם קבוצת היוצרים; שני קודקודים, ${\displaystyle s_{i}}$ ו-${\displaystyle s_{j}}$, מחוברים בקשת אם ${\displaystyle m_{ij}\geq 3}$ והקשת מסומנת ב-${\displaystyle m_{ij}}$ כאשר ${\displaystyle m_{ij}\geq 4}$. מהגדרה זו נובע שיוצרים שאינם מחוברים בקשת, מתחלפים זה עם זה. בפרט, החבורה המתאימה לגרף קוקסטר איזומורפית למכפלה הישרה של החבורות המתאימות למרכיבי הקשירות. משום כך, מספיק ללמוד את החבורות המתאימות לדיאגרמות קשירות.

על-פי ההגדרה, חבורת קוקסטר נוצרת על ידי קבוצה סופית ${\displaystyle \ S=\{s_{1},\dots ,s_{n}\}}$ של איברים מסדר 2, בכפוף ליחסים מהצורה ${\displaystyle \ (s_{i}s_{j})^{m_{ij}}=1}$ בלבד. לדוגמה, כאשר מדובר בשני יוצרים, היחסים הם ${\displaystyle \ s_{1}^{2}=s_{2}^{2}=(s_{1}s_{2})^{m}=1}$, בדיוק אלו של החבורה הדיהדרלית שסדרה 2m. כדי להבין את המבנה הגאומטרי, נעיר שאם s ו- t הם שיקופים בניצב לזוג ישרים שהזווית ביניהם היא ${\displaystyle \ \pi /m}$, אז ${\displaystyle \ (st)^{m}=1}$.

כמושג עצמאי, חבורות קוקסטר נולדו רק בשנות ה-60, כאשר ז'אק טיץ הבחין שההגדרה המופשטת באמצעות יוצרים ויחסים מספיקה כדי לקבל את כל המבנה הגאומטרי השייך בדין לחבורות הנוצרות על ידי שיקופים. הוא קרא להן על-שם ה.ס.מ. קוקסטר, שעסק בחבורות של שיקופים כשלושים שנה קודם לכן, ומיין את כל החבורות הדיסקרטיות הנוצרות על ידי שיקופים ופועלות על המרחב האוקלידי (מממד כלשהו).

לחבורות הנוצרות על ידי שיקופים יש היסטוריה מתמטית ארוכה. החלוץ בכיוון זה היה פרדיננד מביוס, שב-1852 מצא את כל החבורות הסופיות הנוצרות על ידי שיקופים ופועלות על המרחב התלת-ממדי. ב-1890 מיינו קילינג ואלי קרטן את אלגברות לי הפשוטות למחצה, במונחים של מערכות שורשים. ב-1925 הראה אנדרה וייל שחבורת הסימטריות של מערכת שורשים היא חבורה סופית, הנוצרת על ידי שיקופים במרחב שבו השורשים מוגדרים. בכל המקרים האלה מדובר היה בשיקופים במרחב האוקלידי, ביחס לעל-מישורים במובן הרגיל.

טיץ הוכיח שאם S היא קבוצת היוצרים של חבורת קוקסטר, אז לכל מטריצה m של סדרים אפשר להגדיר על המרחב ${\displaystyle \ \mathbb {R} ^{|S|}}$ תבנית ריבועית, שביחס אליה החבורה פועלת כחבורת איזומטריות, כאשר היוצרים הם שיקופים (בפרט, לחבורת קוקסטר יש הצגה ליניארית נאמנה מממד סופי).

התוצאה המרכזית שהתקבלה בחקר חבורות קוקסטר היא המיון השלם (במונחי דיאגרמות דינקין) של חבורות קוקסטר סופיות, של חבורות קוקסטר אפיניות, ושל חבורות קוקסטר היפרבוליות. חבורת קוקסטר מופיעות כחבורות וייל של חבורות אלגבריות, בתור המנה N/T כאשר T טורוס מקסימלי בחבורת בורל, ו-N הוא המנרמל שלו. במקביל, נלמדו מבנים מתמטיים רבים המוגדרים עבור חבורת קוקסטר נתונה, ובהם אלגברת הקה המכלילה את אלגברת החבורה, פולינומי קשדן-לוסטיג, ופונקציית אורך המשרה את סדר ברוה של החבורה. להצגות של אלגברת הקה תפקיד מרכזי בתורת ההצגות. כל אלה יצרו קשרים הדוקים בין חבורות קוקסטר לתורה של אלגברות לי, לתורה הקומבינטורית והגאומטרית של בניינים, לקומבינטוריקה בכלל, ולתורת החבורות הגאומטרית.

חבורת התמורות ${\displaystyle \ S_{n}}$ נוצרת על ידי החילופים ${\displaystyle \ (1,2),(2,3),\dots ,(n-1,n)}$. קל לראות שהסדר של מכפלת שני חילופים הוא 2 אם הם זרים, ו- 3 אם אינם זרים. בו-בזמן, החבורה פועלת על המרחב האוקלידי ${\displaystyle \ \mathbb {R} ^{n}}$ בדרך של פעולה על האינדקסים, ובהצגה זו (הקרויה "ההצגה הטבעית" של החבורה הסימטרית) החילופים פועלים כשיקופים. מן ההצגה הזו של החבורה הסימטרית כחבורת קוקסטר אפשר לראות שהיחסים על מכפלות החילופים מגדירים אותה בשלמות. לדיאגרמת דינקין המתקבלת קוראים, מסיבות היסטוריות, ${\displaystyle \ A_{n-1}}$, וכך יש ל"חבורת קוקסטר מטיפוס ${\displaystyle \ A_{n-1}}$" תת-חבורה מאינדקס 2 (חבורת התמורות הזוגיות), שאותה מסמנים ב- ${\displaystyle \ A_{n}}$.

החבורה מטיפוס ${\displaystyle \ A_{n-1}}$ היא תת-חבורה (מאינדקס ${\displaystyle \ 2^{n-1}}$) בחבורת קוקסטר מטיפוס ${\displaystyle \ D_{n-1}}$, וזו היא תת-חבורה (מאינדקס 2) של החבורה מטיפוס ${\displaystyle \ B_{n-1}}$. את האחרונה אפשר לראות כתת-חבורה של החבורה הסימטרית ${\displaystyle \ S_{2n}}$, הפועלת על המספרים ${\displaystyle \ \{-1,\dots ,-n,1,\dots ,n\}}$, עם התנאי ${\displaystyle \ \sigma (-i)=-\sigma (i)}$.

החבורה ${\displaystyle \ \operatorname {PGL} _{2}(\mathbb {Z} )}$ היא חבורת קוקסטר עם שלושה יוצרים (שניים מהם יוצרים חבורה דיהדרלית אינסופית, והשלישי מתחלף עם אחד היוצרים ומכפלתו בשני היא מסדר 3).

• חבורת ארטין

מדיה וקבצים בנושא חבורת קוקסטר בוויקישיתוף

• חבורת קוקסטר, באתר MathWorld (באנגלית)