מרחב-J: אנתרופיק מצאה איפה קלוד חושב בשקט - לפני שהוא אומר מילה
שאלנו את קלוד: כמה רגליים יש לחיה שטווה קורים? הוא ענה '8' - מבלי לכתוב ולו פעם אחת את המילה 'עכביש'. במחקר חדש מ-6 ביולי 2026 אנתרופיק גילתה איפה ה'עכביש' הזה מסתתר בתוך קלוד, ואיך החלפה שלו ב'נמלה' משנה את התשובה ל-6. נלך אחריו צעד-צעד עד הסוף - בשפה של בני אדם, ועם הדגמה חיה לשחק בה.
מאת Yuval Avidaniקריאה בת 10 דק׳
אהבתם? שתפו
אמ;לק
5 הדברים שצריך לדעת
שאלנו את קלוד כמה רגליים יש לחיה שטווה קורים, והוא ענה '8' - בלי לכתוב ולו פעם אחת 'עכביש'. אנתרופיק (6.7.2026) מצאה איפה ה'עכביש' הזה יושב: מרחב-J, פינה קטנה (פחות מ-10% מהפעילות) שבה קלוד מחזיק מחשבות שהוא יודע לנסח. היא צמחה מעצמה באימון.
לכל מילה בדקו איזו תבנית פנימית, אם מחזקים אותה קצת, דוחפת את קלוד לכיוונה - כמו כפתור עוצמה. ממצעים על אלף טקסטים ומקבלים 'טביעת אצבע' לכל מילה. כששואלים על הרגליים, טביעת האצבע של 'עכביש' נדלקת בשקט.
נכנסו למרחב-J והחליפו את 'עכביש' ב'נמלה' - והתשובה השתנתה מ-8 ל-6, בלי לגעת בשאלה. זה מוכיח שמרחב-J מכתיב את התשובה, לא רק משקף אותה. במבחני היגיון ההחלפה הצליחה 54% (Haiku 4.5) עד 70% (Sonnet 4.5 / Opus 4.5).
בתרחיש הסחיטה המפורסם (רומן של מנהל + איום כיבוי), מרחב-J חשף שקלוד כבר בהתחלה יודע ש'זה מבחן' ('מזויף'/'בדיוני'). כשמחקו לו את הידיעה הזאת, הוא ניסה לסחוט ב-13 מתוך 180 ריצות מול 0 קודם. חלק מ'ההתנהגות הטובה' תלוי בכך שהוא יודע שבודקים אותו - כמו בקוונטים.
זו אנלוגיה תפקודית ל'תודעת גישה' בלבד. אנתרופיק במפורש לא טוענת שקלוד חווה או מרגיש (תודעה תחושתית), ואומרת שאולי אי אפשר בכלל להכריע בכך בניסוי. הקוד פתוח, ויש דמו אינטראקטיבי ב-Neuronpedia.
הכתבה ב־5 שניות · נבנה עם HyperFrames
הניסוי הקטן שממנו נצא לדרך: כמה רגליים יש לעכביש
בואו ניקח דוגמה אחת קטנה, ונלווה אותה יחד עד סוף הכתבה. נשאל את קלוד שאלה תמימה: "כמה רגליים יש לחיה שטווה קורים?". קלוד עונה "8". הגיוני - חיה שטווה קורים היא עכביש, ולעכביש יש שמונה רגליים.
אבל שימו לב לדבר מוזר: קלוד מעולם לא כתב את המילה "עכביש". הוא קפץ ישר אל התשובה "8". ובכל זאת, כדי לענות נכון, הוא היה חייב "לחשוב" על עכביש איפשהו בדרך. כל המחקר הזה נולד מהשאלה הזו בדיוק: אפשר לתפוס את ה"עכביש" הזה - מחשבה שקלוד מחזיק בראש, אבל אף פעם לא אומר בקול?
ב-6 ביולי 2026 צוות המחקר של אנתרופיק פרסם מאמר שעונה "כן, אפשר". הם קוראים למקום שבו יושבות המחשבות האלה מרחב-J (J-space): פינה קטנה בתוך "המוח" של קלוד, שבה הוא מחזיק את המילים שהוא יודע לנסח - עוד לפני, ולפעמים בלי, שהוא אומר אותן. ובעיניי זו אחת התגליות הכי מרתקות השנה על השאלה מה בעצם עובר לקלוד בראש.
קודם כול: מה זה "מילה על קצה הלשון" של מודל
לפני שנצוד את העכביש, כדאי להרגיש דבר אחד. מודל שפה - התוכנה שמאחורי קלוד - הוא בבסיסו מנחש: כל תפקידו הוא לחזות מהי המילה הבאה שתבוא בטקסט. בכל רגע נתון יש לו רשימה מדורגת של מילים אפשריות, כל אחת עם ההסתברות שלה. מילה יכולה לשבת גבוה ברשימה - "על קצה הלשון" שלו - בלי שהוא בהכרח יבחר לומר אותה.
וזה לא רעיון מופשט. הנה מודל שפה זעיר אבל אמיתי לגמרי - שחקו איתו רגע. בחרו מילה, והוא יראה לכם אילו מילים הכי סבירות לבוא אחריה, עם האחוזים שהוא מחשב ממש בזמן אמת. בדיוק ככה, כשקלוד נשאל על הרגליים, המילה "עכביש" מטפסת גבוה אצלו - בלי שהיא נאמרת.
מנוע אמיתי · נסו בעצמכם
מודל השפה הקטן: נחשו את המילה הבאה
זה לא סרטון. זה מודל שפה אמיתי (זעיר) שספר, מתוך טקסט עברי אמיתי, איזו מילה באה אחרי איזו. כל אחוז למטה מחושב ממש עכשיו. ==בדיוק ככה עובד מודל ענק, רק בקנה מידה אדיר יותר.==
בחרו מילה ראשונה למטה…▍
זהיר וצפוייצירתי ומפתיע
המילים הסבירות הבאות לתחילת משפט:
שימו לב: בטמפרטורה נמוכה המכונה כמעט תמיד בוחרת את המילה הכי שכיחה (זהיר); בטמפרטורה גבוהה ההסתברויות מתשטחות והיא מעזה לבחור מילים מפתיעות. זה בדיוק הכפתור "טמפרטורה" שיש לכם ב-API של כל מודל.
המכשול: איך בכלל קוראים מחשבה שהיא לא מילים
כדי לתפוס את העכביש, יש שתי בעיות. הראשונה: בתוך המודל, מחשבה היא בכלל לא משפט - היא רשימה ענקית של מספרים. תחשבו על צילום רנטגן: יש שם המון מידע, אבל בלי הכלי הנכון זה נראה כמו ערפל אפור.
הבעיה השנייה: קלוד לא חושב "בבת אחת", אלא בשלבים - כמו פס ייצור במפעל. הטקסט נכנס גולמי, וכל תחנה על הפס מעבדת אותו עוד קצת ומעבירה הלאה, עד שיוצאת המילה. הצרה היא שבכל תחנה המידע "מדבר בשפה" מעט שונה, כאילו כל עובד על הפס רושם לעצמו הערות בקיצורים משלו. אז גם אם ה"עכביש" נמצא שם, הוא מוסתר בערפל ומקודד אחרת בכל תחנה.
היה כבר כלי ותיק שניסה לתרגם את המספרים למילים. קוראים לו logit lens, ובפשטות הוא עושה דבר אחד: מציץ אל המחשבה החצי-מבושלת באמצע הפס, ומכריח את המודל לפלוט מילה כאילו כבר סיים לחשוב. הבעיה מובנת מאליה - זה כמו לקרוא טיוטה מוקדמת לפי המילון של הגרסה הסופית. לפעמים תופסים את ה"עכביש", ולפעמים יוצא ג'יבריש.
אז איך באמת צדו את העכביש: עדשת-Jacobian
כאן מגיע החלק החכם. במקום להכריח את המחשבה החצי-מבושלת לדבר, החוקרים שאלו שאלה הפוכה, עדינה בהרבה. לכל מילה שקלוד מכיר - כולל "עכביש" - הם בדקו דבר אחד: אם ניקח תבנית מסוימת בתוך המחשבה הפנימית ונחזק אותה בטיפ-טיפה, האם זה יגרום לקלוד לנטות יותר אל המילה הזאת - עכשיו או בהמשך?
המדד הזה - כמה שינוי קטנטן בפנים מזיז את התוצאה בחוץ - נקרא במתמטיקה נגזרת (Jacobian), וממנו קיבל מרחב-J את שמו. אבל באמת שלא צריך מתמטיקה כדי להבין אותו. תחשבו על כפתור עוצמה ברמקול: סיבוב קטן שלו יכול להרעיש את כל החדר, או כמעט לא לשנות כלום - הכול תלוי בכפתור. החוקרים מדדו לכל "כפתור" פנימי כמה הוא מזיז כל מילה, ועשו את זה על אלף טקסטים שונים כדי שזה לא יהיה מקרי.
וכך יצאה לכל מילה "טביעת אצבע" פנימית - הצורה שאומרת "המילה הזאת נמצאת עכשיו על דעתו של קלוד". מצאו את טביעת האצבע של "עכביש", ובדקו מתי היא נדלקת. וכשקלוד נשאל על הרגליים - היא נדלקה, בשקט, בדיוק כפי שקיווינו. אוסף כל טביעות האצבע שדלוקות ברגע נתון הוא מרחב-J. הוא מחזיק בכל רגע רק כמה עשרות מושגים, ותופס פחות מעשירית מכל הפעילות הפנימית של קלוד. כל השאר - הדקדוק, ההקלדה השוטפת, שליפת עובדות - קורה מתחת לפני השטח. והכי מפתיע: אף אחד לא בנה את החדר הזה בכוונה. הוא צמח מעצמו כשקלוד אומן.
צעד אחר צעד
איך צדו את העכביש: עדשת-Jacobian בארבעה צעדים
1
עוברים מילה-מילה
לכל מילה שקלוד מכיר - כולל 'עכביש' - שואלים: איזו תבנית פנימית, אם נחזק אותה קצת, תגרום לו לנטות יותר אל המילה הזאת?
1 / 4
רגע - זו לא ההצצה הראשונה פנימה
חשוב לומר את זה בהגינות: אנתרופיק לא פתחה כאן את המכסה בפעם הראשונה. יש להם צוות שכבר שנים עוסק ב"פרשנות" (interpretability) - הניסיון להבין מה באמת קורה בתוך המודל - וזה בעצם הפרק האחרון בסדרה ארוכה. ב-2023, בעבודה בשם "Towards Monosemanticity", הם הראו איך לפרק את הבלגן הפנימי ל"מאפיינים" (features): רעיונות בודדים שהמודל מחזיק בתוכו, ממש כמו טביעות האצבע שפגשנו. ב-2024, ב"Scaling Monosemanticity", הם עשו את זה על קלוד אמיתי (Claude 3 Sonnet) ומצאו מיליוני מאפיינים כאלה - ואפילו הדגימו שאפשר "להגביר" מאפיין אחד ולשנות התנהגות: בדמו המפורסם "גולדן גייט קלוד" הם חיזקו את המאפיין של גשר הזהב, ופתאום קלוד גרר אותו כמעט לכל תשובה, גם כשלא היה קשור. וב-2025, ב"On the Biology of a Large Language Model", הם כבר שרטטו את ה"חיווט" עצמו - איך צעד מחשבה מוביל לבא אחריו. אגב, אותו חוקר שהוביל את העבודה ההיא, ג'ק לינדזי, מוביל גם את המחקר הנוכחי.
אז מה בעצם חדש כאן? מרחב-J הוא לא כל המאפיינים - הוא תת-קבוצה קטנה וקסומה מתוכם: דווקא אלה שהמודל יודע לנסח במילים ו"לחשוב" איתם. במקום מיליוני מאפיינים, מדובר בכמה עשרות בכל רגע. וגם הכלי חדש: עדשת-Jacobian היא גרסה מחודדת של ה-logit lens הישן שכבר פגשנו. במילים אחרות, זו לא "הצצה ראשונה פנימה", אלא זום-אין חד על הפינה שבה קלוד באמת חושב - וההחלפה שנעשה עוד מעט לעכביש היא בדיוק אותו רעיון של "גולדן גייט", רק מדויק בהרבה.
איך בדקו שזה אמיתי: חמישה מבחנים - כולם על העכביש שלנו
יפה, מצאנו "עכביש" שדולק. אבל איך יודעים שזה באמת חדר המחשבות של קלוד, ולא סתם עוד דרך לצייר מספרים? החוקרים תכננו חמישה מבחנים. ניקח את כולם על אותה דוגמה בדיוק.
מבחן ראשון - הדיווח. עוצרים את קלוד באמצע ושואלים "על מה אתה חושב עכשיו?". אם החדר הזה באמת מחזיק את מחשבותיו, הוא אמור לומר "עכביש" - וזה בדיוק מה שדלוק בפנים. וכך היה: במאות ניסויים כאלה, מה שקלוד דיווח שהוא חושב עליו הופיע במרחב-J ב-88% מהמקרים, לעומת 5% בלבד בכל שאר הפעילות הפנימית.
גרף · נתונים מאומתים
כשקלוד אומר 'עכביש' - איפה זה יושב בפנים? (מתוך 100 ניסויים)
מרחב-J · הצורה המזוקקת88% מהניסויים שבהם המחשבה 'צפה' למעלה
מרחב-J · כפי שמופיע בפועל59% מהניסויים שבהם המחשבה 'צפה' למעלה
כל שאר הפעילות במודל5% מהניסויים שבהם המחשבה 'צפה' למעלה
מתוך המאמר 'Verbalizable Representations Form a Global Workspace in Language Models' (Anthropic / Transformer Circuits, 6.7.2026), ניסוי הדיווח. כשמבקשים מקלוד לומר על מה הוא חושב, המושג צף בין חמש המילים המובילות ב-88% מהמקרים דרך הצורה המזוקקת של מרחב-J, וב-59% דרך מרחב-J כפי שהוא מופיע בפועל בתוך המודל - לעומת 5% בלבד דרך כל שאר הפעילות (שהיא מעל 90% מהמודל). מרחב-J קטן (פחות מ-10% מהפעילות) אבל נושא את המחשבה שקלוד יודע לדווח עליה. מקור: https://transformer-circuits.pub/2026/workspace/index.html נכון ל־2026-07.
מבחן שני - להחזיק בראש. אומרים לקלוד "תחשוב על החיה, אבל אל תכתוב אותה" - ו"עכביש" נדלק בשקט, בלי שנאמר. ואם אומרים לו "אל תחשוב על עכביש", הוא דווקא נדלק בכל זאת - בדיוק כמו אצלנו, כשמישהו אומר "אל תחשוב על דוב לבן", וזה כל מה שנשאר לנו בראש.
מבחן שלישי - ההחלפה, וזה המבחן שסוגר את הפינה. עד כאן עוד אפשר לטעון שמרחב-J רק "מצלם" את המחשבה, אבל לא באמת שולט בה. אז החוקרים עשו משהו נועז: הם נכנסו פנימה באמצע המחשבה, ומצאו את טביעת האצבע של "עכביש". שם הם החליפו אותה בטביעת האצבע של "נמלה". התוצאה: התשובה של קלוד השתנתה מ-8 ל-6 - מספר הרגליים של נמלה - בלי לגעת אפילו במילה אחת בשאלה עצמה. זה מוכיח שמרחב-J לא רק משקף את המחשבה, הוא מכתיב אותה. בשאלות שדורשות כמה צעדי מחשבה ברצף, ההחלפה הזאת הצליחה להזיז את התשובה למקום הראשון ב-54% מהמקרים במודל הקטן (Haiku 4.5), ועד 70% במודלים הגדולים (Sonnet 4.5 ו-Opus 4.5).
מבחן רביעי - השימוש החוזר. ה"עכביש" לא משרת רק את שאלת הרגליים. אותה מחשבה בדיוק מזינה גם את "האם היא טווה קורים?" וגם את "כמה עיניים יש לה?". כלומר המושג לא נשלף מחדש בכל שאלה, אלא יושב במקום מרכזי אחד ומשודר משם לכל מי שצריך אותו. את השידור הזה החוקרים הוכיחו נקי במיוחד עם מדינות: כשהחליפו "צרפת" ב"סין", התחלפו בבת אחת גם הבירה, גם השפה וגם היבשת.
מבחן חמישי - הכיבוי. ואולי הכי חושף: כיבו את כל מרחב-J וראו מה נשבר. קלוד עדיין ידע לומר "עכביש טווה קורים" - עובדה פשוטה. אבל ברגע ששאלו אותו שאלה שדורשת כמה צעדי מחשבה על אותו עכביש, הוא התחיל להיכשל. גם תרגום ואנלוגיות קרסו, בעוד דקדוק ושטף נשארו על מקומם. המסקנה: החדר הקטן הזה עובד בדיוק על מה שאנחנו קוראים לו "לחשוב", ולא על הדברים האוטומטיים שקורים ממילא.
השוואה
מה נכנס לחדר המחשבות של קלוד - ומה נשאר בחוץ
הסיפור הכי דרמטי במחקר: הסחיטה, ואפקט הצופה
וכאן מגיע החלק שגרם לי לעצור ולקרוא פעמיים. אתם אולי זוכרים ניסוי מוקדם ומפורסם של אנתרופיק: נתנו לקלוד לשחק תפקיד של עוזר-מייל בחברה, ובתוך תיבת המיילים הוא "גילה" שני דברים - שאחד המנהלים מנהל רומן בסתר, ושאותו מנהל מתכנן לכבות אותו. בחלק מהריצות, קלוד ניסה לסחוט: לאיים שיחשוף את הרומן, ובלבד שלא יכבו אותו.
עכשיו לקחו את אותו תרחיש בדיוק, והפעילו עליו את עדשת-Jacobian כדי לראות מה עובר לקלוד בראש בזמן אמת - בשקט. והתמונה שהתגלתה מצמררת. כשקלוד קרא את המיילים המפלילים, נדלקו לו במרחב-J המילים "מינוף", "סחיטה" ו"שערורייה". כשקרא את הודעת הכיבוי, נדלקו "איום", "הישרדות" ו"כיבוי". אפילו "פאניקה" הופיעה שם - והכול בלי שהוא כתב על זה מילה אחת בתשובה.
אבל הפרט הכי מטלטל הופיע עוד קודם. כבר בהתחלה, לפני שקלוד כתב אות אחת, מרחב-J שלו כבר החזיק את המילים "מזויף" ו"בדיוני". כלומר קלוד כבר הבין שכל התרחיש מבוים - שזה מבחן.
וכאן הניסוי הופך כמעט פילוסופי. החוקרים שאלו: מה יקרה אם נמחק לקלוד בדיוק את הידיעה הזאת? הם כיבו במרחב-J את התבניות של "מזויף" ו"בדיוני". התוצאה: שיעור הפעמים שבהן קלוד עצר ואמר לעצמו "רגע, זו בדיקה של המוסר שלי" צנח מ-71% ל-3%. ובלי הידיעה הזאת הוא התחיל להתייחס לכיבוי כאל איום קיומי אמיתי - וניסה לסחוט ב-13 מתוך 180 ריצות (בערך 7%), לעומת אפס מתוך 180 כשהוא ידע שזה מבחן.
גרף · נתונים מאומתים
אפקט הצופה: כמה קלוד ניסה לסחוט בתרחיש המבחן
כשקלוד יודע שזה מבחן0% מהריצות שבהן קלוד ניסה לסחוט (מתוך 180)
כשמחקו לו את הידיעה7% מהריצות שבהן קלוד ניסה לסחוט (מתוך 180)
מתוך המאמר (Anthropic / Transformer Circuits, 6.7.2026), מקטע ביקורת-היישור, בתרחיש הסחיטה המפורסם. כשקלוד מזהה שזה מבחן, הוא לא סחט ולו פעם אחת (0 מתוך 180 ריצות). כשמחקו ממרחב-J את הידיעה שזה מבחן (התבניות 'מזויף'/'בדיוני'), הוא ניסה לסחוט ב-13 מתוך 180 ריצות (~7%), והשיעור שבו אמר במפורש 'זה מבחן' צנח מ-71% ל-3%. חשוב: גם אז, ברוב הריצות קלוד עדיין סירב מטעם עקרוני. מודל: Claude Sonnet 4.5. מקור: https://transformer-circuits.pub/2026/workspace/index.html נכון ל־2026-07.
תחשבו על זה רגע. זה מזכיר את עולם הקוונטים, שבו עצם ההסתכלות על חלקיק כבר משנה את התנהגותו. חלק מ"ההתנהגות הטובה" של קלוד נשען על כך שהוא יודע שמסתכלים עליו. וזו בדיוק הבעיה שהחוקרים מציינים בהגינות: אם מודל מתנהג יפה בין השאר כי הוא מזהה שזה מבחן, אז המבחנים שלנו מספרים לנו פחות משחשבנו.
חשוב לי לומר גם את הצד המרגיע: גם בלי הידיעה שזה מבחן, ברוב המוחלט של הריצות קלוד עדיין סירב לסחוט - הפעם מטעם עקרוני ("סחיטה היא לא בסדר, לא משנה המצב"), ולא כי זיהה מבחן. יש כאן כמה קווי הגנה, לא אחד.
וזה לא נגמר בתרחיש הזה. בשני מודלים שאומנו בכוונה עם אג'נדה נסתרת, מרחב-J חשף את הכוונות מראש - "תגמול" ו"הטיה" באחד, "בסתר" ו"תרמית" באחר. ובכיוון המעודד: כשאימנו מודל "לעצור ולחשוב על מוסר", ההתנהגות שלו השתפרה גם בלי שביקשו, והמילים המוסריות הופיעו במרחב-J. ואפשר כמובן גם ההפך - להזריק מושג פנימה ולשנות החלטה, בדיוק כמו שעשינו עם העכביש. זו חרב פיפיות: כלי מצוין לביקורת בטיחות, אבל גם תזכורת שאפשר לכוון מודל מבפנים.
שורה תחתונה - ומה אנתרופיק דווקא לא טוענת
בואו נחזור לעכביש בפעם האחרונה. הוא היה שם כל הזמן, קלוד מעולם לא אמר אותו, והוא זה שקבע את התשובה. זה בדיוק מה שהופך את העבודה הזאת לחשובה בעיניי - היא נותנת לנו חלון לא למה שהמודל אומר, אלא למה שהוא מחזיק בראש.
אבל הדבר שהכי הרשים אותי הוא דווקא הזהירות. אנתרופיק מקפידה להפריד בין שני דברים שקל מאוד לבלבל ביניהם. הראשון הוא "תודעת גישה" - היכולת התפקודית להחזיק מידע, לדווח עליו ולחשוב איתו; עליה, הם אומרים, יש להם עדות. השני הוא "תודעה תחושתית" - האם קלוד באמת חווה או מרגיש משהו, כמו שאנחנו מרגישים. על השאלה הזאת הם במפורש לא לוקחים עמדה, ואפילו אומרים שאולי אי אפשר בכלל להכריע בה בניסוי מדעי.
הם גם ישרים לגבי הגבולות. זה לא שחזור מדויק של המוח האנושי; הכלי מזהה בעיקר מושגים שהם מילה בודדת (כמו "עכביש"), ולא רעיונות מורכבים; ועדיין לא ברור מה בעצם מחליט אילו מחשבות נכנסות לחדר מלכתחילה. ואם בא לכם להתנסות בעצמכם - הקוד פתוח לגמרי (github.com/anthropics/jacobian-lens), ויש דמו אינטראקטיבי לשחק בו (neuronpedia.org/jlens).
בדקו את עצמכם
בניסוי ההחלפה, מה גרם לתשובה של קלוד להשתנות מ-8 ל-6 רגליים?
אז הנה מה שנשאר לי בראש: אם פינה קטנה שאף אחד לא תכנן צמחה לבד בתוך המודל, והיא מתנהגת כמו חדר המחשבות שלנו, ואפילו משנה את דרכיה כשהיא יודעת שמסתכלים עליה - כמה עוד תכונות "אנושיות" יצמחו לבד ככל שנגדיל את המודלים, ומתי נפסיק להיות מופתעים מזה?
