בינה מלאכותית · מאמר
מדוע מודלי שפה של בינה מלאכותית מהלוצינים: המחקר מאחורי תשובות שקריות
פורסם:
בקצרה
"הלוצינציות" של בינה מלאכותית קורות משום שמודלי שפה מאומנים לחזות את המילה הסבירה הבאה, לא לאמת את האמת, ובגלל הבדיקות המשמשות לדירוג שלהם המתגמלות ניחוש בטוח על פני הודאה בחוסר ודאות. חוקרים ב-OpenAI טוענים שהבעיה היא בחלקה תוצאה מתמטית של איך מודלים מאומנים וחלקית תוצאה של איך תעשיית הבינה המלאכותית מדרגת אותם.
גרסה זו היא תרגום מכונה של המקור (English). לקריאת המקור
הלוצינציה של בינה מלאכותית היא הצהרה המיוצרת על ידי מודל שפה שנראית זורמת וודאי אך שגויה עובדתית - ציטוט מורכב, תאריך שגוי, או אדם שלא קיים. במאמר מחקר שפורסם בספטמבר 2025, חוקרי OpenAI מתארים הלוצינציות במונחים אלה וקובעים שעם שיטות הכשרה והערכה עדכניות, לא ניתן לפתור את הבעיה לחלוטין.
כיצד תהליך ההכשרה יוצר שגיאות
על פי המאמר של OpenAI, שפורסם ב-arXiv, חלק מההסבר טמון באופן שבו מודלים מאומנים מראש. במהלך הכשרה מראשית, מודל לומד רק מטקסט זורם, ללא תוויות המסימנות אילו הצהרות נכונות או שקריות. הוא מאומן עם מטרה סטטיסטית (אובדן אנטרופיה צולבת) המתגמלת חיזוי מילים סביר הבא, לא אימות עובדות.
החוקרים מראים שזה מייצר שגיאות אפילו בנתונים שעצמם אינם מכילים שגיאות. לגבי עובדות המופיעות פעם אחת בלבד בנתוני ההכשרה - החוקרים נותנים דוגמה של יום הולדת של אדם - הניתוח במאמר מצא שקצב ההלוצינציה על עובדות אלה צריך להיות לפחות גבוה כמו הנתח של עובדות "יחידה" כזה בערכת ההכשרה. במילים אחרות, אם עובדה הוזכרה פעם אחת בלבד, המודל נוטה מתמטית להיות מוטעה בה. המאמר קורא לכמה שגיאות כבלתי נמנעות אפילו עבור מודלים ללא מגבלות על כוח חישוב, מכיוון שמשימות מסוימות הן מה שהוא מתאר כ"לא ניתן לפתרון חישובי."
מדוע מערכות דירוג מתגמלות ניחוש
הטיעון השני של המאמר עוסק בכיצד מודלים מוערכים לאחר הכשרה מראשית. הוא משווה מודל שפה לתלמיד העומד בפני בחינת בחירה מרובה: תשובה ריקה מקבלת אפס, אז ניחוש הוא תמיד האסטרטגיה הטובה יותר מבחינה סטטיסטית כאשר כל תשובה שגויה עולה כמו השארת השאלה ללא תשובה. חוקרי OpenAI בחנו עשרה מדדים בינה מלאכותית בשימוש נרחב - כולל GPQA, MMLU-Pro ו-SWE-bench - ומצאו שתשעה מהם משתמשים בדירוג בינארי שלא נותן קרדיט לתשובה כמו "אני לא יודע," אותה ניקוד כמו תשובה שגויה.
דפוס הדירוג זה, טוען המאמר, דוחף מודלים להמשיך לנחש במקום להודות באי-ודאות, מכיוון שניחוש בטוח מדירג טוב יותר בממוצע מאשר גדר כן הגון. TechCrunch, בדיווח על המאמר, תיאר זאת כהערכות היוצרות תמריצים לא נכונים על ידי פיצוי ניחוש נכון במקרה באותה דרך כמו תשובות תמוכות באמת.
מודלים משכלים הלוצינו יותר, לא פחות
המגמה אינה מוגבלת למודלים ישנים יותר. כרטיס המערכת של OpenAI למודלים ההנמקה o3 ו-o4-mini שלה, ששוחררו באפריל 2025 ודווחו על ידי TechCrunch, מצא שקצב ההלוצינציה עלה עם מערכות הנמקה חדשות יותר בנקודת הייחוס PersonQA הפנימית של החברה, המבחנת שאלות עובדתיות על אנשים.
| מודל | קצב הלוצינציה |
|---|---|
| o1 | 16% |
| o3-mini | 14.8% |
| o3 | 33% |
| o4-mini | 48% |
OpenAI אמרה שנדרש עוד מחקר כדי להבין מדוע הלוצינציות גדלות כאשר מודלי הנמקה גדלים, וציינה שמודלים אלה מעלים יותר טענות בסך הכל, מה שמייצר הן יותר הצהרות נכונות והן יותר שגויות. ניל צ'ודורי, חוקר בקבוצת מחקר הבינה המלאכותית Transluce שנחווה על ידי TechCrunch, הציע השערה אחת: סוג הלמידה בהחזוקה המשמש להכשרת מודלים בסדרת o עלול להגביר בעיות שטכניקות הכשרה סטנדרטיות בדרך כלל מקלים.
מה OpenAI מציעה לתיקון
המאמר מספטמבר 2025 מציע שינוי אופן דירוג הנקודות ההשוואתיות ולא הוספת בדיקות הלוצינציה נפרדות. ההנמקה המוצעת שלו היא לבנות סף ביטחון מפורש בהוראות הדירוג - לדוגמה, הנחיית מודל לענות על שאלה רק אם הוא יותר מ-75% בטוח, כשטעויות עולות יותר נקודות מאשר הימנעות. בתיאוריה, זה הופך את ההימנעות לבחירה טובה יותר מבחינה מתמטית כאשר מודל אינו בטוח, בניגוד לגרוע, כפי שקורה בסיסטמי הדירוג הנוכחיים.
כמו סטודנטים העומדים בפני שאלות בחינה קשות, מודלי שפה גדולים לעתים קרובות מנחשים כאשר אינם בטוחים, ומייצרים הצהרות סבירות אך שגויות במקום להודות באי-ודאות.
המאמר ברור במפורש שהגישה זו תקטין, ולא תחסל, הלוצינציות. מכיוון שחלק מהשגיאות נובע מעובדות נדירות סטטיסטית או ממשימות שהחוקרים מתארים כ"לא ניתן לפתרון חישובי", המחברים מסיקים שמודל שפה עם אפס הלוצינציות אינו ניתן לשגגה עם השיטות הנוכחיות.
שאלות
- מה בדיוק היא הלוצינציה של בינה מלאכותית?
- זוהי הצהרה המיוצרת על ידי מודל שפה שנראית זורמת וודאי אך שגויה עובדתית - לדוגמה, ציטוט מורכב, תאריך שגוי, או אדם שלא קיים. המחקר של OpenAI מתאר הלוצינציות בצורה זו.
- האם ניתן לחסל לחלוטין הלוצינציות של בינה מלאכותית?
- על פי המאמר המחקר של OpenAI מספטמבר 2025, לא. המחברים מתארים כמה הלוצינציות כתוצאה בלתי נמנעת מתמטית מאופן הכשרה והערכה של מודלים, כלומר ניתן לתקן את הקצב אך לא להביא אותו לאפס עם השיטות הנוכחיות.
- מדוע מודלי הנמקה חדשים יותר של בינה מלאכותית לעתים קרובות הלוצינים יותר מאלה הישנים יותר?
- כרטיס המערכת של OpenAI למודלים o3 ו-o4-mini מצא שיעורי הלוצינציה גבוהים יותר (33% ו-48%) בנקודת הייחוס PersonQA שלה מאשר מודלים ישנים יותר כמו o1 (16%), והחברה אמרה באפריל 2025 שנדרש עוד מחקר כדי להסביר את הגדילה.
- מדוע בדיקות נקודות ייחוס מעודדות מודלי בינה מלאכותית לנחש במקום לומר "אני לא יודע"?
- OpenAI מצאה שתשעה מתוך עשרה נקודות ייחוס בינה מלאכותית עיקריות שבדקה משתמשות בדירוג בינארי שלא נותן קרדיט גם לתשובה שגויה וגם ל"אני לא יודע" כן הגון, המתגמלת באופן סטטיסטי ניחוש על פני הודאה בחוסר ודאות.
- מה OpenAI מציעה כתיקון להלוצינציות?
- החוקרים שלה מציעים לבנות סף ביטחון מפורש בדרך שבה דירוג נקודות ייחוס, כגון פיצוי תשובות הניתנות בביטחון גבוה וענישת ניחוש שגוי יותר מהימנעות, כך שהודאה בחוסר ודאות הופכת לאסטרטגיית דירוג טובה יותר.
מקורות
- arXiv — "Why Language Models Hallucinate" (OpenAI research paper, 2509.04664)
- TechCrunch — "Are bad incentives to blame for AI hallucinations?"
- TechCrunch — "OpenAI's new reasoning AI models hallucinate more"
- Computerworld — "OpenAI admits AI hallucinations are mathematically inevitable, not just engineering flaws"
כתבה זו הוכנה בעזרת בינה מלאכותית ועברה בדיקת מקורות אוטומטית לפני הפרסום. אם ראיתם טעות, בקשו תיקון. בקשת תיקון או זכות תגובה · איך אנחנו עובדים
כתבות קשורות
בינה מלאכותיתמאמר
איך רשתות נוירונים לומדות: המתמטיקה מאחורי ChatGPT ו-Gemini
רשתות נוירונים לומדות על ידי ביצוע תחזוקה, מדידת עד כמה היא הייתה שגויה עם פונקציית אובדן, ואז התאמת ערכים פנימיים הנקראים משקלות לאחור דרך הרשת — תהליך הנקרא התפשטות לאחור המשויך לשיטת אופטימיזציה הנקראת ירידת גרדיאנט. אותה מכניקה, בהרחבה למיליארדי פרמטרים, עומדת בבסיס האופן בו מערכות כמו ChatGPT ו-Gemini מאומנות תחילה ואז מותאמות לתפקידים ספציפיים דרך כיול עדין.
בינה מלאכותיתמאמר
כיצד בינה מלאכותית יוצרת אומנות וmusik, ולמה "יצירתיות אמיתית" נשארת במחלוקת
כלים לייצור תמונות של בינה מלאכותית כמו Midjourney ו-Stable Diffusion בונים תמונות על ידי למידה להפוך תהליך של רעש, בעוד שכלים לייצור מוזיקה כמו Suno ו-Udio דוחסים קול לאסימונים ותוקעים אותם שלב אחר שלב, מונחים על ידי הנושא טקסט. האם תהליך כלשהו מהם נחשב ליצירתיות אמיתית עדיין לא תוכן: חוקרים מתחלקים בין קריאה לו "ערבוב" מבוסס דפוס וייחוס לו בעל ביצועים יצירתיים הניתנים למדידה.
בינה מלאכותיתמאמר
למה Moonshot במתכוונת חלישה את יכולות ההאקינג של מודל ה-AI החדש Kimi שלה
חברת ה-AI הסינית Moonshot אומרת שהיא הסירה נתוני הדרכה הקשורים לסייבר מהמודל החדש Kimi K3.1 Pro כדי שהמערכת בעלת משקולות פתוחות לא תדחוף את "הגבול" של יכולת התקפות הקלאק. ההודעה, שהוכרזה ביום שבת, 24 באוקטובר 2026, באה כרקע של אזהרות מממשלות וחוקרי אבטחה כי AI בעל יכולת הולכת וגדלה יכול להפוך התקפות סייבור מתוחכמות לזולות יותר וקלות יותר לביצוע.
בינה מלאכותיתמאמר
כיצד עובדים גלאי טקסט AI, מוסברים דרך סכסוך על רומן זוכה פרס
גלאי טקסט AI אינם מוכיחים מי כתב משהו; הם משערים הסתברות על ידי מדידת דפוסים סטטיסטיים כגון צפיות למילים ושינויים בגודל המשפט. גלאי בשם Pangram 4.1 יחסו לאחרונה 99% מרומן זוכה פרס בשפה ספרדית בשווי 20,000 יורו לבינה מלאכותית, מה שגרם לשלוח לעצור אירועים קידומיים בעודו מנהל חקירה.