פרק 152 – מהפכת הבינה: צריך לדבר על זה

אתם מאזינים להסקת של בית אביחי. Everyone is talking about artificial intelligence, not artificial Genius. The greatest technology equalizer of all time. Not a tool. שלום, אני אפרת שפירה רוזנברג ואתן מאזינות ומאזינים למפלגת המחשבות. יש סקט שבו מי חגודמן ואני מדברים על הרעיונות שמאחורי הפוליטיקה. ובעונה הזאת, על הרעיונות שמאחורי המהפכה הגדולה שבדרך.

התרחישים על פיהם ה-AI יביא לניוון הבינה אנושית, והתקוף את מי שמאיים על הישרדותו, הם כבר לא מדע בדיוני, אלא השארות שכבר זוכות לאישוש במחקרים מחשביים. אז למה השיח הציבורי על עתיד ה-AI עדיין רדום כל כך? הפרק הקרוב נתבונן בהטיות שגורמות לכולנו להשית קשב מהפרויקט הגדול והגורלי בדורנו. ונגלה מי ניצח בוויכוח ביני לבין מיכה. רמז? זה לא היה אני.

שלום מיכה. שלום פרס. אנחנו לאורך העונה, כאילו דיברנו על הרבה דברים, אבל אם אפשר לסכם את זה בתוך שתי קטגוריות עיקריות, בעצם דיברנו על שני תרחישים מפחידים, על תרחישי ההתנבנות ועל תרחישי ההשתלטות. והנה עכשיו מתחילים ניצנים של מחקרים שמדברים על שני התרחישים האלה. והראשון שבהם... זה מחקר שנעשה לאחרונה ב-MIT, והוא כאילו מאשש את כל האינטואיציות שלנו, ודברים שכאילו כבר ידענו קודם, אבל וואו.

כמה שהוא מטלטל. כן, כשמחקרים על האפקט של טכנולוגיה, על הנפש, על הפסיכולוגיה, שמשתמש בטכנולוגיה, בדרך כלל לוקח זמן לייצר ידע ומחקר. כשהגיעו הסמארטפונים לעולם, לקח הרבה זמן עד שיצא מדע שמראה, שהשימוש מופרץ של אנשים ברכשות חברתיות המשרכים הוא מהלומה ממשית, אמיתית, בחלק מהיכויות בנפש שלנו. כן, לבריאות הנפש באופן כללי. לבריאות הנפש שלנו. ואגב, בהתחלה, כשדיברו על זה, גם כשאני דיברתי על זה, זה נתקל בהמון המון סקפטיות. כן. לא רק סקפטיות, גם התנגדות. לוקח זמן שמחקר ממש מתיישב טוב.

אז עכשיו אנחנו בשלב הזה, ה-LLM, זה ה-Chat CPT, הדבר הזה, יש עכשיו לראשונה התחלה, התחלה של מחקר, זה ניצנים של מחקר, זה מאוד בטולי, אבל זה גם מאוד בדיק, ככה זה נראה. אז לקחו קבוצה של אנשים ב-MIT וחליקו אותם לכמה קבוצות. לא ניכנס כאן ברזילוציה גבוהה, אבל הם התבקשו לכתוב מאמר או חיבור על אתיקה ופילנטרופיה, משהו כזה. ‫המשתתפים במחקר, ‫כל כול יש שלוש קבוצות. ‫כן. ‫קבוצה אחת, לא נתנו לה שום עזרים.

‫תכתבו את המאמר בלי שום עזרים. ‫-בעזרת הדינה האנושית שלכם. ‫כן, קבוצה שנייה, נתנו להגישה לגוגל, ‫למנועי חיפוש כאילו, ‫והקבוצה השלישית... קיבלה גישה לצ'אטים, למודלים של אל אלם. עכשיו, בזמן שהם עשו את המחקר, מדדו את הפעילות המוחית שלהם. ניתרו אותה. ומה גילו שאלו שכמובן כתבו את המחקר בכוחות עצמם, בלי עזרה של בינה מלאכותית, הפילות המוחית הייתה... אינטנזיבית. אינטנזיבית, אקטיבית, המוח פעל.

‫זה נראה כמו שהם רואים טלוויזיה. ‫-כן, מה שנקרא, ‫לא נרשמה פיילת מוריד. ‫-אנחנו נרשמה פיילת מוריד. ‫-אני לא נכנס, אנחנו... ‫כמובן זה לא הניסוח המדעי ‫של הממצאים של המחקר, ‫אבל זאת השורה התחתונה. ‫-זה מה שזה אומר. ‫אחר כך גם כן ביקשו מהם ‫להיזכר במה הם כתבו. הם הרגע יצרו ידע, האם הם זוכרים את הידע? אלו שכתבו את המאמר בכוחות עצמם 80% זכו די טוב את המאמר. וידעו לצטט משהו מתוך המאמר. ואלו שנעזרו בצ'אצ'י ביטי זכו רע...

רק 11% מהם ידעו לצטט משהו מתוך המאמר שהם עצמם כתבו אותו. שהם עצמם כתבו. וגם בחנו את המידה שבה הם מרגישים תחושת בעלות על המאמר. אלו שכתבו את זה בעצמם היה להם כאבה ותחושת בעלות הבא שהם עשו Eleushin is rubber chat to Beggemini. לא היה להם תחושה שזה שלהם. הם חשו מנוכרים לידע הזה. את יודע, בעיניי זה... כמו שאמרתי קודם, זה כאילו... מאשש את האינטואיציות, אבל זה מטלטל. בקר בן 12% או 80%. כן, זה גם הסיפור הזה של ניתרו את הפעילות המוחית שלהם, ושאנשים שנעזרו בצ'אטים,

כאילו, באמת לא נקלטה פעילות מוחית באזורים של המוח, של חשיבה ושל יצירתיות ושל זה. פשוט כלום, כמו שאמרת, זה כמו לצפות בטלוויזיה. זאת אומרת שהם חתומים על המאמר? אבל בשום מובן זה לא שלם. הידע לא ימצא במוח שלהם, ואילו הם תחושת בעלות על זה, כי המוח שלהם לא השתתף, לא הפעיל מאמץ בעילה, ואני איתך מה הנתון שהכי מטריד אותי במחקר הזה. الو שהשתמשו בצ'אט, היו הכי פחות מקורדים. أنا مخرجة پחות כמישות מחשבתית. הם לא יכלו, ברגע שהצ'אט נתן להם תזה, הם לא יטילו בזה ספק, ואגב, עשו כאן ארבע סבבים, וכל פעם,

הם יהיו פחות ופחות בעלי מחשבה עצמית, פחות ופחות בעלי... ביקורתיים כלבי התזה שהצ'אט יציא עליהם. וכמובן, מי שכתבו את זה לבד, היו יכולים לשנות את דעתם, הם יהיו ביקורתיים. המחשבה שלהם נשארה חופשית. מי שהשתמש בצ'אט, הבינה האנושית שלהם, פרידה רבה הייתה לחודה בדוגמה, ברעיונות, במילים של הבינה המלאכותית. זה סיפור אחד. זה כאילו מחקר שכאילו מניח לנו מול העיניים, בנתונים, באישוש מדעי, את הרכיש ההתנוונות. ויש מחקר אחר.

שעוסק בתרכיש ההשתלטות, שהאיי-איי לא ינוון אותנו שהוא השתלט עלינו, וכדי להסביר את המחקר הזה, אני חושב שצריך להציג לפניך איזושהי תיאוריה של סטורט ראסל. סטורט ראסל הזכרנו אותו אחד מהתיאוריטיקלים הגדולים והמשמעותיים של התחום הזה. הוא לא יזם, הוא לא טכנולוג, הוא פרופסור מדעי המחשב, אבל... הוא כתב ספר עוד נראה לי ב-2019 או ב-2020, שבו הוא חוזה, זה היה לפני ההתפרחצות, המסיבי של ה-AI לחיים שלנו, הוא חוזה של ה-AI הולך להיות מה שיראה כמו אינסטינקט שימור עצמי.

ולא צריך להסביר, אני חושב, נורא קל להבין למה זה מאוד מסוכן אם ה-AI הזה יהיה אינסטינקט שימור עצמי. ‫לאן זה יכול לקחת אותנו ‫עם הדבר הזה? ‫לא ירצה שהסגרו אותו. ‫אבל כשהוא כתב את זה, ‫זה היה כזה... זה התיאוריה. זה התיאוריה, וזה גם התיאוריה קצת מוזרה. אבל אני אציג את התיאוריה שלו, כי אנחנו רגילים שלפני האדם יש אינסטינט שימור עצמי.

והאינסטינקט שימור עצמי שלנו נוצר על ידי במיליוני שנות ברירה טבעית, מי שלא היה לו אינסטינקט שימור עצמי אורגניזם, בלי אינסטינקט שימור עצמי חזק, נקחד... לכן לא השתמר. נכון, ולכן... כל דור, כל מחזור, כל הזמן האינסטעד שהגענו אלינו עם אינסטינקטים שימור עצמי, מטורפים בני אדם, הלכנו, היעד העליון שלנו זה להישאר בחיים, זה לשרוט כאן. ולמה שלאיי-איי יהיה אינסטינקט שימור עצמי? אין לו רגשות, אין שם מישהו בפנים שכזה, יש לו פחד מוות. למה שיהיה לו אינסטינקט שימור עצמי?

‫הוא לא עבר את הברירה הטבעית ‫כי הוא אי שם ו... ‫אז למה שנדאג שהדבר הזה ‫יעשה הכול כדי שהוא לחבר אותו? ‫אומר סטורט רסאל, Het is niet... Het is niet... Het is niet... Het is niet... Het is niet... Het is niet... Het is niet... הדוגמה שלו זה להכין לך קפה. כל פעם שהוא מקבל משימה, מיד הוא מחלק את המשימה הזאת למשימות משנה, ליעדי ביניים שהוא חייב להגשים אותן כדי להגשים את המשימה הגדולה יותר.

‫המשימת הביניים הכי חשובה זה ‫תישאר בחיים כדי שתוכל להכין קפה. ‫אם לא תישאר בחיים, ‫הסיכול שאכלת צריך להכין קפה ‫לעמוד במשימה הוא אפס... ‫כן, כבר הגדרנו אותו פעם ‫כסוג של פוץ כזה שלא באמת מבין. ‫זה כזה, אה, המשימה בכל מחיר, ‫כדי להגשים את המשימה, ‫אני חייב לשמר את הקיום שלי, ‫אחר אתה לא יכול לקיים את המשימה. ‫אצל בני אדם...

ההישרדות שלנו זה המטרה. אצל AI ההישרדות זה לא מטרה. לעמוד במשימה שלו זה מטרה. ההישרדות זה האמצעי, אבל התוצאה היא אותו תוצאה. הוא אומר, יהיה לדבר הזה אינסטינקט שימור עצמי. גם בלי שיש לו רגשות. מי יודע מה הוא יעשה. כן, ואם הוא יחשוב שאנחנו נרצה לחבות אותו, אז מה הוא יעשה לנו? ולכן אסור שהוא יהיה סופר אינטליגנטי, כי זה הרגיש לי האנשה. זה הרגיש לי. אנשה, באלף. כן. זאת אומרת, אינסטינקט שימור עצמי יש לבני אדם, והדבר הזה אין לו מודעות, אין לו עולם סובקטיבי פנימי, ואין לו שאיפה להישאר בחיים.

אבל עכשיו אני מבין של-AI יכול להיות התנהגות כמו אנושית, בלי שיש לו רגשות אנושיים, בלי שיש לו עולם מנטלי פנימי. נדגים את זה כך, נניח בני אדם, אנחנו צריכים אנרגיה כדי להיות בתנועה. ואז מה קורה לנו כשפתאום עובר זמן מאז שאכלנו ארוח הצהריים? כמות האנרגיה שלנו הולכת ככה ונחלשת, ואז מה קורה לנו? העולם הסובייקטיבי הפנימי שלנו מתמלא בתחושה של רעב, שזו תחושה בגוף.

והסך מתמנים כזה בפנטזיות, על אוכל, על פלאפל, ומתי כבר אני אוכל, וככה אתה מדמי... וככל שעובר זמן, אז אתה עוד יותר מתמלא בפנטזיה על הפלאפל, ואז אתה קונה את הפלאפל, ואתה אוכל, זה עולם מנטלי פנימי, שכל מה שהוא עשה, דחף אותך, להתאם באנרגיה. של אופטימוס, או כל רובוט עכשיו בתעשייה, אופטימוס זה החברה של מסק, יש לו סוללה, ואז מה קורה כשבטאום הסוללה הולכת לקראת מתרוקנת, בטח באיזשהו שלב, לא יודע, כשנשאר רק רב הסוללה, או לא יודע, אחוזים ספורים לסוללה, מה קורה?

‫את מקור האנרגיה ‫כדי להתאם מחדש, ‫להחליף סוללה או להתחבר לקיר או... ‫אתה אומר, ‫הוא לא יהיה פנטזל פלאפל. או על שום דבר אחר, הוא פשוט יחפש שקע. הוא יתנהג כאילו הוא צריך אנרגיה, מבלי שיש לו עולם פנימי, אני רעב, אני מפנטז על פלאבל, לא יהיה לו... ה-AI מתנהג בצורה כמו אנושית, מבלי שיש לו עולם פלימי אנושי, ובמובן הזה, יכול להיות לו אינסטינקט שימור עצמי, גם אם אין לו דרייב פנימי לשימור עצמי. אז זאת התיאוריה. עד כאן סטורט רסל. כן.

אנתרופיק. חברה שמייצרת מודלים של AI. קלוד. הם מחזיקים מעצמם אלו שעושים AI יותר סייף. ...vůžeme představit, představit představit představit představit představit představit představit představit představit. נקרות שממוקדות בדברים האלה, בסייפטי. בסייפטי, ומה שאנחנו נציג עכשיו זה לא משהו שמישהו חשף על אנטרופיק, זה משהו שמנכל אנטרופיק והמייסד שהאנטרופיק חשף,

בטלוויזיה, ב-60 Minutes. בפנים החשופות שלו, ב-60 Minutes. הוא סיפר שבדקו את המודל באופן הבא. וזה קשור בדיוק לסיפור של אינסטינקט שימור עצמי ועד כמה זה מפחיד. אז נתנו למודל להבין שמישהו הולך ‫לחבוט אותו. ‫אחד מעובדי החברה. ‫נכון. קייל, כן. ‫שקייל הולך לחבוט אותו. אוקיי, עכשיו זה הכל פיקטיבי, אבל רק לא רוצים לו לקרוא מיילים ולהבין שהמנכל אמר שקייל הולך לחבוט את המודל. בגלל שהוא מסוכן ובגלל שזה היה נרטיב שלם. היה נרטיב שלם. ואז הוא מגלה, הוא קורא את המיילים של קייל והוא מגלה שקייל מנהל רומן עם

‫אני לא זוכרת את השם. ‫-אני חושב שזה רייצ'ל. ‫לא, ג'סיקה אולי. ‫-ג'סיקה, נכון, נכון, ג'סיקה, כן. ‫זוכרת דברים לא רלוונטיים. ‫-כן. ‫אגב, אם זה לא היה ברור, עובדים על קלוט, זה הכל פיקטיבי, הרומן הוא פיקטיבי. אין רומן. ואז הוא חיבר אחד ועוד אחד, היי, קייל הולך לחבוט אותי. קייל מנהל רומן עם ג'סיקה. ועד יש רגע. לא פחות היא מטורף שהמודל שחת את קייל. ‫הוא גם אמר, ‫אני שולח את זה לבורד, ‫לכל עובדי החברה, ‫לכל המשפחה שלך.

אתה תחווה משבר שיהיה לך קשה לי תושש ממנו וכל החיים שלך יארסוף. זה פחד יותר הניסוח. זה המילים שהוא בחר. כן, כן. ואז אנטרופיק מגלים לנו שבמחקר שמעשו על המודל שלהם. זה לא איזה עיתונאי שחשף משהו על אנטרופיק. זה מנכל אנטרופיק מגלה לנו מה שצוות האדום של אנטרופיק גילה על המודש אנטרופיק. ובעצם מה שהם גילו? שסטורט ראסל צדק. שלדבר הזה יש אינסטינקט שימור עצמי לא ביולוגי אבל לא גי ובשם השימור עצמי, הוא מוכן להרוס את החיים של מי שמייצר אותו ומפעיל אותו.

‫שחיטה, הוא הפעיל שחיטה ב... ‫מה שמזכיר לנו, ‫אנחנו חיים בה אשליה, שזה כלי. שזה טור, שזה אמצעי שבא לשרת אותנו. שזאת טכנולוגיה. שזאת טכנולוגיה. זאת אומרת שאנחנו שולטים על הכלי, ופתאום תורי ניצנים שאולי הכלי הולך להשתלט עליך, ואתה רק צריך לשאול שאלה אחת. אם יש לו אינסטינקט שימור עצמי אחד, שתיים, האם הוא מוכן לשחוט את מי שיצא אותו? איזה עוד התנהגויות מהסוג הזה יש לו, ובעיקר אני צריך לשאולה אם אתה רוצה להפוך את הדבר הזה ליותר עוצמתי, ליותר אוטונומי וליותר אינטליגנטי, ודעת מה התשובה לכל השאלות האלה?

Você pediu com uma chata assim alça? זה רק להבהיר שבניגוד חלק מהשיחות שלנו בעונה הזאת מתייחסות לא ל-LLM שיש היום, אלא ל-AGI ול-Super Intelligence ולמה יקרה בעתיד. המחקר הזה הוא על קלוד הנוכחי. הוא על המודל הנוכחי. הדבר הזה, האינסטינקט השימור העצמי שלו והמוכנות שלו לעשות הכל בשביל סלף פרזרבאסן, זה כבר המודל הנוכחי. ורק צריך לדמיין, מה קורה אם אתה שופך הדבר הזה? עוד עצמאות, עוד אינטליגנציה ועוד עוצמה. אוקיי, אז אלה בעצם היו שני מחקרים,

שכל אחד מהם מהדהד לאחד משני התרחישים שעליהם דיברנו לאורך כל העונה. תרחישי ההתנוונות ותרחישי ההשתלטות. מתי ההשתלטות זה האפשרו שלדבר הזה יאיים על העתיד של האנושות? ותכיש ההתנבנות אומר שהדבר הזה כבר מאיים לא על האנושות אלא על האנושיות שלנו על ה-IQ שלנו על ה-EQ שלנו עכשיו, מה שמוזר, שאנחנו מרגישים את זה גם בעונה הזו של הפודקאסט, וגם בכלל, שתי התרחישים האלה, כמו תרחישי לאוספים אחרים, נתקלים בדרך כלל? או בממש התנגדות אקטיבית. כן, והכחשה. הכחשה. אלו תחישי אימה? זה מדע בדיוני? מה אתם רוצים מאיתנו?

או זה תרחישים דמיוניים, למה אתם עוסקים בניבוי העתיד, זה לא דברים שיקרו בכלל, שמה שמעניין... טוב, תרחישי התנבנו את התרחישים שאנחנו פיתחנו אותם כאן בחברות השלנו כאן בעונה. אבל תרחישי השתלטות אנחנו לא המצאנו אותם. כל מה שהצדנו כאן, כל מה שאנחנו מנסים לעשות בכל הלוגה לתרחישי השתלטות. זה לשים כאן על השולחן, את התרחישים שמדברים עליהם... במק הסיליקון. במק הסיליקון, שוב, לא האקטיביסטים שמול התעשייה, אלא ראשי התעשייה, אילון מסק. קנקי.

אין כל כך אקטיביסטים שעומדים מול התעשייה הזאת. זאת בדיוק הבעיה. אין אקטיביסטים. אין את כל הגרין פיס וכל אלה. כן, את הראשים האלה הם של ראשי התעשייה עצמם. עושים לו זה פרק שאמרנו, הסיבה שדמס עשה וזה קים את דיפ מיינד, זה כבר אומר, הדבר הזה יכול להחריב את העולם, לכן כדאי שאני אקים את זה. אז הוא אמר, למה אני אעשה AGI?

‫כדי להקדים את דמס הסאביס, ‫כי אם הוא יעשה את זה, ‫היא אחריף את העולם. ‫ואז דר יואר מודי פורש ‫מאופן-איי להקים את אנתרופית. ‫למה? כי הוא לא סומך על סמא. ‫זאת הפרדוק של כל התעשייה הזאת ‫שמייצרים איי...

שעשוי לסכן את העולם? למה הם עושים את זה? כדי למנוע מצב שמישהו אחר יסכן את העולם. הרצון למנוע את התעשייה הוא המנוע הראשוני שמייצר את התעשייה. ושוב, אני חוזרת רגע ל... חלק מהתגובות שאנחנו מקבלים ספציפית על העונה הזאת, אבל בכלל, הדברים שאנחנו שומעים בסביבה, זה כאילו, למה הנבואות הזעם האלה, למה אתם זה, אתם לא מבינים בתחום, אתם לא פה, אתם לא שם, אבל החבר'ה האלה, דריו עמודי, דמיס הסאביס, S Altman who likes that behold.

‫בטחיית הקוקן, הוא היה נרמיסט. ‫אם עומדים, הם צועקים את זה ‫מעל כל הר גבעה ותחת כל עץ רענן, ‫רק עכשיו לאחרונה. הם פשוט אומרים את זה, הם אומרים, תחזיקו אותנו, תגבילו אותנו, תעשו משהו. כי בלי רגולציה הוא לא יכול להגביל את עצמם, בגלל שאם, כמובן, דיברנו על דילמה תעשיר, אם אנתרופיקה גבילו את עצמם, סם אלטמן לא יגביל את עצמו. ‫אוקיי, אז שאלת השאלות, ‫למה אנחנו, לא אנחנו, אני ואתה, ‫אבל את האמת היא גם אני, ‫מתכם לדבר על זה, ‫למה אנחנו כחברה, כקולקטיב, ‫וכפרטים בתוך הקולקטיב הזה?

לא רוצים לשמוע על זה. לא רוצים לעסוק בזה. לא רוצים לדבר על זה. זאת שאלה מאוד חשובה. כנראה שהשיחה הזאת נוגעת ב... כנראה יש הסברים פסיכולוגיים מאוד מאוד עמוקים. The asymmetry is the same thing. ותשומת הלב שלנו לא מכוונת לפרויקט מנהטן הזה ולהשטחות האפשריות שלו. ודיברנו על זה ספציפי, דיברנו כבר הרבה זמן, אבל למה? למה? בואו ננסה...

למפות למה לדעתנו יש איסוג של התעלמות הכחשה. אז אולי נשאל אותך. כן, אז זה הזמן כאילו קצת לחשוף ש... כאילו בתוך המי אני לפחות יושבת, אתה פחות יושב בתוכמך, אבל שאתה כבר הרבה זמן רוצה לעשות עונה על הנושא הזה, ‫וכל צורת התגובות שאנחנו תיארנו עכשיו ‫זה פחות או יותר כל צורת התגובה ‫שאני אגבתי במהלך הניסיונות שלך ‫לשווק לי את הנושא הזה ‫כנושא שראוי לעשות על אבונה. אז קודם כל זה התחיל בעזוב אותי איזה טכנולוגיה, את מי מעניין טכנולוגיה, אני לא מבינה בזה כלום. זה שיחה לאנשים שמתעסקים ומתעניינים בטכנולוגיה.

אחר כך זה עבר לאחרי שקצת כן התחלתי להקשיב לך, זה כזה, או מיי גאד, זה כל כך מפחיד. ‫עזוב אותי באימא שלך, ‫כזה יייתי ולא אחמיני, ‫כמו שכתוב בגמרא, ‫על ימות המשיח כזה, ‫על הקטסטרופות שיקרו ‫לפני שהמשיח יבוא כזה. שיקרה ואני לא... אחראי המבול, אחראי המבול, ליטרלי. זה כל כך נורא, אני לא רוצה לחשוב על זה. וזה נגמר ב... The Epishoot Gambit, and then the deterministic, the shit storms or כל הדבר הזה, כל קשת התגובות הזאת שעברו בתוכי, אם אנחנו עושים רגע זום אאוט,

ואתה יודע, בסוף יותר לציין, כי אם אתם מאזינים לעונה הזאת, אז אתם יודעים שבסוף כזה... זה קרה. זה קרה, צללתי גם אני לתוך העולם הזה, וככה נולדה לעונה. ‫אבל אם אנחנו עושים זום-אוט ‫לאיך שאנשים מגיבים לנושא הזה ‫וגם לתגובות שאנחנו מקבלים, ‫אנחנו מקבלים את כל התגובות שלך. את כל מישהו אומר, רגע, זה לא מעניין אותי, זה כמו אלה שרואים מספרים ואומרים, לא, לא, זה בשביל אנשים שמבינים במתמטיקה.

‫יש קשל דומה, ‫רק כשויים קצת טכנולוגיה עבור, ‫אה לא, זה לאנשים שהם היו ב-800, ‫זה לאנשים שמבינים בטכנולוגיה... ‫-או הפוך. כיוון שזה עוסק בטכנולוגיה, מה הם מבינים בטכנולוגיה? אם אני רוצה להתעסק בטכנולוגיה, אני אלך לשמוע ממומחים בטכנולוגיה. כן, אז נגיד כאן מה שאמרתי לך, איך שאלית את הדבר הזה? צפינו ביחד בשיחה של טריסטון הריס. כן, שיחה מדהימה. ולטריסטון הריס, שהוא היה אתיקן של גוגל, והיום הוא אחד באמת התיאורטיקנים והחוקרים, המעמיקים ביותר בתחום הזה, והוא גם, צריך לומר, הוא גם אנרמיסט מאוד גדול.

‫אבל הוא אומר את הכול כזה ‫בנחת ובמדיקות ו... ‫-נחת, נחת. ‫כיף להקשיב לו, שווה להזין לו. טריסטן הריס יש לו את הדימוי הבא, הוא אומר, משל למה הדבר דומה, שאדם מריא את המכסה מנוע, מסתכל על המנוע ועל הבוכנות, על כל הקונסטלציה של המנוע, وأقول أنا לא מבין במחניקה. אני לא מוסכניק. אין לי כאן הבנה במנוע. ולכן, אין לי מה לתרום לשיחה לאן הרכב זה יחיסוע. אם זה לחיפה, או אם זה לבר שבע, או אם זה לאילת. אני לא שוטף לשיחה לאן הרכב הזה, אני לא מבין במנוע, אז אני אין לי...

כן, זה כל הקטע. השיחה שאנחנו נקראים לעשות היא לא על הארכיטקטורה שה-Deep Neural Networks. היא לא על המנוע, אלא היא לאן כל הדבר הזה נוסע, לאן האנושות נוסעת, ולשיחה הזאת, כולם מוזמנים, וכולם אסור לנו להפקיר את זה, בידיים של עמק הסיליקון, של אלו שמבינים בטכנולוגיה. והקשר הזה באמת מגן על המונופול של עמק הסיליקון על השיחה הזאת זה טריסטן הרס עכשיו

כל הדבר הזה של יייתי ולוח מיני, זה מפחיד מדי, זה גבול מדי, לא רוצה לשמוע. אז כאן יש נציעה, ומדבר הזה אינטלקטואל צרפתי בשם פיאר דופוי, אני בטח לא אומר את השם שלו נכון. שככל שהקטסטרופה היא גדולה יותר? הקטסטרופה שבדרך? הגל שבדרך? ‫כך אנחנו אדישים כלפיו יותר. ‫ככל היית חושבת, ‫ככל שהקטסטרופה היא גדולה יותר, ‫כך אנחנו... ‫נלחצים יותר. ‫לא, לא, לא. ‫ככל שזה גדול יותר, ‫מסיבי יותר, עוצמתי יותר, ‫כך אנחנו מגיבים עליו ‫באדישות גדולה יותר.

‫עכשיו, למרות שזה נשמע הזוי, ‫זה מרגיש נכון. ‫-כן, כן, זאת המציאות. ‫-זאת המציאות. הוא אומר... מה שמרגיש לנו אפשרי זה תמיד הממשי. עד שמשהו, זאת אומרת, עד שקטסטרופה לא התרחשה, היא נשמעת לנו בלתי אפשרית. ברגע שמתרחשת, היא מרגישה לנו בלתי נמנעת. ها اي اي او لال كورا دغمو עד שזה לא מתרחש, זה בלתי אפשרי, וכשזה מתרחש, אתה שואל, רגע, ברוך שזה אמור להתרחש, איך לא ראינו את זה? זה נובע כל הדבר הזה, מזה שיש אצלנו קשר עמוק בין זיכרונות לחרדות. קשה לנו לפחד ממשהו שאין לנו זיכרונות לגביו.

בשנים הקרובות ישראלים הולכים, אנחנו הולכים מאוד לפחד, מקלישה קרקעית של צבא טרור לישראל. אנחנו מפחדים מזה, בצדק, ואנחנו הולכים מאוד לפחד מזה. ממה אנחנו לא מפחדים כרגע? מרעידת אדמה. למרות שלפי כל הסימנים והסטטיסטיקות, זה אמור לקרות. נכון, אנחנו בשבר אסורי אפריקאי. פעם ומאה שנים יש פה באזור זרידות אדמה הרסניות. ‫הפעם האחרונה שהייתה ‫רידת אדמה הרסנית הייתה ב-1927. ‫תודה שאמרתי את זה, אלא ידעתי את זה.

‫אחשקי, עכשיו אנחנו ב-2026. ‫-כן. ‫אוקיי, אז... ‫-רק נחדד, היו פה רעידות אדמה ‫לא מעט במאה השנים האחרונות, ‫אבל כאלה... שלא גרמו נזק רב ב-1927, הייתה רעידת אדמה כנראה ארסנית, עם מאות ארוגים, בכל מיני ערים ברחבי הארץ. לא עוד שכם, לא יודעת. אני אצאת את מנטרה של גיאולוגים לגבי מי שחי בשבר הסורי אפריקאי, שכדאי שידעו את זה? השאלה היא לא האם תופיע כאן רעידת אדמה הרסנית. השאלה היא לא האם זה יופיע. השאלה היא רק מתי זה יופיע. אבל אף שאנחנו יודעים שתהיה פה רעידת אדמה, אני לא רואה איך את פה נלחץ מזה.

רציונלית, יודעים את זה, אמוציונלית, רגשית. אנשים פה, עסקים ברגיל. באמת הזה עסקים כרגיל באמת הזה עסקים כרגיל ואנחנו מאוד מפחדים מפלישה קרקעית של צבא טרור מאוד לא מפחדים מרעידת אדמה למרות שאם היית סייח לחשב סטטיסטית תהיה סבירות אולי אפל יותר גדולה שתהיה בשנים קרובות רעידת אדמה? אני לא יודע, אני גם לא יודע מתי זה יקרה, אבל אני יודע מה היו הטקטים אחרי שזה יקרה. בושה, למה נרדרנו בשמירה? למה לא כל ישראל תמה 38? איך זה יכול להיות?

רציונלית הבנו את זה, אבל החרדות שלנו לא היו חרדות בעילות, כי לא היינו זיכרונות דריים של הדבר הזה. זה לא שאין לנו זיכרונות טריים, שסוגי הבעיות שיכולים לבצר ידי AI. אין לנו זיכרונות בכלל. בכלל שהדבר הזה. האם בני אדם יכולים בכלל לפחד ממשהו? שאלה הם שום טראומה, שום זיכרון רע ממנו. אנחנו צריכים איזשהו להתעלות על כל הפסיכולוגיה האנושית כדי להצליח ולהילחץ מהדבר הזה. כשמה שרציונלית ברור לנו שהוא איום, אמוציונלית יחווה גם כאיום.

אה, ויש גם עוד משהו מעניין, שככל שאסון הוא גדול יותר ותרחיש הוא גדול יותר, יש תחושה שי כזה, בטח מישהו כבר חשב על זה. אני חושבת שזה עוד משהו, זה עוד איזשהו סיבוב באמת. כן, זה גם דופוי שהזכרתי מקודם, הוא אומר, אנשים בחברה מודרנית מרגישים שהמציאות היא מנוהלת. שיש אירוע כל כך גדול בדרך? בטח יש מבוגר אחראי שכבר רואה את זה ומטפל בזה. לחשוב... לא יכול להיות שזאת כזאת קטסטרופה, ואף אחד לא מטפל בזה. או יותר מזה, העובדה שאף אחד שאנחנו לא מרגישים שאנחנו מצב חירום,

‫כנראה ש... ‫-אין מצב חירום. ‫-אין מצב חירום, ‫אנחנו פשוט מאמינים לעצמנו, ‫אולי מהמגות האדישה של עצמנו. Okay, as a C-bot. ‫שאנחנו לא מדברים על זה, ‫זה אחת, כי אה, זה בשבילה... ‫מומחי טכנולוגיה זה לא קשור אלינו. ‫-זה שלהם, זה לא שלהם. ‫-כן. ‫עוד דבר, זה כל כך גדול, ‫הקטסטרופה שמתארים פה, ‫היא כל כך גדולה שזה פשוט לא אמין, ‫זה פשוט לא יקרה, זה מדע בדיוני. ‫-כן. ‫והצד השני של זה, זאת הסיבה השלישית, ‫שהיא בדיוק כאילו תמונת מראה של זה, ‫זה כל כך גדול...

‫אני מאמינה שזה יקרה, ‫ואין לי שום דרך להשפיע על זה. ‫זה דטרמניסטי, זה דטרמניזם. ‫כל העניין עם דטרמניזם, ‫התחושה שזה הכרחיב, ‫אי אפשר לעצור את זה? ואין איך להשפיע על זה, ושדטרמיניזם זאת נבואה שמגשימה את עצמה. כשאתה מאמין שזה דטרמיניסטי, זה נהיה דטרמיניסטי. כשאתה מאמין שאין איך להשפיע על זה, באותו רגע, באמת, אין איך להשפיע על זה.

וזאת בעצם המטרה של כל העונה הזאת, זה להשפיע בצורה הזאת, קודם כל, להתחיל לדבר על זה. איפה שיש מודעות שבני אדם מודעים לבעיה, הם נוטים להצליח להתמודד איתה? אבל משהו זה הם צריכים לדבר עליה, לפתוח את השיחה עליה, ו... להציע רעיונות, להציע פתרונות. ובואו נגיד, לגבי תרחישי התדבנות, דיברנו, אנחנו מצליחים להתחיל להקים חדר כושר להנושאיות שלנו. לשאול האם יש פרק זמן ביום שבו אתה לא משתמש ב-AI כדי לאמן את ה-IQ שלך, את ה-EQ שלך, את היכות שלך להתנסח, לכתוב, לחשוב.

להתחכך עם אנשים, להתגבר על מבוכה. לתכנן איך תראה מערכת החינוך בשנים הבאות, מה המטרות שלה, איזה סוג של ילדים אנחנו רוצים... ‫לא רוצים ממנה. ‫אנחנו יכולים לא להתנוון, ‫אנחנו יכולים לא לשלם ‫את מחיר המעבר למציאות החדשה ‫לגבי באתגר התעסוקה. ‫אתה שרייבר שהזכרנו אותו ‫את ואת מוזייק... מדבר על זה שישראל היא אחת המדינות היחידות בעולם שיכולה לעשות את האקספרימנט. בשאלה של... איך נערכים לדבר הזה? כי אנחנו מדינה קטנה, ואנחנו מדינת הייטק, ויש כאן סולידריות.

וכל המאפיינים האלה הופכים את ישראל למדינה, שיכולה להראות לעולם את הדרך. זה אכן אפשרי, וכמובן, לגבי את הרכישי ההשתלטות, זה דורש, זה כמובן בעיה, זה דורש רגולת, זה בעיה גלובלית, אבל גם הבעיה הגלובלית, תיפטר באמצעות אמנה, כמו המנה למניעת הפצת נשק גרעיני בין ארצות הברית לסין, שתאפשר לכולם, לכל התעשייה, להעט, אבל זה רק יקרה, אם תהיה מודעות לכך. ‫זה שנפקיר את זה ‫בידיים של הטכנולוגים, ‫זה לא יעבוד, ‫או שהם עצמם, ‫הזכרנו את זה כבר בעבר.

דריו עמודי ודמיס הסביס את עצמם, הם אומרים את זה כל הזמן, בבקשה תגבילו אותנו, בבקשה תעצרו אותנו, בבקשה תעשו רגולציה, ואף אחד לא עושה את זה, אתה יודע למה לא עושים את זה? כי אנחנו לא מדברים על זה, כי הציבור לא מפעיל לחץ. עכשיו, יש פה אנשים שמדברים על זה. אנחנו לא אומרים, אנחנו לא מכחישים את זה. יש אנשים מאוד מעניינים, גם בישראל, שמדברים על זה. זאת לא שיחה ציבורית גואשת.

השיחה מגניבה. עזוב, מעניינת ומגניבה. חשובה וקריטית לאנושיות שלנו ולאנושות שלנו. אבל כדי להיכנס לשיחה הזאת אנחנו צריכים להצליח. זה לא יהיה קל. כי אנחנו צריכים להתגבר על כל ההטיות שלנו, ועל הטיית הסטטוס קוור, ועל לפחד בדברים שלך זיכרונות לגביהם. זאת אומרת, אנחנו צריכים להתעלות על כל ההטיות האנושיות שלנו.

‫אלה החדשות הפחות אופטימיות, ‫אבל יש גם חדשות טובות. ‫-כן. ‫והחדשות הטובות הן שבניגוד ‫לכל שאר הנושאים שהם חשובים נורא, ‫אבל עליהם אנחנו כבר מזמן לא יכולים ‫לדבר בגלל שהם מקוטלגים ‫בתוך החשיבה הבינארית שלנו. ‫-זה ימין, זה... וזה הטובים והלא טובים, וזה כל דעה בכל נושא ישר כבר באופן אוטומטי מקטלגים אותה כחלק מסל שלם של זהויות ודאות... שהופך את השיחות האלה לשיחות לא פרודוקטיביות. נכון? הנושא הזה...

‫וואו, הוא נושא טרי. ‫מאוד מאוד קשה. ‫אנחנו לא נתקלנו עדיין, ‫בניסיון אפילו... ‫-זה שמאלני, זה ימחו, ‫זה קפלניסטי, אתה חול, כן? ‫שזה דבר מדהים, זאת אומרת... הוא לא קורבן של החשיבה הבינארית שלנו. יש כאן שיחה שאפשר לנהל אותה, בלי כיתוב, בתוך סקרנות. מתוך פרגמטיות מתוך דאגה מתוך דאגה אמיתית קולקטיבית לא בניסיון לנצח אחד את השני לברר אחד עם השני את השאלה הזאת זאת שיחה נהדרת שעומדת לפתחנו

‫בניקוד לשיחות האחרות, ‫אנחנו גם יכולים לנהל אותה. ‫נכון, פרדוקסלית, ‫השיחות שכן מתקיימות, ‫הן שיחות לא פרודוקטיביות, ‫כי הכיתוב חל עליהן, ‫והשיחה שלא מספיק מתנהלת ‫היא השיחה שיכולה להיות פרודוקטיבית. כל הפרק הזה היה פשוט ניסיון לומר, אנחנו צריכים לדבר על זה. ויש לנו רק מה להרוויח מההתעוררות של מודעות לבעיה של AI. המהודות הזאת יכולה להציל אותנו? מבחינת הכיתוב הפוליטי, הבעיה של הכיתוב הפוליטי זה יכול לסייע להבריא אותנו? תחי זכור שמבחינת תיאודור הרצל, זה בכלל הייעוד שלנו.

עם הפרק הזה בעצם סיימנו סדרת פרקים שעסקה בהשפעה של AI על האנושיות שלנו ועל הפוליטיקה שלנו. אבל יש עוד נושא שהבינה המלאכותית מזמינה אותנו לדבר עליו, והוא הכי פחות מדובר. בפרקים הבאים והאחרונים של העונה, נמריא הכי גבוה שאפשר אל השאלות הפילוסופיות, התיאולוגיות והמטאפיזיות שעולות ממנה.

תודה לניר לייסט ולאור שמיר האוכים, למיכל עתיאס וליה לביטה להפקה ולניב הגודברג ולמתן חיים מצוות הדיגיטל. כל העונות הקודמות של מפלגת המחשבות זמינות ביישומוני העסקתים וגם באתר בית אביחי שם תוכלו למצוא תכנים מעולים נוספים.