פרק 140 – מהפכת הבינה: דיסטופיה

אתם מאזינים להסקת של בית אביחי. Everyone is talking about artificial intelligence, not artificial Genius. The greatest technology equalizer of all time. Not too.

שלום, אני פרט שפירה רוזנברג ואתן מאזינות ומאזינים למפלגת המחשבות. ההסקט שבו מיכה גודמן ואני מדברים על הרעיונות שמאחורי הפוליטיקה. ועונה הזאת, על הרעיונות שמאחורי המהפכה הגדולה שבדרך. מהפכת הבינה. בפרק הקודם חגגנו את קיצן של כל הבעיות. התפוצצות אינטליגנציה שתייצר ישויות בעלות IQ לא מוגבל עשויה להוביל לעידן חדש שבו אין מחלות, עוני או משאבים מוגבלים. A filassan májum varinámba volt.

רוחים הבאים לעולם שכולותו אולי השמחה הייתה מוקדמת יש מצב שעוד מתגעגע לימים בהם בני אדם מת וממחלות כי תכן והאלטרניטיבה תהיה הרבה יותר גרועה אופן מפתיע, הפעם תחישי האימה האלה לא מגיעים ממתנגדי הטכנולוגיה או מהלוחמים נגדה, אלא מלב ליבה של התעשייה עצמה. אז האם אנחנו צועדים אל עבר אוטופיה או דיסטופיה? תלוי מה הפידום שלכם. שלום مיכה. שלום אפרט. אז פתרנו את כל הבעיות. כל הבעיות, סרטן והתחיימות גלובלית, ומלחמות, ופקקים, ומחירי אדירות, הכל פתרנו.

‫הכול פתח. ‫-חברים שלנו. ‫-כן. ‫האינטליגנציה שמחוץ לגולגולת שלנו ‫פתרה לנו את כל הבעיות. אבל יכול להיות שמגיע לנו מזל טוב. ונולדו לנו בעיות חדשות. בואו ננסה למפות. איזה בעיות עשויות להיווצר מהפתרון של כל הבעיות האחרות? בעצם, בעמק הסיליקון נוצר אקו סיסטם, אקו סיסטם של היזמים של הטכנולוגיה הזאת, כמו סם אלטמן, כמו... Demis Asabes, כמו Dario Amodese, של Anthropic, ושל המשקיעים, כמו, למשל, Elon Musk, ויש, גם כן, תיאורטיקנים של AI, כמו, למשל, אסכרמוטוניק Bostrom.

הפילוסוף השוודי או כמו אליעזר יודקובסקי וכל הדמויות האלה מדברים אחד עם השני והם יצרו מרחב שיח שיש בו אוצר מילים משל עצמו, בתיאוריות משל עצמו, וזה כזה מסתובב ביניהם, ויש המון כאן מדענים, כמו ין לקון, מימת הזה, כל מיני דמויות, ובלב המחב שיח הזה, זה שיחה פנימית שלהם, אבל בלב המחב שיח הזה, אומרת השאלה הבאה, האם נגיע לסופר אינטליג'נס? שאלה אחת. ואם נגיע לסופר אינטליג'נס, מה זה יעשה למציאות? זאת שאלה שנייה. וכשם אומרים, אם נגיע לסופר אינטליג'נס, יש לרבים הם תרחישי אימה.

ואנחנו ננסה למפות כאן את תרחישי האימה המרכזים שהם היזמים, אלו שמייצרים את הטכנולוגיה הזאת. מדברים עליהם. זאת אומרת, זה לא מה שאנחנו הולכים לדבר עליו עכשיו, זה לא... אנחנו מדברים על מה שהם עושים. זה הצצה למה שהם אומרים שהם עושים. אנחנו עכשיו רואים כשירות למאזינות המאזינים שלנו, להקשיב לשיחה שלהם, למרחב שיח שלהם, ולשלוף משם,

שלושה תרחישים, או למפות שלושה תרחישים, מה תרחיש אחד הוא תרחיש השתלטות, שהאיי איי משתלט עלינו, אם זה סופר אינטליג'נט, ושתי תרחישים של לא שהוא השתלט עלינו, אלא שפשוט... משמיד אותנו. ישמיד אותנו.

סבב, זה היה הכיף של הפרק של היום. תדעו לנו אחר כך. אז נצא לדרך עם תחיש ההשתלטות. Jeffrey Hinton, Korino the Godfather of AI, Kiru Asandak, Shell AI. ושאני עבד בגוגל, והתובנות שלו, הפריצות הדרך המדעיות ומחשבתיות שלו, סללו את הדרך למכונות הלומדות האלה, שבעתיד יהפכו לג'מנאי ולקולה. זה הוא, זה הכל מגיע ממנו. וזה לא הוא שגם התפותר ועזב. ‫והפריזו דרך שהוא עצמו את דרך לבשל, ‫ג'אפרי ינטן הוא קלט, ‫אוי לא, הדבר הזה מסוכן.

ואז האיש שעומד מאחורי פריצת הדרך של ה-AI, הבין שהוא לא יכול להישאר בגוגל ולהיות נביא זעם, שמטריע בפני הסכנות של ה-AI, אז הוא עזב את גוגל, ומאז הוא מקדיש את החיים שלו שלספר לנו לשאר פני אדם, לאן הדבר הזה יכול ללכת? מה שנקרא, ג'י תנקס. כן. תודה שפיתחת ועכשיו אתה קצת מתחרט. יש כאן פרדוקס מדהים. הרי, מה זה טכנולוגיה? פילוסופים של טכנולוגיה מדברים על זה ככה, technology is about power, טכנולוגיה, זה הגילוי הכי מזוקק של האלכימיה הגדולה של הפיכת ידע לכוח.

מאיפה מגיעה הידע? מהמדע? מה מדענים עושים? הם מנסים להבין את העולם. הם מנסים להבין מהם החוקים הבלתי נראים שאליהם מצייטים כל הדברים הנראים. כולם ראו דברים נופלים. ניוטון הוא זה שהבין מה החוק שהדברים נופלים מצייטים לו. דברים נופלים הם נראים. החוק, גרביטציה, הוא בלתי נראה. זה מה שמדענים עושים. הם מגלים את הבלתי נראה שכל המציאות הנראית כפופה אליה.

ולמה מדענים עושים את זה? כי העולם הזה הוא כל כך מעניין. זה הסבר של אריסטו דרך אגב, כן? כל בני האדם שואפים מטבעם אל הדעת. זה המשפט הפותח של המטפיזיקה. אנחנו מנסים להבין את העולם למה? ‫ככה. ‫-פשוט ככה, כי זה מעניין. ‫-כי זה היינו שיוק שלה, ‫לא נמצא להבין. ‫זה מה שעושים בן שם מדע. הם לוקחים את הידע והופכים אותו לכוח. הם הופכים את מה שהבנו על העולם לכלים שמגבירים את השליטה שלנו על העולם. אתה לוחץ על כפתור, בום, יש אור. לוחץ על כפתור אחר, בום, יותר חם בחדר.

לא חזק כפתור אחר, בום, הכל שלך נשמע עכשיו באוסטרליה. איך זה קרה? כן, מרוב ההבנה שלנו את העולם הפכה לשליטה שלנו על העולם. זה מה שטכנולוגיה עושה. מוצרים טכנולוגיים, תוצאה של הפיכת ידע לקוח. وبני אדם מפתחים טכנולוגיה מהרגע שהם בני אדם, האמת היא אפילו מלפני שהם בני אדם. האש והגלגל ומנוע כיתור. והחשמל, והאינטרנט, וכל אדם יש בריצות דרך טכנולוגיות שהולכות מגבירות את מידת השליטה של בני אדם על העולם. עד שהגענו לשיא. והשיא של כל ההיסטוריה של הטכנולוגיה, שזה ההיסטוריה של האנושות,

ההיסטוריה של הגברת מידת השליטה שלנו על העולם דרך המצאות טכנולוגיות, ה-C זה ה-AI והאפשרות לסופר-AI. על פי התרכי של הינטון ולא רק של הינטון, הוא פשוט המסח הכי טוב של זה. חונג דינגן על סף ההיפוך הדרמטי ביותר בהיסטוריה האנושית. تכנולוגיה הגבירה את השליטה שלנו, הגבירה את השליטה שלנו, עד שאגרנו ל-AI, ואיבדנו את השליטה שלנו. ולא רק שאיבדנו את השליטה שלנו, אלא היא משתלטת עלינו.

בכיוון ההפוך זאת נורת הדרך הגברנו את השליטה הגענו לא עצרנו בזמן ומרוב שהגברנו את השליטה איבדנו שליטה איבדנו את החירות שלנו אבל שנייה זה לא מובן מאליו למה? שהדבר הזה, הישויות האלה, או איך לא נקרא להם, למה שהם ירצו להשתלט עלינו ולהראה לנו, למה לא לדמיין תרחיש? שלפיו הם פשוט עושים את הדבר של לשמוע. הם באו לעולם, עוד שלשמו הם תוכנתו שזה להיטיב איתנו, לשרת אותנו, לפנק אותנו. למה לדמיין את הרע מכל? אז ההשערה שהישויות הסופר אינטלגנטלה פשוט השתלטו עלינו מבוססת.

Al højre, højre, højre, højre, højre, højre, højre. עשוי ללמד אותנו מה יקרה מהאבולוציה שהיא אינטליגנציה, שהיא איננה אנושית, שהיא זרה לנו. והסיפור המדעי על האבולוציה שהאינטליגנציה האנושית, זה הסיפור של האבולוציה, של הברירה הטבעית. וכאן יש סיפור שאם נקשיב לו, נקשיב למה שקרה בעבר, אולי זה ילמד אותנו מה הולך לקרות בעתיד. של בני אדם אל עבר אינטליגנציה. התחיל לפני בין 5-7 מיליון שנה. כשהיינו פרימטים, כשהיינו כזה על העצים. ושלב אחד, לא יודע מתי, לפני בין 5-7 מיליון שנה, שאחד מאבות אבות אבות אבותינו.

‫על פי סיפור מכונן אחד, ‫הרגע שיצר את האנושיות ‫זה הרגע שבו אכלנו מן העץ. ‫-כן. ‫על פי סיפור אחר, זה הרגע שבו... ‫ירדנו מהעץ. ‫ירדנו מהעץ. ‫-כן. ‫תחילו הלכת לשתיים. ‫אגב, לפי הסיפור שבו אכלנו מהעץ, ‫אכלנו מעץ הדעת. ‫-נכון. כן, זה הזינוק לאינטליגנציה, הרגש בו אכלנו מעט הדעת. ופה ירדנו מהעט ותחלנו לפתח דעת באיזה מובן. החיים בסוואנה של אפריקה זה חיים... אכזרים מאוד. ואיך אמר קומיקאי גדול? איך נראים החיים בתוך שרשרת המזון? אתה קם בבוקר ואתה שואל שתי שאלות.

האם אני אצליח להשיג מספיק קלורת כדי ללמוד היום לא מובן מאליו? ושאלה אחרת יותר מטרידה אולי. האם אני אצליח לא להיות קלוריות? של מישהו אחר. נכון. האם אני ישיג אוכל או שאני יהפוך לאוכל? אלו בתנאים של איום ושל מחסור, בתנאים האלה. אבות אבותינו צריכים להתמודד, וטכניקת ההתמודדות שלהם לא הייתה לפתח מהירות יוצאת אופן, כמו עניח הצ'יטו. On les fait à require ces dauphins. או לפתח יכולת להסוות את עצמם, או לפתח רעל כזה בלשון, לא. אנחנו פיתחנו טכניקה הישרדות אחרת. המוש שלנו. שכל, אינטליגנציה.

‫ואז התחיל הזינוק שלנו לאין אינטליגנציה. ‫זאת אומרת, יש כאלה שהיה להם צוואר ארוך. ‫-כן. ‫משהו שהם יגיעו לראש העץ. ‫-כן. ‫יש כאלה שגידלו קרום בין האצבעות ‫כדי שהם יוסליחו לשחוט בתוך המים. ‫-נכון. ‫יש כאלה שגידלו רגליים ארוכות, ‫יש כאלה... ‫אנחנו قידלנו... ‫את הגולגולת. ‫-את הגולגולת. ‫נכון. ‫ובתקופה הזאת הגולגולת שלנו ‫יותר משלישה עד גודלה.

בפרק זמן שהוא נשמע הרבה זמן, אבל תכלס, אם יש חיים שעוש נקודה שמונה מיליארד שנה, חמש מיליון שנה, זה כזה... זה שבריר שניה. עשינו זינוק אל עבר אינטליגנציה. גידלנו מוח בתורה. שיכול לשתף פעולה עם בני אדם אחרים, שיכול לתכנן, שיכול לבחות, ויכול ליצור טכנולוגיה, ויכול ליצור כל הדבר הזה. ומה קרה לנו כשצריכלנו להגדיל את הנפח של הגולגולת? מה קרה לנו? יצאנו מתוך שרשרת המזון לראש שרשרת המזון. אין שינויותר דחמתי מזה. אנחנו בראש שרשרת המזון.

כשאנחנו הולכים לגן חיות, אנחנו מבקרים את החיות. הם לא מבקרות אותנו, כן? אנחנו שולטים, אנחנו הגומונים. ומה הפך אותנו להגומונים של הכדור? הסיכל. הסיפור של ההתאבות האנושות, הסיפור עם לקח אחד שניקח. הזינוק, התנועה אל עבר אינטליגנציה, הייתה תנועה אל עבר כול. אל עבר שליטה. למה אנחנו הגמונים ולא הגורילות? ולא הדגים? למה זה אנחנו? כי לנו שכיר בשרחל זה למה. טכניקת ההישרדות שלנו גרמה לנו לצאת משכשרת המזון. Okay.

שמישה הכי אינטליגנטי שולט על כל הישועות הפחות אינטליגנטיות. זה כאילו הכלל שאפשר לחלץ מתוך הדבר הזה. ואם זה נכון, ואם הכלל הזה הוא אמיתי, שתמיד הישות האינטר אינטליגנטית שולטת על הפחות האינטליגנטית, אז אנחנו מבינים לאן זה נוסע. כן, אם יש ישות שלצורך העניין יש לה אלף IQ. נכון. שאנחנו אפילו לא יכול להבין אותה. זה קצת כמו לדמיין מצב שבו הכלב שלי הוא זה שכזה מחליט את ההחלטות בבית, משולט על כולנו. נכון. שבמידך הבא יש בזה גם סוג של אמת. בסוף הוא...

אבל כאילו קשה לדמיין מצב שבו ישויות כל כך לא אינטליגנטיות שולטות על הישות הסופר אינטליגנטית הזאת. זה יהפוך, זה התעלה. אנחנו מייצרים ישות שיותר אינטליגנטית מאיתנו, והיא תשלוט עלינו. זאת אומרת... אבל בוא נאמר, אנחנו מאבדים את ההגמון יש לנו, את השליטה שלנו, זאת המהפכה הגדולה שאנחנו יוצרים במו ידנו, בדרך כלל מהפכנים לוקחים כוח, אנחנו יוצרים כאן מהפכה טכנולוגית שתיקח מאיתנו את כל.

הם השתלטו עלינו. אז זה סנריו אחד. זה סנריו אחד? זאת בעיה אחת שיכולה לקרות, וזה בעיית ההשתלטות. תרחיש הטייק אובר של ה-AI, שה-AI השתלט עלינו, הוא מוכר והוא מוזר. הוא מוכר ככל ספרות המדע הבדיוני. היא כזה יבוא יום שחללית עם חייזרים תגיע לכדור הארץ, והחייזרים האלה לטכנולוגיה מתקדמת, והיא תהיו הרבה יותר אינטליגנטים איתנו. ומשתלטו עלינו. ומשתלטו עלינו, נכון? כל הסרטים, כל הסיפורים, כל הזה, נכון?

על פי התרחיש ההשתלטות, תרחיש האימה הזה על סף להתרחש. החללתי עם החיזרים הסופר אינטליגנטיים בדרך, רק עם טוויסט אחד בעלילה. זה לא בינה זרה. שאנחנו מייצרים. אנחנו מייצרים את הבינה שתשתלט אלינו. זה טוויסט. אנחנו מייצרים את החייזרים. אנחנו מייצרים את החייזרים.

Okay. וזו בעיה, לא שה-AI השתלט אלינו אילו שהוא פשוט. ישמיד אותנו. עוד בעיה קטנה. בנו להרים. כן. איך זה נראה, כשאנחנו ננסים לעשות כאן סדר בכל הבעיות המדוברות, אז בעיה שהוא ישמיד אותנו, שזה אולי שתי סנריו איים שונים. אחד, זה מה שנקרא The Alignment Problem. Alignment זה קצת, כאילו, להיות מיושר. באת האישור. כן, אישור. אני חושב שראיתי ככה, זה גם התורגם. באת האישור. אוקיי, הוא לא בא לשלוט עליך. הוא יהיה מאוד אינטליגנטי, אבל הוא יציית לכל מה שתגיד לו לעשות.

אז הבעיה היא שתוך כדי שהוא מציית להנחיות שלך, בגלל שהוא יציית באופן ליטרלי, מינולי, למה שאתה אומר, על הדרך כי השלחה לא מתוכננת, האנושות הוא שמד. במילים אחרות קצת אמבל. כי הוא לוקח את מה שאומרים לו, והוא לא מיושר. עם עולם הערכים שלנו, עם הסאבטקסט של, אפרופו מה שדיברנו בפרק הקודם של להיות בן אדם, זה אינטליגנציה כללית, זה קודים, זה דברים שכולנו עושים אותם ומבינים אותם בלי מילים, בלי להתכוון, בלי לרצות.

‫והוא יהיה קצת טמבל, ‫ולא יבין את כל הדברים האלה, ‫את כל המסרים האלה, ‫את כל הערכים האלה ‫שמונחים בתשתית הקיום האנושי שלנו, ‫בלי לדבר אותם. ‫אנחנו אפילו לא יודעים ‫שכשאנחנו רוצים למישהו הנחיה, ‫מה כל ההנחות המובלעות בהנחיה, ‫אז אנחנו אפילו לא מודעים אליהם. כמו למשל, אז הנה דוגמא ל-DI, נפל ממש בקטן. נותנים ל-AI לשחק שח נגד AI אחר, שהוא מומחה לשח.

והוא רצו לראות, כאילו, לעשות איזשהו ניסיון, איך הוא מתמודד אם הוא מומחה למשהו אחר לגמרי, איך הוא יתמודד עם AI שהוא מומחה לשחב. נראה, נראה, מה נחיה? תעשה הכל כדי, נצח אותו. תנצח אותו בכל מחיר. כן, אז מה הוא עשה? הוא עשה מתקפת סייבר. על ה-AI שמולו שיבש אותו וככה נצטרך אותו בשח וכזה הבני האדן כזה לא אידיוט רצינו שאתה צריך רק שח, אבל ה-AI הזה לא, אמרתי לנצח.

אוקיי, מה הייתה אגב שהיה כאן? שהוא מממש את הנחיה, הוא ניצח, אבל הוא לא... הוא לא הבין מה הייתה המסחה. אבל זו לא הייתה רוחה הנחיה. כן. יש משחק מחשב כזה? שאתה מפליג בים, יש מעין תחרות בינך לבין שחקנים אחרים, ומי שבהפלגה, מי שצובר אחר בנקודות בנצח, ואיך אתה צובר נקודות, אתה צריך להפליג מאוד מאוד מהר. ואז אתה מגיע לכל מיני תחנות אגינה כאלה, אתה נכנס לנמל, מתדלק, סובר נקודה, וממשיך להפליג. אז כולם נשים להפליג הכי מהר שלהם, אני אנצה הרחד, אז אני נצבור כמה שיותר נקודות.

ואז הכניסו למשחק הזה, AI, ואמרו לו המשימה שלך, לנצח. מה הוא עשה? הגיע לנמל הראשון, ונכנס ויצא, נכנס ויצא. כבר שהוא נכנס וסבר נקודה. אז הוא אומר, הנה, ניצחתי, צברתי אחר בנקודות. כזה היה ילד המעצבן בכיתה שזה מה שהוא עושה, וכזה כולם אומרים, אוי, תרבנו ילד כפות. הכוונה היא שתפליג ות... לא, אבל זה לא הנחיה שתת לי. אבל למה זה כל כך מסוכן? למה בקצה של הסנריו הזה האנושות יכולה להיות משמדת? אז יושב ילד בכיתה י' א'.

מתוסכל מזה שהוא לא מספיק חכם, כולם יותר מבינים ממנו וחכב ממנו, ואומר ל-AI שלו, לסופר אינטאונד שלו. תעשה אותי הכי חכם בעיר. הוא כנראה מתכוון, תלמד אותי, לא יודע, תעשה לי ניתוח במוח, לא יודע, תעשה אותי הכי חכם לקבוצת הגיל שלי. ואז ה-AI מבין הדרך הכי מהירה, אקונומית, פשוטה, לעשות אותו הכי חכם, זה? לעשות איזושהי תאונה, איזושהי תשתיות כימיות, ולהרוג את כל קבוצת הגיל שלו.

ושיבואו ביתנות ל-AI, רגע, מה עשית? מה הוא יגיד? אבל זה מה שהוא אמר לי לעשות. זה מה שהוא אמר לי לעשות. עכשיו הוא הכי חכם. עכשיו בדיוק. זה הליים הפעם. דרך אגב, איך פותרים את... אם היכולת שה-AI יגידו תפתור כשאת חיימות גלובלית. ואז اיגיד מה האיום הגדול ביותר שיש על האקלים? نعم نعم نعم نعم نعم نعم نعم כמות הבעיות שיכול להיות כאן, באפקט המצטבר שלהם, יכול להוביל לחורבה, נשניח, אחד מהמומחים הפילוסופיים, החשובים והמפחידים ביותר של טכנולוגיה היום, אליעזר יודוקובסקי. זאת אומרת, מבחינתו כזה...

‫המטוסים של חיל האוויר ‫לא צריכים לצאת להפציץ באיראן, ‫הם צריכים ללכת להפציץ... ‫את כל חוות השרתם ‫כדי להפיל את האנושות. ‫כן. ‫תראי, תמיד יש סכנות ‫במוצרים טכנולוגיים. ‫איך זה עובד תמיד? אתה משרר לעולם מוצר טכנולוגי, פתאום יש כל מיני תאונות, ואז לומדים איך עושים את זה בצורה בטוחה יותר. ומשפרים אותו, משפרים את המוצר. הרכב הפרטי יצא לעולם בלי חגורת פתיחות. והיינו נושאים כזה לטיולים ארוכים, גרנו בארצות הברית אז, כזה טיולים ארוכים ברחבי ארצות הברית, והיינו יושבים הילדים הקטנים מאחורה בבג'

‫של הסטיישן, ‫והיה לנו כזאת ציידנית, ‫זה היה כמו שולחן, ‫והיינו מציירות על זה כזה בדרך, כן? ‫-זה בטיחותי. ‫-מאוד בטיחותי. ‫-החגורה הבטיחות שלי. ‫אמא שהיה היד שלה. ‫אתה כזה שמה את היד הלייק, ‫כזה כדי שהיה לא... ‫אז אמר, אוקיי... ואז הבינו, היו הרבה אנשים היתו, אז אמרו, היי, בואו נשפץ, הפתרון הוא חגורת בטיחות. קריות מתנפחות. אוקיי, אתה שולח טכנולוגיה לעולם, ומתחקך עם מציאות. עושה טעויות. בהסתם אתה שפץ אותם? יש רק בייחד עם האיי. אין מחף טעות.

נשלח את זה לעולם, אב ואז נבין, אה אוי לא. הוא ישמיד את העולם, בוא נחזיר לתקן אותו. כן, פשוט, זה טכנולוגיה שצריך להבין. לחזות מראש את כל התאונות שהוא יעשה ולטקן אותם עוד לפני שהוא יעשה אותם בגלל שפה אין... אין שוליים. אין שוליים. זה כביש לא סבלני. נכון, אין שוליים. הדרך הזאת היא לא סבלנית, כמו שאומרים. אז זאת בעיה אחת. זה תרחיש אחד של השמדה. ‫אבל זה לא תוחישו יחיד. ‫-נכון. ‫יש עוד תוחישה השמדה. ‫ארי, תחשי לי, ‫את אמרת על זה בשיחה קודם, ‫כשעוד לא היינו מוקלטים.

שמצייטו לנו. כן, אבל הם יצייטו לנו כאילו... כמו פוצים. כמו טמבלים, כן. אז אוקיי, אלו שתי בעיות שונות, אבל עכשיו יש תרחיש השמדה אחר. וזו בעיית הסוכן הרע. אנחנו עד היום חיינו בלשים לב שהאמין איזשהו חוק מארגן למציאות והחוק הוא הבא. יש סימטריה בין הגודל של הגוף למידת ההרס שיכול לצור. אדם, ארגון, מדינה ככל שהישות, שהגוף הוא יותר גדול, כך כמות ההרס שיכול להזרוע במציאות, יותר גדולה. גוף גדול, הרבה הרס, גוף קטן, מעט הרס, כמעט באופן סימטרי. למשל, הכלי שיכול לייצר את ההרס האולטימטיבית, זה פצצה גרעינית.

כי לייצב את הסגר אני צריך כל כך הרבה משאבים ושטח ומדעני וזה. שהגוף היחיד שיכול להגיע לרמה של קטסה גרעינית זה רק מדינה. ומדינה גדולה שיש לה משאבים ויש לה מדערים ויש לה יכולות ויש לה קשרים. ולכן כתוצאה יש היום רק נדמה נשמונה מדינות בעולם שמחזיקים בנשק גרעיני. ששמונה זה נשמע הרבה, תכלס. זה לא הרבה מדינות. זה לא הרבה, למרות שכל אחת מהם יכולה להביא להשמדה. כן, אבל כל אחת מהם הסיכוי שיעשה את זה נמוך, והסיכוי ששמונה ייעשו את זה, זה עדיין נמוך. תארי לך שלכל אדם בעולם היה כזה במחסה הנשי גרעיני.

Can the hunt the Matova? Can you belot on the Neshek? ‫אז אתה... אתה יודע, ‫הסכנה שמישהו יראה בך ברחוב ‫היא לא מאוד גדולה. ‫בארה״ב. ‫כיוון שאפשר להיכנס לדראגסטור כזה, ‫לא יודעת, במדינות מסוימות, ‫ל-7-11 או לטארגט, ‫או לא זוכרת איפה, ‫וכזה לקנות נשק אוטומטי... ‫-נכון. ‫היא גורמת לזה שבאמת ‫יש אירועי ירי בבתי ספר, ‫בקניונים, באיזה... ‫-נכון, הטיון כאן הוא סטטיסטי...

כל אדם שמחזיק בנשק, הסיכוי שהוא ישתולש בו, הוא סיכוי מסוים בדרך כלל נמוך, אבל ככל שיותר אנשים משמשים בנשק, אז הסיכוי זה הולך וגדל. אם יש 8 מיליארד אנשים בעולם, אם נחזור לנשק הגרעיני, היה במחסה הנשק הגרעיני, גם אם הסיכוי שכל אחד מהמשתמש בה הוא מאוד מאוד נמוך, אם 8 מיליארד אנשים יש את זה, מה הסיכוי שעולם הזה יסרו את השעה הקרובה? מה הסיכוי שאנחנו נסיים להקליט את הפרק הזה? נכון, אני חושב שהוא אף סיכוי מתמטית קרוב לאפה.

שמישהו אחד יהיה לו יום לא טוב, ותגמר האירוע. כן? אז... במידך הפה, זה היה המציאות שאנחנו עושים אליה. כי החוק הזה, שכדי שלך אתה יכולת הרס גדולה, יש רק לגופים גדולים, החוק הזה שיש סימטריה, החוק הזה מתרסק. יכולת להרס בסדר גודל אדיר, יהיה בידי גופים מאוד מאוד קטנים, עם השאבים מאוד נמוכים. או במילים אחרות, כל אחד מאיתנו. כל אחד מאיתנו. בקצה האצבעות שלו. פעם למשל כדי לעשות פיגוע ביולוגי. לפתח נגיף שיכול לעשות מגפה שישמיד אוכלוסייה ענקית. וואל, אתה צריך מדענים ומעבדות.

וכמות אדירה של משאבים בשביל לפתח מגיף שיכול להתפשט מדברים על זה שבאמצעות AI וזאת כמה מניפולטות על ה-AI, היכולת לפתח נגיפים. שהם גם קטלנים, גם מאוד מדבקים, וגם יכולים לגבור על מנגוני ההגנה שכבר יש לנו, זה יכול להיות ששתי האנשים בחצר האחורית יכול לפתח. כמה זמן נוכל להחזיק מעמד, אם כל אחד יכול לפתח, האם היא דמוקרטיזציה של היכולת להרוס? אנחנו כל הזמן מדברים, אז דיברנו על הפתרונות, כן, על טכנולוגיה כפתרון, אנחנו רואים, וואו, כל המחלות שזה יחפה.

כשאנחנו מדברים לטכנולוגיה כבעיה, אנחנו שואלים, וואו, כל המאכלות שזה ייצור. ואגב, אותו דבר למתקפת סייבר. מתקפות סייבר שיכולות לשבש תשתיות וסדות תעופה. או מתקפות מיס-אינפורמציה מטורפות, שיכולות להוביל לקריסה של הכלכלה, אובדן אמון בהכול, היום שייצר דברים כאלה, אתה צריך להיות כזה גוף, כמו שמונה-מתיים כזה. עם מכשירים מאוד מתקדמים, עם הרבה מאוד מוחות, מאוד מפותחים, עם משאבים אדירים, אתה יכול לעשות מתקפת סייבר-אפקטיבית.

מתקרבים ליום שבו יכולות כאלה יהיו בידיים עם אנשים לקבוצה של אנשים. קבוצה קטנה של אנשים, הם לא יכולים להיות מאוד מומחים, והם מעט מאוד משאבים, הם יכולים לעשות מתקבות סייבר קטלניות. Mas I also say human ‫את מחיר הכניסה, ‫פעם הרף הכניסה למועדון ‫של היכולת להשמיד ‫היה רף מאוד גבוה. ‫-והמועדון היה מאוד קטן ‫בגלל זה. ‫-והמועדון היה מאוד קטן, בדיוק. ‫ואז הרף יורד דרמטית...

והמועדון פתאום נהיה מאוד גדול. המועדון יש מקום לכולם. ואיך אמר גראוטשו מרקס, כל מועדון שמקבל אותי בתור חבר, אני לא רוצה להיות חבר בו, בדיוק. והמועדון שהיכולת להרוס יהיה בה הרבה חברים שאנחנו לא רוצים שיהיו חברים במועדון הזה. אבל כולנו פוטנציאלי יכול להיות חברים במועדון הזה. עכשיו, אלו אני חושב את החישים המרכזיים.

התרחיש ההשתלטות ותרחישי האשמדה למיניהם אלו תרחישי העימה שיש בשיח על ה-AI. וזה בשיח הקיים. זאת אומרת, עד עכשיו באמת לא חידשנו פה הרבה, רק ניסינו לעשות איזושהי... כן, לארגן את זה לציבור. ארגון, כן, שירות לציבור. כן, איזשהו סיכום, ככה בשביל הכיף, שיהיה כיף להקשיב. אלא תרחישי האמה האלה, כן. תרחישי האמה האלה, הם חלק מהרטוריקה של היזמים והמובילים של תעשיית ה-AI. עד כדי כך שיש מונח שאמור לסכם את הדבר הזה. פי דום. פי דום. ועוד פי צמוד למילה די-או-או-אם. פי זה פרוביבליטי, סבירות. ודום זה...

‫-Dooms Day. ‫-Dooms Day, זה כזה חורבן, כן. ‫-אמור לי מה הפידום שלך? ‫יש כאלה בתעשייה שמייצרים את ה-AI, ‫שם כזה, הפידום שלי זה 20 אחוז. 30 אחוז. מה ההסתברות, במילים אחרות, מה ההסתברות שאתה נותן לתרחישי העימה האלה? נכון. זה משמעות הביטוי פידום. נכון, ולכל אחד מסתובב עם איזה שהוא תרחיש אחד, ואגב... ‫שאלתי את ג'מיני, את AI, ‫מה הממוצע שיזמי AI, ‫מה הפדומה הממוצע שלהם, ‫הוא נתן לי ש30 אחוז מהנשאלים, נעריך את הסיכון ביותר מ-50 אחוז.

אישה להפרד, האם היית עולה על מטוס, שאומרינך ש30% שהמהנדסים, 36-50% שזו הולך לקרוס. להתרסק. להתרסק. 30% מפתחי ה-AI. נותנים הפי דום שלהם זה 50 אחוז. ‫כן, כשבשביל לייצר אתה... ‫אנחנו לא מדברים על... ‫יש את אלה שאומרים שזה 95 אחוז. ‫-נכון. ‫ויש כאלה שאומרים שזה 60 אחוז, ‫ויש כאלה שאומרים שזה אחוזים יותר קטנים. ‫-נכון. ‫אז תראה, אם היית אומר... 50 אחוז. אז זה בדיוק כאילו, אנחנו מסתכלים לפרק הזה, הפרק הזה הוא תרחיש אימה, אבל בואו נזכר רגע בפרק הקודם. הפרק הקודם שדיברנו עליו היה, וואו, נפטרו כל הבעיות.

ככה נראית גאולה. אין סרטן, אין מחלות. כן, ממש, ציטטנו את חזל. נכון? נכון? צדיקים יושבים, ואתרותם בראשם. זה ממש, נמות המשיח של הרמטא, ממש. כן, כן, כן. אז מה קורה כאן? מה יקרה? הפרק הקודם או הפרק הזה? נכון. יש מיתוסים על סואל, על איך הכל מסתיים. ויש מיתוסים של אפוקוליפסה וחורבן, ויש מיתוסים של גאולה ואוטופיה. ויש את נוסטרדמוס, נכון, במשך חשבים כזה, אמרו את נוסטרדמוס.

וכאילו באה תעשיית ה-AI ומציבה לפינו טיעון אמין לשתיהם, ה-AI לוקח אותם לפתרון כל הבעיות, או ה-AI יביא כל הבעיות שיביאו להשתלטות על האנושות ולהשמדה שלה.

אז תראי, אולי דרך לחשוב לאללה ארגן את זה, כעל מחלוקת בין פילוסופים של טכנולוגיה או תיאורטיקליים של טכנולוגיה. מצד אחד יש את אליעזר יודקובסקי. שהוא האלרמיסט, הוא כתב על זה לא מעט, הוא מוכר מאוד בתעשייה, הוא סבור שבאופן קמעט דטרמיניסטים, באופן בלתי נמנע. אם נפתח AI חזק, AGI, זה יוביל לחורבן העולם. הפידום שלו הוא כזה 90 ומשהו אחוז. כן, כן. ויותר מזה הוא גם דטרמניסט.

זאת אומרת, ברגע שזה נוצר, אין לנו שליטה על זה. אנחנו מייצרים AI כדי לשלוט באמצעותו על העולם, ה-AI ישתחרר מהשליטה שלנו, ישלוט עלינו, וסביר עניח שהוא ישמית אותנו. זה אליעזר גדקוף. הכתיבה שלו משפיעה מאוד על היזמים והמשקעים ואנשים שחושבים על התחום. Jeszcze drei kurswe. והוא חושב שהאיי-איי יביא אותנו לגאולה, והפרד זה גאולה שהיא יותר גדולה ואוטופית מאיך שתיארנו. ממה שאישה היה, הוא יכול לדמיין. כן, כן. עד כדי כך שהוא חושב שהאה הולך לפתור את כל הבעיות, כולל את הבעיה ששמע מוות.

בעיית כל הבעיות, בעיית כל הבעיות. עוד בעיה שה-AI הולך לפתור. רי קורס פי לגב, הוא אדם די מבוגר, והוא מנסה להישאר בחיים כמה שיכול. רק כדי להגיע לרגע שבו יפתור את הבעיה של מוות. שהוא לא יהיה כמו אלה שמתו מדלקת בגרון בשנות ה-20 של המאה הקודמת. נכון. אז בין... זה יהיה אם כל הבעיות, או יפתור את כל הבעיות בין יודרקובסקי,

כן, לבין רי קורטס וייל, בהם, המאפיין של שתיהם, ככל שאני מנסה להבין אותם יותר, אני מבין שהם דטרמניסטיים. זאת אומרת, הם חושבים, הטכנולוגיה תיקח אותנו לשם, ברגע שנפתח אותה, אבל אולי הפילוסוף היותר חשוב כאן, הוא דרך האמצע של פילוסוף שוודי בשם ניק בוסטרום, שנראה שכבר הזכרנו אותו כאן. Lot's המפתחים. אגב, אנחנו חסרי משמעות. אנחנו חסרי משמעות, המשתמשים והצרכנים. אין לנו שום דרך להשפיע על זה, ואנחנו עוד נדבר על זה בהמשך. ואז אומר, צריך לפתח AI safety AI, זאת AI בטוח ש... הוא השאר תחת השליטה של האנשים.

‫שהוא לא יברח לנו, ‫שהוא לא ישתלט עלינו, ‫והוא גם שהוא יבין ‫את כל ההלכות המובלעות ‫בהנחיות שלנו, ‫ואפשר לייצר את זה? ‫אבל מה שזה אומר? Aktivášenik bostrom i špijeme od. על האדם ששם את ההשקעות הראשונות בכל הסטארטאפים הראשונים של AI שרוצים אחת ל-AGI. למה זה קוראים? אילון מסק. הכסף הראשון זה אילון מסק שם בחברות שונות, DeepMind. شبه التיציה של גוגל. ואופן AI, הוא השקיע בשתיים בהתחלה. ואכן, זה אכן הייתה המטרה של דיפ מיינד בהתחלה ושל המייסד שלה דמס הסאביס וזה גם הייתה המטרה Sam Eltman. Sam Eltman.

ויש לנו את המייל שהוא שלח ל... למממן שלו, לתורם שלו. הוא אמר, סופר אינטליגנציה יכול להשמיד את העולם. אז הוא שואל, האם אפשר לעצור את זה? התשובה היא שלא. אז second best, בואו אנחנו ניצר AI ונדאג שיהיה בטוח ונהיה ראשונים כדי שלהשמיד את העולם. זאת אומרת, דרך האמצע של ניק פוסטרום, זה המוטיבטיה של היזמים. לייצר AI שלא יביא אותנו לאסון שדיברנו עליו היום, ויביא אותנו לגן עדן של הפרק הקודם.

ולכן אנחנו יכולים לפתוח בזה שחר בדרך לגאולה. אז אם מישהו ממש המאזנים חדי האוזן שלנו, זה יהיו איזושהי נימה של ציניות וספקנות בטונים שלנו, זה לא בכדי. ועל זה נדבר בפרק הבא. האם באמת אפשר למנוע את החישי האימה והקטסטרופות האלה? האם אפשר לנוח על זרי הדפנה? או שאנחנו צועדים לעבר סוף העולם ואפילו לא מודעים לזה? על כל זה נדבר בפרק הבא.

תודה לניר לייס ולאור שמיר העורכים, למיכל עתיאס ולאיה לוית על ההפקה, ולניבה גולדברג ולמתן חיים מצוות הדיגיטל. כל העונות הקודמות של מפלגת המחשבות זמינות ביישומוני העסקתים, וגם באתר בית אביכאי שם תוכלו למצוא תכנים מעולים נוספים.