Event Streaming - Будущее Big Data
Episode description
Что такое Event Streaming и почему это круто?
Андрей - Platform Owner в Райффайзен банк.
Он занимается разработкой платформы обработки данных в реальном времени.
Это очень технически сложное и интересное направление в IT. Подобные платформы позволяют делать приложения быстрыми для пользователей и безопасным с точки зрения компаний.
Мы обсудили как работает стриминг данных, какие у него преимущества, затронули тему обучения и поиска работы в подобных сервисах.
Андрей рассказал о выступлении на конференциях в Лондоне и Москве.
Получилось технически нагружено и интересно!
Андрей в LinkedIn
linkedin.com/in/andrey-serebryanskiy
Упомянутые в видео ресурсы :Книга о высоконагруженных приложениях
Designing Data-Intensive Applications - Martin Kleppmann:
2) github.com/ms2ag16/Books/blob/master/Designing Data-Intensive Applications - Martin Kleppmann.pdf
Курсы по JAVA от treehouse
teamtreehouse.com/library/topic:java
Тут Андрей изучал устройство оперативных систем:
Блог Confluent
Записи докладов с Kafka саммит в Лондоне:
confluent.io/events/kafka-summit-london-2023/
Конференция JPoint в Москве
jpoint.ru/persons/0c830299793245ee8f09b3ed3c2453c3/
Статья Confluent про использование ChatGPT с Event-streaming
confluent.io/blog/chatgpt-and-streaming-data-for-real-time-generative-ai
Таймкоды
00:00:00 Приветствие
00:00:06 Заставка
00:00:25 Об Андрее в Твит (почти)
00:00:33 Представление Гостя
00:01:41 Поясни за шмот
00:03:07 Как Андрей вошел в сферу IT
00:03:35 Первая работа и приложение
00:04:09 Вторая компания
00:04:36 Третья компания, Райффайзен Банк
00:05:02 Чем занимается отдел стриминга данных
00:07:02 Как учился Андрей
00:09:10 Как без опыта Андрей получал приглашение на работу
00:10:27 Чем Андрей занимался до IT
00:11:03 Сложно ли гуманитариям в IT
00:13:34 Почему обработка данных в моменте это сложно
00:15:38 Захват изменений: Change data capture
00:16:37 Message Broker в стриминге данных
00:18:10 Write ahead log
00:22:07 Что происходит при большой нагрузке на базу данных
00:23:35 Важно делать бэкапы!
00:24:22 Популярность стриминга данных в России и мире
00:25:41 Kafka Summit В Лондоне
00:27:20 Доклад Андрея https://videos.confluent.io/watch/KtJ3tf2H1TE9VPH3Pa8V8x?
00:27:38 jpoint.ru
00:28:55 Подготовка доклада и выступление
00:33:59 Event Streaming для не крупных компаний
00:35:45 Как зародился Стриминг Данных
00:38:38 batch processing VS event streaming
00:49:12 Выявление паттернов
00:51:24 Глубина обработки данных
00:52:36 Масштабируемость стриминг платформ
00:54:16 Есть ли сейчас проблемы с железом
00:55:37 Кто самый крутой в индустрии?
00:56:03 ChatGPT + event streaming
00:57:48 Типичные сложности новичков
01:00:03 Недостаток кадров
01:00:21 Рекомендация книги
01:08:58 Работа в команде разработки платформы
01:10:34 Что происходит в случае падения