Хостинг на valuehost.ru. Домен в подарок!
Создание адаптивных продающих сайтов на Wordpress от 5,5 т.р. за 1 день

Big Data - "новое золото" телекома

Big Data - "новое золото" телекомаBig Data - "новое золото" телекома

С 23 по 25 ноября в Казани проходило масштабное международное ИТ-мероприятие - KAZAN STARTUP WEEKEND 5.0.

На площадке IT-парка вот уже в пятый раз собрались ИТ-специалисты и молодые предприниматели сферы digital, представители российских и зарубежных технопарков и бизнес-инкубаторов, маркетологи и пиарщики, студенты профильных специальностей и представители НКО, работающие с цифровыми технологиями – всего около 2000 человек из разных городов России, а также из стран бывшего СНГ, Америки, Франции и Великобритании.

Общая тема мероприятия – «На пути к сингулярности». Участники обсуждали технологии, меняющие мир, делились прогнозами, как будет развиваться телеком, банковская, медицинская, природоохранная, благотворительная и иные сферы в условиях новой экономической концепции прорывных технологий. В этом году мне довелось впервые побывать на мероприятии, послушать доклады спикеров по актуальнейшей теме Big Data, задать им в кулуарах несколько интересующих меня вопросов, а также пообщаться с участниками и представителями прессы Поволжья.

Перед началом обсуждения темы использования Big Data мне удалось немного пообщаться с юными участниками KAZAN STARTUP WEEKEND 5.0. Двое учеников казанского ИТ-лицея (парень и девушка) демонстрировали в фойе ИТ-парка всем интересующимся свою разработку в области робототехники, занявшую на всероссийском конкурсе по робототехнике второе место. Сложная конструкция из металла и пластика, управляемая двумя контроллерами (Lego и Arduino), осуществляла выборку и перестановку разноцветных кубиков. По словам разработчиков, эта система может быть полезной, например, для сортировки почтовых отправлений. Искренне удивили сложность работы и уровень знаний юных робототехников. Можно было только порадоваться за талантливую молодежь, начиная со школьной скамьи обладающую необъятными возможностями по изучению новейших информационных технологий и получения в итоге востребованных на рынке ИТ-профессий. Кстати, в фойе было много других интересных стендов, таких как, например, 3D-мышь для виртуальной реальности. Однако мы отправились в «зону сингулярности», чтобы послушать об использовании Big Data в различных отраслях.

О возможностях Big Data в телекоме и о роли больших данных в развитии инфраструктуры городов рассказал старший менеджер по исследованию Big Data Tele2 Артем Климов. Уникальная абонентская база оператора связи (более 40 миллионов абонентов) в 65 регионах России дает широкое поле для измерений и анализа. Петабайты накопленных данных и специальные системы их обработки позволяют строить аналитические модели. Обезличенные данные, сохраняемые для анализа оператором связи, включают в себя информацию о присутствии абонента в зоне действия базовой станции, модели телефона, данные о длительности звонков, data-сессий, регистрационные данные (пол, возраст), выезды в другие регионы или за рубеж...

В результате у оператора связи накапливаются большие массивы обезличенных (не содержащих привязку к конкретным лицам) данных, благодаря которым специалисты по анализу Big Data могут оценить социально-демографический портрет пользователей, уровень дохода, понять, где сегменты абонентов живут, работают и проводят выходные, по каким маршрутам и на чем они передвигаются, куда и как часто путешествуют, какими приложениями пользуются, как часто выходят в интернет.

В дополнение к более чем 3000 типов объектов, доступных из открытых данных, анализ Big Data оператором связи дает новые возможности для развития городской инфраструктуры.

В частности, это анализ пассажиропотока и планирование движения действующего общественного транспорта, запуск новых маршрутов исходя из текущих потребностей жителей города/агломерации, выявление мест наиболее плотного трафика в определенный период времени, анализ среднего профиля посетителей территорий, туристических курортов, крупных мероприятий. Например, анализ больших данных операторов связи позволил узнать, в каких районах Санкт-Петербурга преимущественно жили иностранные гости FIFA-2018. Другой приведенный в докладе пример успешного использования анализа Big Data — анализ концентрации туристов в Краснодарском крае по загруженности базовых станций. Благодаря этому исследованию стало возможным сделать выводы о том, где целесообразно открывать отели, кафе, объекты туристической инфраструктуры.

Естественно, в первую очередь мобильный оператор использует аналитику больших данных для развития собственной компании. Как рассказал Артем Климов, благодаря технологии анализа Big Data специалисты Tele2 смогли построить оптимальный маршрут для обслуживания объектов связи в регионах с учетом времени на дорогу, расхода бензина, количества человеко-часов на обслуживание. В результате экономия составила 15%. Также по результатам исследования Big Data оператор открывает новые салоны связи в регионах, оценив маршруты абонентов и организуя точки продаж и обслуживания там, где абонентам удобно в них прийти.

Что касается внешних заказчиков анализа больших данных, их основная масса располагается в Москве и Санкт-Петербурге. И хотя возможности у Big Data огромны, пользуются ими пока немногие, отметил Артем Климов. Завершая обзор реальных примеров практического применения анализа больших данных, спикер образно назвал потенциальные возможности использования Big Data «новым золотом» телекома.

Артем Климов рассказал аудитории и об инструментарии анализа BIG DATA. Поскольку обычно большие данные располагаются на множестве физических носителей, для первичного доступа к ним используется специальное программное обеспечение — Hadoop. Это проект фонда Apache Software Foundation - свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов (https://ru.wikipedia.org/wiki/Hadoop). Помимо утилит, Hadoop включает в себя распределенную файловую систему HDFS, а также Hadoop MapReduce - платформу программирования и выполнения распределённых MapReduce-вычислений.

Также для работы с большими данными используется Apache Spark — фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop (см. https://ru.wikipedia.org/wiki/Apache_Spark). Apache Spark предоставляет программные интерфейсы для языков Java, Scala, Python, R. В настоящее время для анализа и построения моделей Big Data после первичной выборки и сжатия с помощью Hadoop+ Spark применяются языки Python и R.

Не секрет, что специальность Big Data scientist сегодня находится на вершине пирамиды ИТ-профессий как по востребованности, так и по зарплате. Поэтому сейчас в интернете, как грибы после дождя, расплодились онлайн-курсы, обещающие за разные деньги сделать вас «с нуля» специалистом по Big Data и даже трудоустроить в престижной ИТ-компании.

Естественно, мы спросили эксперта Tele2 по Big Data, как можно стать действительно востребованным специалистом по большим данным. Ответ прост — после прохождения любого из базовых онлайн-курсов по Big Data необходимо устроиться рядовым аналитиком в какую-нибудь компанию, найти там наставника и решать как можно больше практических задач по анализу данных, пусть сперва и не очень больших, рассказал Артем Климов.

В чем же особенность профессии data scientist, делающая ее столь востребованной и высоко оплачиваемой? Кроме хороших навыков программирования, знания математического аппарата (в первую очередь, математической статистики и теории вероятности), а также особенностей области исследований (чаще всего это банковская сфера либо мобильная связь), специалист по работе с большими данными должен обладать определенным складом ума. В отличие от типичного программиста, которому обычно ставится техзадание, по которому он спокойно работает, data scientist должен быть готов к самостоятельным исследованиям, проверкам множества моделей и гипотез, большинство из которых могут оказаться ложными. Это большая нагрузка на мозг и нервную систему. Поэтому стать профессионалом в этой «хайповой» ИТ-области дано далеко не каждому, отметил Артем Климов, и специалистов в этой сфере - дефицит.

Фото и текст: Эд Важоров, cheboksary.ru

Полный фотоотчет

Теги:Теги: Tele2 Big Data KAZAN STARTUP WEEKEND