Большие данные для - PROFIT Dayданных около 300 млрд...

Copyright © 2018, Oracle and/or its affiliates. All rights reserved. |

Большие данные для современного бизнеса

Юрий КоновСпециалист по облачным технологиямOracle Digital30 марта 2018

Что тебе нужно, кроме чуда?


Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

3


Темы

Большие Данные… сколько и зачем?

Что есть Большие данные?

Видение Oracle

Примеры

1

2

3

4

4


Темы

Большие Данные… сколько и зачем?



Примеры

1

2

3

4

5


Количество данных в мире

16,1

45

163

0

20

40

60

80

100

120

140

160

180

2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025

Об

ъем

дан

ны

х, Z

B

В 2016 году создано10,000,000,000,000,000,000байт ежедневно!10 EB (Exabyte)

Источник: “IDC Whitepaper: Data Age 2025”

7


Для чего нужны данные?• Персонализация клиентского опыта

• Привлечение и сохранение новых клиентов

• Повышение доходности клиента

Привлечение, рост и сохранение клиентов

• Повышение эффективности инфраструктуры

• Выявление и предотвращение мошенничества

• Безопасность

Оптимизация затрат и сокращение мошенничества

• Использование и анализ всех имеющихся данных

• Оптимизация аналитической работы

• Новые виды анализа

Глубокое понимание и анализ бизнеса

• Финансовая и операционная эффективность

• Оценка и управление рисками

• Соответствие требованиям регуляторов

Повышение эффективности и выполнение требований

• Продукты и услуги на основе данных

• Новые виды партнерства

• Быстрый ввод услуг и оценка эффекта

Создание новых моделей бизнеса

1

2

3

4

5


Идентификация объектов на видео

9

Мониторинг массовых мероприятий

… и для этого


На примере финансовой организации


«Сегодня углубленная аналитика применяется все чаще.Рост вычислительных мощностей, улучшенная инфраструктура данных, появление новых алгоритмов создали технические возможности, а с резким увеличением объемов данных их качественный детальный анализ превратился в средство обеспечения значительных конкурентных преимуществ.»

Джудит Гурвиц, Алан Ньюджент, Ферн Халпер, Марсия Кауфман «Просто о больших данных»

11

Ссылка на книгу

https://cdn.eksmo.ru/v2/ITD000000000723569/read/full


Темы

Большие Данные… зачем и сколько?



Примеры

1

2

3

4

12


Что такое Большие данные?

• Феномен, связанный с появлением технологических возможностей анализировать огромные массивы данных

• Множество технологий, порой конкурирующих

• Часть задач можно решать в обычных СУБД, но это может быть дороже

• Не всегда «неструктурированные данные»

Хранение HDFS, HBase, NoSQL, RDBMS, Object Store …

Обработка (движок) MapReduce, Tez, Hive, Pig, Spark, Storm, Impala, Mahout …

Потоковая обработка Spark Streaming, Kafka …

Доступ к данным SQL, BigData SQL, HUE, flume, Alluxio …

Управление YARN, Mesos, Ambari, Cloudera Manager …

13


Volume

Variety

Velocity

Variability

Volume (объем)

• к 2020 году ожидается 40 Зетабайт данных (40 триллионов ГБ)

Variety (разнообразие)

• СУБД, текст, аудио, видео, социальные сети, …

Velocity (скорость)

• цифровая цивилизация генерирует массу данных

Variability (непостоянство)

• неоднородность форматов, качество данных

14

Характеристики Больших данных


Big Data – другими словами

Данные, которых

много настолько

что:

• их дорого хранить и обрабатывать, используя традиционные технологии

• это отражается на производительности существующих систем

• это ограничивает возможности накопления данных для более расширенного анализа

15


Темы




Примеры

1

2

3

4

16


Общая архитектура работы с Большими данными

17

Информативные события

Data Lake Data Factory DataWarehouse

BI и отчетность

Лаборатория данных

Принятиерешений

Полезная информация

Потоковые данные

Исполнение

Инновации

Результаты исследования

События и данные

Корпоративные данные

Web & Social

Обработка событий


Лидерство на рынкеForrester Wave: Big Data Hadoop-Optimized Systems25 May 2016

Ссылка на отчетСсылка на отчет

Gartner: MQ for Data Management Solutions for Analytics13 February 2018

https://publicdocs-corp.documents.us2.oraclecloud.com/documents/link/LDDAAF3EEA2B3129FB9AC270F6C3FF17C1177E4725F3/fileview/DA86BF535BC99CE522AF9EF5F6C3FF17C1177E4725F3/_Forrester_report.pdf

https://www.gartner.com/doc/reprints?id=1-4O3NVDI&ct=180109&st=sb


5+ лет непрерывного технологического прогресса

• Big Data Appliance X2-2

• Big Data Connectors

On-Premise

• Big Data Appliance X7

• Big Data Connectors

• Big Data SQL

• Big Data Spatial and Graph

• ODI for Big Data

• Golden Gate for Big Data

Cloud

• Big Data

• Big Data Cloud

• Big Data SQL

• EventHub (Kafka)

• NoSQL

• Analytics Cloud

Март2018

Июнь2012

• Big Data Cloud@Customer

19


Big Data Appliance X7 Big Data Cloud Service Big Data Cloud@Customer

Вариант развертывания – на ваш выбор

Big Data Cloud Service в облаке Oracle

100% совместимость, одинаковые сервисы, одинаковые приложения

Big Data Cloud Service в частном облаке

20

On-Premises


Что включено?

Компонент Версия

Alluxio 1.3.0

Apache Ambari 2.4.2

Apache Hadoop 2.7.1

Apache Hive 1.2.1

Apache Pig 0.15.0

Apache Spark 1.6

Apache Spark 2.1

Apache Tez 0.7.0

Apache Zeppelin 0.7

Oracle R 2.5.1

Big Data Cloud Service: Event Hub Cloud Service:


Apache Kafka 0.10.2

Распределение ролей

Oracle:- Аппаратная инфраструктура- Развертывание ПО- Подготовка патчей

Вы:- Работа с данными- Разработка моделей анализа- Применение патчей

Database Cloud Service:


Oracle Database 11g

Oracle Database 12c R1, R2

Oracle Database 18c

Oracle NoSQL

MySQL

21


Преимущества Oracle Cloud ?

• Самое полное предложение на рынке:

Oracle Big Data Cloud Service

Oracle Analytics Cloud (включает Data Visualization)

Oracle Database Cloud Service

Oracle Event Hub Cloud Service

Oracle Internet of Things

…

• Масштабирование на лету

– Возможность начать «с малого», по мере роста взять ОЧЕНЬ много

• Конкурентные цены

22


Темы




Примеры

1

2

3

4

23


50%Увеличение продаж –

персонализированные предложения

“Внедрение решений Big Data поможет CaixaBank оставаться CaixaBank в авангарде инноваций финансового сектора.” – Juan-Maria Nin, CEO

Трансформация бизнеса

• Крупнейший банк в Испании

• Начали с развития CRM и обеспечения требований регуляторов

• Единый взгляд на все данные необходимые для бизнеса

• Обеспечение новых услуг

• Создание базы для будущих проектов

• Внедрена платформа Oracle Big Data

24Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |


ВТБ24

«Наша ИТ-стратегия опирается в том числе на трансформацию ИТ-инфраструктуры на базе

технологических инноваций. Интегрированный стек продуктов Oracle отвечает потребностям бизнеса банка, а выбор Oracle Big Data Appliance,

снижая общую стоимость хранения, дает не только экономию по стоимости владения

данными, но и открывает перспективы для их превращения в реально работающий актив.»

Сергей Русанов,член правления, директор департамента банковских и

информационных технологий банка ВТБ24

Пресс-релиз: ссылкаСтатья на TADVISER: ссылка

25

https://www.oracle.com/ru/corporate/pressrelease/vtb24-selects-oracle-bigdata-appliance-upgrade-data-warehouse-20160721.html

http://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82:%D0%92%D0%A2%D0%9124_(%D0%A6%D0%9E%D0%94%D1%8B)


Wargaming.net

История успеха на Oracle.com: ссылкаБлог на Oracle.com: ссылкаСтатья на TAdviser: ссылка

«В день мы накапливаем в наших системах хранения данных около 300 млрд телеметрических событий – и это только от World of Tanks на ПК. Добавить к этому поток данных от других игр и платформ – и становится понятно, какой океан информации захлестывает Wargaming.»

Крейг Фрайар (Craig Fryar), руководитель подразделения бизнес-аналитики компании Wargaming

26

https://www.oracle.com/customers/wargaming-1-bda.html

https://blogs.oracle.com/russia/oracle-wargaming:

http://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82:Wargaming_(Oracle_Big_Data_Appliance)

Большие данные для - PROFIT Dayданных около 300 млрд...

Documents

Transcript of Большие данные для - PROFIT Dayданных около 300 млрд...