BigQuery – це компонент хмарного сховища даних Google Cloud Platform. Хмарні сховища даних надають переваги для обробки великих наборів даних порівняно з локальними серверами. Вони дозволяють отримувати доступ до даних у режимі реального часу, забезпечуючи швидший аналіз для маркетологів і аналітиків. Збільшення для збільшення простору для зберігання також є простим і економічно ефективним.
Я рекомендую використовувати BigQuery під час роботи з даними Google Analytics (GA). BigQuery допомагає по-новому поєднувати, обчислювати та аналізувати цифрові показники, що у свою чергу надає більш повну картину взаємодій котрі ведуть до потрібних результатів.
Імпорт даних Google Analytics у BigQuery
BigQuery — це, мабуть, найефективніша платформа для допомоги в аналізі даних. Він поєднує те, що аналітики знають і люблять в Google Analytics 4 із потужністю та гнучкістю потокової аналітичної платформи на основі подій(евентів). Усі облікові записи Google Analytics 4, які використовують найновіший тип властивості, можуть інтегруватися з BigQuery. Команди обробки даних отримують перевірену модель даних Google Analytics із можливістю розбити її на атомарний рівень і створити щось нове, лише трохи знаючи SQL.
Крім того, ця золота копальня, заснована на зверненнях, розташована на хмарній інфраструктурі Google Cloud Platform, корпоративної хмарної обчислювальної платформи з безліччю додатків від хостингу до машинного навчання. Подумайте про BigQuery як про один магазин у цілому торговому центрі можливостей. Після того, як дані компанії імпортовані, їх легко перенести через зал і зробити прогнозне моделювання або поділитися ними з CRM.
Інтеграція Google Analytics із BigQuery виконує три основні цілі:
- Запит необроблених даних Google Analytics;
- З’єднання з іншими даними першої сторони;
- Експорт даних для візуалізації.
Кожна функція створена на основі попередньої, і кожна функція ще більше розширює всі можливості Google Analytics.
Підключення до додаткових джерел даних
Дані Google Analytics – це лише частина екосистеми цифрового маркетингу. Оскільки BigQuery є повноцінним сховищем даних, організації можуть зберігати дані зі своєї CRM, комерційної платформи, Display & Video 360, Google Ads, сторонніх рекламних платформ, Facebook, YouTube тощо. Це відкриває можливість виконувати потужний аналіз і прогнозну аналітику бізнес-даних.
Оскільки стек маркетингових технологій стає все складнішим, ми можемо розглядати BigQuery як центр для цих даних. Що ще важливіше, його можна спроектувати для максимального підключення. Незалежно від того, чи здійснюють компанії дані, BigQuery пропонує такі можливості:
- Об’єднайте дані GA та CRM, щоб зрозуміти джерела трафіку, пов’язані з кваліфікованими потенційними клієнтами.
- Додайте дані про витрати для різних рекламних каналів, щоб зрозуміти загальну вартість на одного користувача.
- Імпортуйте дані внутрішньої торгівлі для чіткішого уявлення про ефективність продукту.
- Підключіть GA та відстеження інших постачальників на рівні сторінки для перевірки точності.
Об’єднання даних CRM
Приєднання даних CRM до Google Analytics є, мабуть, найпоширенішим випадком використання даних у BigQuery. Аналітики можуть налаштувати свій веб-сайт на передачу ідентифікатора клієнта Google Analytics (CID) у свою CRM під час створення запису клієнта. Цей ідентифікатор є унікальним для кожного відвідувача веб-сайту. Коли ідентифікатор клієнта знаходиться в CRM, його можна експортувати в BigQuery. Ідентифікатор клієнта можна використовувати як «ключ» від одного джерела даних до іншого. Результатом є інформація про клієнтів разом із веб-аналітикою та маркетинговими даними в BigQuery. Наскрізна ідентифікація такого роду дає можливість бачити клієнта більш точно розраховувати його потреби та формувати офери на основі його бажань котрі йдуть з аналізу
Все це дуже важливо, оскільки BigQuery дозволяє аналітикам імпортувати особисту інформацію (personally identifiable information або PII) у BigQuery, що неможливо в інтерфейсі Google Analytics. Хочете зрозуміти, як найпопулярніші клієнти вперше знайшли веб-сайт вашої організації? Після інтеграції наборів даних аналітики можуть написати запит BigQuery, щоб створити звіт про те, які маркетингові джерела створили яких клієнтів, поєднуючи дані з CRM з інформацією про поведінку та залучення з Google Analytics. Це також допоможе вашим аналітикам отримати краще уявлення про справжню життєву цінність клієнта (Customer Lifetime Value або CLV).
Експортуйте дані BigQuery до системи на вибір вашої організації
Можливо, частіше організації можуть експортувати дані з BigQuery в іншу систему. BigQuery має власний API , який допомагає пояснити цей процес. За допомогою вищезгаданого імпорту ідентифікатора клієнта ми можемо надсилати дані з BigQuery в будь-яке сховище даних, яке приймає імпорт CSV. Наприклад, ми можемо захотіти підсумувати веб-поведінку кожного клієнта в Salesforce. Ми могли легко отримати вихідну інформацію про джерело/носій із BigQuery та експортувати її до Salesforce.
Окрім необроблених даних, залучення зовнішніх даних може допомогти в одному з найцінніших застосувань BigQuery – створенні аудиторії. Після детального наукового проекту з даних ми можемо визначити аудиторію чи «персону» в BigQuery, яку ми хотіли б охопити. Підключіться до зовнішніх даних, щоб або надати командам більше інформації для створення сегментів аудиторії, або допомогти нам взяти ці аудиторії та активувати їх за межами BigQuery.
Запит необроблених даних
BigQuery — це база даних, розміщена в хмарі. Після підключення до Google Analytics дані Analytics експортуються звернення за зверненням у BigQuery для запитів, як і база даних SQL. Дані, які надходять у BigQuery, є необробленими даними на рівні звернення.
Для порівняння, в інтерфейсі Google Analytics дані, з якими працюють аналітики, базуються на сеансах і зведені. Це добре для вирішення простих маркетингових питань. Наприклад, у Google Analytics легко підрахувати кількість сеансів, які прийшли з мобільного пристрою. Але підрахувати кількість подій відтворення відео конкретним користувачем протягом кількох сеансів було б набагато складніше відповісти.
Інтерфейс Google Analytics відносно простий у використанні та містить ряд інструментів, які полегшують виконання аналізу на льоту. Для того, щоб інтерфейс був якомога швидшим, існують певні обмеження щодо способів доступу аналітиків до даних і можливостей налаштування інтерфейсу.
Ось де BigQuery сяє. Аналітики використовують ті самі основні дані, що й Google Analytics, але не мають тих самих обмежень.
Давайте розглянемо деякі з основних обмежень даних, які BigQuery допомагає організаціям подолати.
Вибірка, яка вибірка?
Одним із найбільш помітних обмежень в інтерфейсі Google Analytics 4 є вибірка, яка спрацьовує під час створення складного чи спеціального звіту або вибору великого діапазону дат. Коли це відбувається, Google екстраполює дані, підраховуючи лише деякі точки даних і моделюючи решту. У результаті дані в деяких випадках є лише наближеними.
Завдяки потужності петабайтної хмарної бази даних вам не потрібно турбуватися про вибірку. Кожне звернення щодня надсилається в BigQuery та доступне для запитів, часто повертаючи результати за лічені секунди.
Зосередження на користувачах, а не на сеансах
Google Analytics 4 та інші інструменти аналітики на основі подій применшують концепцію сеансу, щоб показати різні погляди на атрибуцію, важливо знати, що BigQuery завжди давав нам можливість аналізувати на рівні користувача. Потужність SQL дозволяє нам нотувати та аналізувати дії будь-якій тривалості від першого звернення до конверсії.
Це також має велике значення для електронної комерції. В багатьох сценаріях реального світу людина може додати товар у свій кошик під час одного відвідування та чекати завершення покупки під час іншого відвідування та я вже не кажу про можливість робити це з різних пристроїв. BigQuery дозволяє командам бачити поведінку користувачів, яким потрібно більше одного сеансу, щоб здійснити покупку.
Найкраще те, що ці безмежні вікна ретроспективного аналізу та агрегації застосовуються до всіх областей і полів, тому вони навіть дозволяють створювати сегменти на основі користувачів без обмежень на зберігання даних упродовж лише 18 місяців у GA4.
Комбінування даних
Слово безмежний також стосується кількості параметрів і показників в одному запиті. Маючи справу з таблицями бази даних на корпоративній платформі зберігання даних, як-от BigQuery, команди можуть запитувати скільки завгодно стовпців. Це означає, що немає необхідності турбуватися про обмеження інтерфейсу, як-от два виміри в стандартному звіті або п’ять вимірів у спеціальному. Якщо ваша команда хоче 35 параметрів у звіті, ви їх маєте.
Аналітики також можуть комбінувати в інтерфейсі області, які важко аналізувати. Наприклад, дані електронної комерції можна об’єднати з даними на рівні користувача, щоб побачити взаємодію продукту за типами користувачів.
Ця можливість змішувати будь-які розміри та масштаби супроводжується лише одним зауваженням — ви можете перевірити що вам дають автоматизовані системи та перевірити їх роботу. Порушення моделі даних GA означає, що її резервне копіювання може (1) спричинити помилки чи прорахунки або (2) означати, що показники тепер мають інше визначення, ніж те, що обчислюється в стандартній моделі даних. Я вважаю, що варто бути впевненим у тому, як обчислюються значення у аналітиці ніж сліпо довіряти магічній формулі Data Driven моделі. Просто переконайтеся, що метрики відрізняються, та чітко розумійте причини та наслідки розходжень та рішень яки ми робимо на основі аналітики.
Йти вперед, йдучи назад
Google Analytics має дуже специфічний спосіб обробки даних і параметрів конфігурації, як-от цілі та фільтри. Коли дані збираються із сайту або програми компанії, GA застосовуватиме ці налаштування та зберігатиме готові, змінені дані для використання у звітах пізніше. Через це неможливо повернутися назад і змінити дані в обліковому записі Google Analytics.
Однак за допомогою BigQuery команди можуть істотно переписати історію! Якщо команда аналітиків у минулому припустилася помилки відстеження, і вони хотіли б відфільтрувати або змінити дані (шляхи сторінок, події, цілі сеанси), вони можуть динамічно коригувати запити в BigQuery, щоб врахувати ці проблеми.
І ще дещо цікаве та файне
Щойно дані надходять у BigQuery, ми можемо легко надіслати їх на будь-яку іншу платформу в необробленому вигляді. Одне поширене застосування для експорту даних: прогнозне моделювання та розширена аналітика. Ми можемо, наприклад, використовувати статистичні моделі, щоб спрогнозувати кількість покупок, які ми можемо очікувати мати протягом наступного місяця, оцінити, скільки потенційних клієнтів може виникнути в результаті нового вибуху електронної пошти, або переглянути прогнозовану рентабельність витрат на рекламу.
Деталізація на рівні звернення відкриває цілий світ можливостей від моделювання схильності, кластерного аналізу, картографування шляху користувача та інших передових аналітичних рішень. Багато наукових платформ даних мають пряму інтеграцію з BigQuery або команди можуть використовувати набір інструментів, уже вбудованих у Google Cloud Platform. BigQuery навіть має вбудований інструмент машинного навчання SQL під назвою BigQuery ML. Це дозволяє командам створювати та розгортати кілька моделей лише за допомогою кількох рядків SQL.
Якщо у вашій команді є спеціалісти з обробки даних, вони можуть допомогти використати BigQuery для розробки й розгортання таких моделей.
Активація аудиторій, розрахованих запитами у BigData в інших каналах
Окрім визначення початкових аудиторій, за допомогою BigQuery ми також можемо створювати динамічні аудиторії для ремаркетингу, програмних медіа, A/B-тестування та звітування Google Analytics. Це можливо кількома способами.
Наприклад, ми можемо об’єднати дані Google Analytics із BigQuery з адресами електронної пошти або пов’язаними електронними листами від сторонньої системи. Можливо, ми захочемо надіслати цей список електронних адрес до служби розсилки, як-от MailChimp, або до платформи автоматизації маркетингу, як-от HubSpot чи Marketo. Ці спеціальні аудиторії також можна надсилати на такі платформи, як Facebook та Google Ads.
Використання даних BigQuery з Google Marketing Platform
У той же час ми можемо повернутися до перегляду цих аудиторій в інтерфейсі Google Analytics. Найпростішим способом зробити це було б наблизити характеристики, які ми шукаємо, створити сегмент, який точно відповідає або імітує аудиторії BigQuery, які ми створили. Існують і більш складні способи зробити це, наприклад, за допомогою протоколу вимірювання або імпорту даних для надсилання цих ідентифікаторів клієнтів назад у Google Analytics і визначення аудиторії.
Експорт даних для візуалізації
BigQuery також має вбудовану інтеграцію з найпопулярнішими інструментами BI. Це означає, що ви можете підключати таблиці до Data Studio, Looker, Power BI, Tableau та інших інструментів візуалізації кількома клацаннями миші.
Разом із цією простотою приходять цінності уніфікованого звітування. Якщо ми об’єднуємо різні джерела даних, щоб збагатити уявлення про наші маркетингові програми, ми можемо використовувати ці джерела для створення більш розумних звітів. Багато організацій досі покладаються на інформаційні панелі, де дані з одного джерела просто розташовуються поруч із даними з іншого джерела. BigQuery дає нам можливість об’єднати веб-аналітику, витрати на рекламні канали та показники CRM в одній таблиці, забезпечуючи блискавичне уявлення про такі показники, як ціна за кваліфікованого потенційного клієнта або загальну рентабельність інвестицій кампанії.
BigQuery: вартість, цінність і вплив
Підключення Google Analytics 4 до BigQuery не вимагає прямих витрат. Коли організація починає роботу з Google Analytics 4, вона може почати збирати дані Google Analytics 4, тобто чим раніше ви почнете користуватися збором сирих даних тим більше даних ви зможете проаналізувати.
Витрати на BigQuery можуть викликати занепокоєння для організацій, які вперше наважуються на використання сховище даних. Але важливо зазначити, що BigQuery розроблено як кероване безсерверне сховище даних. Це означає, що команди платять лише за дані та функції, які вони використовують, коли вони їх використовують. Ці витрати зазвичай поділяються на дві категорії: плата за зберігання даних і плата за запити даних.
- Зберігання : Вартість зберігання становить копійки за гігабайт. Щоб поглянути на це в перспективі, сайт із приблизно 10 мільйонами відвідувань на місяць може мати щомісячну плату в розмірі 3 доларів США за зберігання даних за 1 рік. Аналіз рівня звернень вартий того.
- Запити : витрати на запити також відносно тривіальні для більшості пересічних користувачів. Користувач платить за терабайт даних, отриманих із бази даних. Більшість організацій не використовують більше терабайта обробки за один місяць, утримуючи витрати на запити однозначними цифрами.
Для багатьох організацій, які використовують BigQuery, це не коштує нічого тому що Google робить бонус в 300 USD на рік котрого вистачає для більшості малих та середніх підприємств. А для більшості в кінцевому підсумку коштує менше 100 доларів США на місяць, і це включає зберігання даних за рік із багатьох джерел, що забезпечує розширені звіти в підключених інструментах BI.
Терміни «керований» і «безсерверний» також створюють цінність, яка значно перевищує витрати.
BigQuery буде масштабуватися відповідно до потреб вашої організації, збиваючи терабайти даних за секунди, не турбуючись про екземпляри, кластери чи віртуальні машини. Це просто відбувається (керовано). Також не потрібно турбуватися про захист місця на сервері або про катастрофічний збій бази даних (без сервера). Це призводить до серйозної економії часу, але наша команда виявила, що це також дає можливість абсолютно новому класу аналітиків використовувати дані в BigQuery для виявлення критичної інформації. Нижчий початковий бар’єр означає, що командам не потрібно бути кваліфікованими адміністраторами баз даних, щоб досягти реальних результатів, їм просто потрібно трохи знати SQL.