Продуктивність

Тестувати

Можливості

Онлайн-курси

Навантажувальне тестування

Цілі тестування

У грудні 2015 року компанія «Бітрікс24» спільно з компаніями Selectel і ITSumma провели навантажувальне тестування останньої версії продукту «Бітрікс24» для перевірки продуктивності системи в умовах впровадження на великому підприємстві з великим числом співробітників і високим навантаженням.

В ході навантажувального тестування протягом 24 годин на розгорнутий портал, наповнений великою кількістю тестових даних, подавалося навантаження, що імітує поведінку реальних користувачів. Віртуальні користувачі робили типові операції: виконували авторизацію, працювали з живою стрічкою, завданнями і документами, створювали записи в CRM, писали миттєві повідомлення тощо. Для кожного віртуального користувача вибиралася роль, сценарій якої він виконував в нескінченному циклі. Після виконання сценарію користувач очікував певний час.

Таким чином, в тесті моделювалося реальне використання інтранет-порталу в компанії, коли в структуру порталу заведені всі співробітники, і частина з них періодично зверталася до нього протягом робочого дня, виконуючи набори типових дій.

Завданнями навантажувального тесту були:

• визначення максимального числа одночасно працюючих користувачів на порталі на доступному виділеному обладнанні
• визначення кількості виконаних співробітниками дій в системі
• дослідження ефективності масштабування системи з використанням технології веб-кластера
• оцінка стабільності роботи системи під навантаженням, швидкого часу відгуку
• оптимізація конфігурації серверного програмного забезпечення, виявлення обмежень, визначення методів подальшого масштабування

Детальніше: як проходить тестування CMS «Бітрікс»  

Отримані результати

1) Корпоративний портал на коробковій версії «Бітрікс24» (редакція «Холдинг») в тестовому впровадженні 15 683 співробітника і розміщений на одному типовому сервері здатний забезпечити одночасну роботу 5 000 співробітників, які за добу:

Відправили 19 887 миттєвих повідомлень Написали 987 повідомлень в живій стрічці Створили 1 645 завдань Додали в Бітрікс.Диск 987 документів Створили записи по 384 лідам і 384 компаніям в CRM

При цьому максимальний (98%) час відгуку порталу не перевищив 1,065 сек.


2) Корпоративний портал на коробковій версії «Бітрікс24» (редакція «Холдинг») в тестовому впровадженні 15 683 співробітника і розміщений на кластері з двох типових серверів здатний забезпечити одночасну роботу 7 500 співробітників (+50%), які за добу:

Відправили 28 836 миттєвих повідомлень Написали 1 473 повідомлень в живій стрічці Створили 2 455 завдань Додали в Бітрікс.Диск 1 473 документів Створили записи по 571 лідам і 571 компаніям в CRM

При цьому максимальний (98%) час відгуку порталу не перевищив 1,224 сек.


3) Корпоративний портал на коробковій версії «Бітрікс24» (редакція «Холдинг») в тестовому впровадженні 15 683 співробітника і розміщений на кластері з трьох типових серверів здатний забезпечити одночасну роботу 9500 співробітників (+90%), які за добу:

Відправили 36 702 миттєвих повідомлень Написали 3 124 повідомлення у живій стрічці Створили 2 455 завдань Додали в Бітрікс.Диск 3 124 документа Створили записи по 729 лідам і 729 компаніям в CRM

При цьому максимальний (98%) час відгуку порталу не перевищив 0,949 сек.!

Висновки

Результати тестування продукту «Бітрікс24» підтвердили високу продуктивність платформи і стабільність при роботі з великими навантаженнями (відсутність різких відхилень на періоді 24-годинного тестування). Всього на трьох серверах з порталом змогли одночасно працювати 9 500 користувачів в компанії з 15 683 осіб. При цьому система забезпечила швидкий (навіть за мірками інтернет-проектів) відгук, який не перевищує 1 с, що, безумовно, робить роботу з порталом комфортною для сучасного користувача.

Навантаження на інтранет-портали, робочі інструменти компанії, значно відрізняються від типового навантаження на інтернет-проекти. У них значно вища частка хітів із записом інформації та виконанням різних дій (завантаження, індексація, відправлення повідомлень тощо), ніж на інтернет-сайтах. Частка хітів «на читання» значно нижче.

Технологія «Веб-кластер», що відмінно зарекомендувала себе в продукті «Бітрікс: Ентерпрайз», виявилася ефективною і для інтранет-порталів на базі «Бітрікс24». Редакція «Холдинг» дозволяє ефективно горизонтально масштабуватися за кількістю серверів з коефіцієнтом масштабування 1,4. Для реальних проектів коефіцієнт масштабування може бути вище за рахунок кращого співвідношення операцій читання/запису, ніж у навантажувальному тесті.

Таким чином, клієнти можуть динамічно розвивати своє портальне рішення, охоплюючи їм нові структурні підрозділи і залучаючи тисячі й десятки тисяч нових користувачів без зміни архітектури та коду проекту. Крім того, для великих підприємств з територіально-розподіленою структурою та десятками і сотнями тисяч користувачів існує додатковий сценарій масштабування, коли портальне рішення являє собою набір копій «Бітрікс24» для територіальних підрозділів, кожна з яких обробляє локальне навантаження, але при цьому всі портали пов'язані один з одним за допомогою «Інтеграційної шини (1)», дозволяючи взаємодіяти один з одним співробітникам різних філій.

Умови тестування

Тестове середовище

Апаратне забезпечення надано компанією Selectel: Intel Xeon E3-1270v3 3.5 ГГц, 32 ГБ RAM, 2 х 240 ГБ SSD.
Програмне забезпечення сервера налаштовано за допомогою продукту «Бітрікс: Віртуальна машина». Проведено оновлення до версії PHP5.6.9.

Параметри проведення тесту

• Тестування проводилося системою Yandex.Tank, версії 1.7.10. Yandex.Tank обрана як надійна, зарекомендувала себе система, яка дозволяє, на наш погляд, надати найбільш докладні дані по проведеному тестуванню. Результати тестування Yandex.Tank перевірені в безлічі проведених навантажувальних тестувань компанією Яндекс і визнаються незалежними експертами.
  
  
• В якості генератора навантаження використовувався додаток JMeter 2.13. JMeter — відкрита і гнучка система проведення навантажувального тестування, яка досить давно використовується різними компаніями для перевірки систем під емуляцією реальних навантажень.
  
  
• В якості SLA-часу відповіді обрана 99-процентиль <1000мс (99% запитів виконуються швидше 1000мс), як максимально допустимий прийнятний час генерації сторінки для інтернет-магазину. Тест виконується при максимальній завантаженості процесора/диска/пам'яті, на якому зберігається даний SLA.
  
  
• Оскільки в рамках навантажувального тестування на проект подається критичне обладнання для навантаження, допускається виникнення помилок. Частка запитів з хибними відповідями (невиконаних запитів) не повинна перевищувати 0.5% від загального числа запитів.
• Тестування всіх конфігурацій проводилося в умовах рівномірного навантаження. В реальному проекті навантаження буде нерівномірним (варіюватися залежно від часу доби, сезону, проведених маркетингових кампаній тощо). Добові показники для працюючого проекту будуть в 2,5-3 рази менше, а результати тестів в умовах реальних додатків можуть служити орієнтиром для встановлення програми та прийняття рішення про необхідність масштабування.

Докладний звіт