Đám mây trí tuệ tối ưu: Cách sử dụng công cụ thống kê để kiểm tra A / B thông minh hơn và nhanh hơn

Công cụ thống kê tối ưu và chiến lược thử nghiệm A / B

Nếu bạn đang muốn chạy một chương trình thử nghiệm để giúp doanh nghiệp của mình thử nghiệm và học hỏi, rất có thể bạn đang sử dụng Đám mây trí tuệ tối ưu - hoặc ít nhất bạn đã nhìn vào nó. Optimizely là một trong những công cụ mạnh nhất trong trò chơi, nhưng giống như bất kỳ công cụ nào như vậy, bạn có thể sử dụng sai nếu không hiểu cách hoạt động của nó. 

Điều gì làm cho Optimizely trở nên mạnh mẽ như vậy? Cốt lõi của bộ tính năng của nó nằm ở công cụ thống kê trực quan và đầy đủ thông tin nhất trong một công cụ của bên thứ ba, cho phép bạn tập trung hơn vào việc hiển thị các bài kiểm tra quan trọng - mà không cần lo lắng rằng bạn đang hiểu sai kết quả của mình. 

Giống như một nghiên cứu mù truyền thống trong y học, Thử nghiệm A / B ngẫu nhiên sẽ hiển thị khác nhau phương pháp điều trị của trang web của bạn với những người dùng khác nhau để sau đó so sánh hiệu quả của từng phương pháp điều trị. 

Sau đó, số liệu thống kê giúp chúng tôi đưa ra suy luận về mức độ hiệu quả của phương pháp điều trị đó trong thời gian dài. 

Hầu hết các công cụ kiểm tra A / B đều dựa vào một trong hai loại suy luận thống kê: Số liệu thống kê theo chủ nghĩa thường xuyên hoặc theo Bayes. Mỗi trường đều có những ưu và nhược điểm khác nhau - Thống kê theo chủ nghĩa thường xuyên yêu cầu kích thước mẫu phải được cố định trước khi chạy thử nghiệm và thống kê Bayes chủ yếu quan tâm đến việc đưa ra quyết định định hướng tốt hơn là chỉ định bất kỳ con số đơn lẻ nào cho tác động, để nêu tên hai ví dụ. Sức mạnh của Optimizely là nó là công cụ duy nhất trên thị trường hiện nay để thực hiện tốt nhất của cả hai thế giới tiếp cận.

Kết quả cuối cùng? Tối ưu hóa cho phép người dùng chạy thử nghiệm nhanh hơn, đáng tin cậy hơn và trực quan hơn.

Tuy nhiên, để tận dụng tối đa điều đó, điều quan trọng là phải hiểu những gì đang xảy ra đằng sau hậu trường. Dưới đây là 5 thông tin chi tiết và chiến lược sẽ giúp bạn sử dụng các khả năng của Optimizely như một chuyên gia.

Chiến lược số 1: Hiểu rằng không phải tất cả các chỉ số đều được tạo ra như nhau

Trong hầu hết các công cụ thử nghiệm, một vấn đề thường bị bỏ qua là bạn càng thêm nhiều chỉ số và theo dõi như một phần của thử nghiệm, bạn càng có nhiều khả năng thấy một số kết luận không chính xác do ngẫu nhiên (trong thống kê, điều này được gọi là “vấn đề thử nghiệm nhiều ”). Để giữ cho kết quả của nó đáng tin cậy, Optimizely sử dụng một loạt các biện pháp kiểm soát và hiệu chỉnh để giữ cho khả năng xảy ra điều đó càng thấp càng tốt. 

Những kiểm soát và chỉnh sửa đó có hai ý nghĩa khi bạn thiết lập các thử nghiệm trong Optimizely. Đầu tiên, chỉ số bạn chỉ định làm Chỉ số chính sẽ đạt được ý nghĩa thống kê nhanh nhất, tất cả những thứ khác không đổi. Thứ hai, bạn càng thêm nhiều số liệu vào thử nghiệm, thì các số liệu sau này của bạn sẽ mất nhiều thời gian hơn để đạt được ý nghĩa thống kê.

Khi lập kế hoạch thử nghiệm, đảm bảo rằng bạn biết chỉ số nào sẽ là Phương Bắc thực sự của bạn trong quá trình ra quyết định, hãy đặt làm Chỉ số đó. Sau đó, giữ cho phần còn lại của danh sách chỉ số của bạn gọn gàng bằng cách loại bỏ bất kỳ thứ gì quá thừa hoặc tiếp tuyến.

Chiến lược số 2: Xây dựng các thuộc tính tùy chỉnh của riêng bạn

Optimizely rất tuyệt vời trong việc cung cấp cho bạn một số cách thú vị và hữu ích để phân đoạn kết quả thử nghiệm của bạn. Ví dụ: bạn có thể kiểm tra xem liệu một số phương pháp điều trị nhất định có hoạt động tốt hơn trên máy tính để bàn so với thiết bị di động hay không hoặc quan sát sự khác biệt giữa các nguồn lưu lượng truy cập. Tuy nhiên, khi chương trình thử nghiệm của bạn hoàn thiện, bạn sẽ nhanh chóng mong muốn có các phân đoạn mới - những phân đoạn này có thể dành riêng cho trường hợp sử dụng của bạn, chẳng hạn như phân đoạn dành cho mua một lần so với đăng ký hoặc chung chung là “khách truy cập mới so với khách truy cập cũ” ( thành thật mà nói, chúng tôi vẫn không thể tìm ra lý do tại sao điều đó không được cung cấp ra khỏi hộp).

Tin tốt là thông qua trường Javascript Dự án của Optimizely, các kỹ sư quen thuộc với Optimizely có thể xây dựng bất kỳ số lượng thuộc tính tùy chỉnh thú vị nào mà khách truy cập có thể được chỉ định và phân đoạn theo. Tại Cro Metrics, chúng tôi đã xây dựng một số mô-đun chứng khoán (như “khách truy cập mới so với khách truy cập cũ”) mà chúng tôi cài đặt cho tất cả khách hàng của mình thông qua Project Javascript của họ. Tận dụng khả năng này là điểm khác biệt chính giữa các nhóm trưởng thành, những người có nguồn lực kỹ thuật phù hợp để giúp họ thực hiện và các nhóm đấu tranh để nhận ra toàn bộ tiềm năng của thử nghiệm.

Chiến lược số 3: Khám phá Trình tăng tốc thống kê của Optimizely

Một tính năng của công cụ kiểm tra thường được sử dụng quá nhiều là khả năng sử dụng "nhóm chia nhiều nhánh", một loại thuật toán máy học thay đổi động nơi lưu lượng truy cập của bạn được phân bổ trong quá trình thử nghiệm, để gửi càng nhiều khách truy cập đến "chiến thắng" biến thể càng tốt. Vấn đề với những kẻ cướp nhiều nhánh là kết quả của chúng không phải là chỉ số đáng tin cậy về hiệu suất lâu dài, vì vậy, trường hợp sử dụng cho các loại thử nghiệm này chỉ giới hạn trong các trường hợp nhạy cảm về thời gian như khuyến mại.

Tuy nhiên, tối ưu hóa có một loại thuật toán cướp khác có sẵn cho người dùng trên các gói cao hơn - Stats Accelerator (hiện được gọi là tùy chọn “Accelerate Learnings” bên trong Bandits). Trong thiết lập này, thay vì cố gắng phân bổ động lưu lượng truy cập cho biến thể có hiệu suất cao nhất, Optimizely phân bổ động lưu lượng truy cập cho các biến thể có nhiều khả năng đạt được ý nghĩa thống kê nhanh nhất. Bằng cách này, bạn có thể học nhanh hơn và duy trì khả năng sao chép của các kết quả kiểm tra A / B truyền thống.

Chiến lược số 4: Thêm biểu tượng cảm xúc vào tên chỉ số của bạn

Thoạt nhìn, ý tưởng này có thể nghe có vẻ lạc lõng, thậm chí là không hợp lý. Tuy nhiên, khía cạnh chính của việc đảm bảo bạn đang đọc kết quả thử nghiệm phù hợp bắt đầu từ việc đảm bảo rằng khán giả của bạn có thể hiểu câu hỏi. 

Đôi khi, bất chấp những nỗ lực hết mình của chúng tôi, tên chỉ số có thể trở nên khó hiểu (chờ đợi - chỉ số đó có kích hoạt khi đơn đặt hàng được chấp nhận hay khi người dùng truy cập trang cảm ơn?), Hoặc một thử nghiệm có quá nhiều chỉ số cuộn lên và cuộn xuống kết quả trang dẫn đến quá tải tổng thể về nhận thức.

Thêm biểu tượng cảm xúc vào tên chỉ số của bạn (mục tiêu, dấu kiểm màu xanh lá cây, thậm chí túi tiền lớn có thể hoạt động) có thể dẫn đến các trang có thể quét được nhiều hơn. 

Hãy tin tưởng chúng tôi - đọc kết quả sẽ cảm thấy dễ dàng hơn nhiều.

Chiến lược số 5: Xem xét lại mức độ quan trọng thống kê của bạn

Kết quả được coi là kết luận trong bối cảnh của thử nghiệm Tối ưu hóa khi chúng đã đạt đến ý nghĩa thống kê. Ý nghĩa thống kê là một thuật ngữ toán học khó, nhưng về cơ bản đó là xác suất mà các quan sát của bạn là kết quả của sự khác biệt thực sự giữa hai quần thể, chứ không chỉ là cơ hội ngẫu nhiên. 

Các mức ý nghĩa thống kê được báo cáo của Optimizely “luôn hợp lệ” nhờ vào một khái niệm toán học được gọi là kiểm tra tuần tự - điều này thực sự làm cho chúng đáng tin cậy hơn nhiều so với các công cụ kiểm tra khác, vốn dễ gặp phải tất cả các loại vấn đề "nhìn trộm" nếu bạn đọc chúng quá sớm.

Cần xem xét mức độ ý nghĩa thống kê mà bạn cho là quan trọng đối với chương trình thử nghiệm của mình. Trong khi 95% là quy ước trong cộng đồng khoa học, chúng tôi đang thử nghiệm các thay đổi trên trang web, không phải vắc xin. Một sự lựa chọn phổ biến khác trong thế giới thực nghiệm: 90%. Nhưng bạn có sẵn sàng chấp nhận sự không chắc chắn hơn một chút để chạy thử nghiệm nhanh hơn và thử nghiệm nhiều ý tưởng hơn không? Bạn có thể sử dụng ý nghĩa thống kê 85% hoặc thậm chí 80% không? Việc cố ý về số dư phần thưởng rủi ro của bạn có thể trả cổ tức theo cấp số nhân theo thời gian, vì vậy hãy suy nghĩ kỹ điều này.

Đọc thêm về Đám mây trí tuệ tối ưu

Năm nguyên tắc nhanh chóng và thông tin chi tiết này sẽ vô cùng hữu ích mà bạn cần ghi nhớ khi sử dụng Optimizely. Như với bất kỳ công cụ nào, nó tập trung vào việc đảm bảo rằng bạn đã hiểu rõ về tất cả các tùy chỉnh hậu trường, vì vậy bạn có thể đảm bảo rằng bạn đang sử dụng công cụ một cách hiệu quả và hiệu quả. Với những hiểu biết này, bạn có thể nhận được kết quả đáng tin cậy mà bạn đang tìm kiếm, khi bạn cần. 

Bạn nghĩ gì?

Trang web này sử dụng Akismet để giảm spam. Tìm hiểu cách xử lý dữ liệu nhận xét của bạn.