首頁 > 技術(shù) > 正文

全球速遞！火山引擎A/B測試：MAB智能調(diào)優(yōu)實(shí)驗(yàn)，企業(yè)活動效果提升新利器

2023-05-31 12:54:33來源：中關(guān)村在線  

618臨近，各大電商APP的預(yù)熱活動已然拉開序幕。對企業(yè)而言，一場活動從策劃到上線，中間經(jīng)過效果驗(yàn)證，其業(yè)務(wù)成本很高。一個好的活動創(chuàng)意從策劃、開發(fā)、到最終發(fā)布，至少會經(jīng)歷幾周實(shí)踐，如果中間還經(jīng)歷A/B實(shí)驗(yàn)的小流量效果驗(yàn)證，會更加耗時耗力。但一個不容忽視的現(xiàn)狀是，很多短期的線上活動很可能前幾次的A/B實(shí)驗(yàn)結(jié)果都是不顯著的，但由于活動排期緊湊、實(shí)驗(yàn)調(diào)試時間短，常規(guī)A/B實(shí)驗(yàn)?zāi)転榛顒觾?yōu)化帶來的收益常會收效甚微。


【資料圖】

企業(yè)在短周期的活動運(yùn)營場景中，如何通過快速、低成本的A/B實(shí)驗(yàn)，獲得更好的收益呢？火山引擎A/B測試DataTester推出的新功能——MAB智能調(diào)優(yōu)實(shí)驗(yàn)，可以解決企業(yè)短周期活動運(yùn)營場景的A/B實(shí)驗(yàn)痛點(diǎn)。

傳統(tǒng)A/B實(shí)驗(yàn)依賴于統(tǒng)計顯著性的經(jīng)典假設(shè)檢驗(yàn)，在實(shí)驗(yàn)期間不能夠變更每個子版本的流量；因此這類實(shí)驗(yàn)需要至少7天的專門預(yù)留周期、要有足夠的樣本進(jìn)入實(shí)驗(yàn)，并且在實(shí)驗(yàn)開始后不能有任何變動，才可能得出顯著結(jié)果。而不同于傳統(tǒng)的A/B實(shí)驗(yàn)，DataTester的MAB智能調(diào)優(yōu)實(shí)驗(yàn)?zāi)苤С?-2天的短期快速A/B實(shí)驗(yàn)，實(shí)驗(yàn)以整個活動收益最優(yōu)為核心目標(biāo)，可實(shí)現(xiàn)動態(tài)實(shí)時的流量調(diào)節(jié)。

以某款游戲APP促活活動實(shí)驗(yàn)為例，該APP接入了火山引擎DataTester，希望驗(yàn)證多文案push場景下，MAB智能調(diào)優(yōu)策略能比均勻分流的策略帶來點(diǎn)擊率更高的收益。

該APP的運(yùn)營團(tuán)隊(duì)首先擬定了4款不同的推送文案：

● 標(biāo)題1:巨量元寶限量發(fā)?。?！

● 內(nèi)容1:寶箱已滿，整整300顆元寶待領(lǐng)\n馬上點(diǎn)擊獲得>>

● 標(biāo)題2:@你，有人偷偷給你送元寶啦

● 內(nèi)容2:整整300顆元寶待領(lǐng)\n馬上點(diǎn)擊獲得>>

● 標(biāo)題3:免費(fèi)的元寶福利到啦～～

● 內(nèi)容3:最高可獲得540顆元寶，還不趕緊來領(lǐng)取>

● 標(biāo)題4:今天的元寶獎勵來啦～～～

● 內(nèi)容4:元寶已經(jīng)溢出來了！\n點(diǎn)擊領(lǐng)取才能繼續(xù)收集哦>>

在實(shí)驗(yàn)設(shè)計時，他們將整個實(shí)驗(yàn)層的流量（100%）均分為兩組，實(shí)驗(yàn)總時長和活動時長一致，設(shè)為5天。對照組給50%流量，并在對照組流量中開設(shè)一個ABCD實(shí)驗(yàn)。將流量等分為4份，分別分給上述4個文案。實(shí)驗(yàn)組同樣給50%流量，對實(shí)驗(yàn)組進(jìn)行MAB智能調(diào)優(yōu)實(shí)驗(yàn)。

在為期5天的實(shí)驗(yàn)結(jié)束后，可以看到對照組和實(shí)驗(yàn)組的5日累計指標(biāo)數(shù)據(jù)，發(fā)現(xiàn)基于DataTester MAB智能調(diào)優(yōu)實(shí)驗(yàn)進(jìn)行流量分配的實(shí)驗(yàn)組，在總體點(diǎn)擊率上獲得+9.1%的正向收益，且增長顯著（p value=0.002）。

通過上述案例可以發(fā)現(xiàn)，在兩組實(shí)驗(yàn)中，實(shí)際觀測的點(diǎn)擊率（CTR）最高的文案并不太一樣。這意味著，受推送發(fā)布時間、用戶心理等多種不確定影響因素影響，假設(shè)以對照組策略（固定均勻分流實(shí)驗(yàn)）作為先導(dǎo)實(shí)驗(yàn)來選擇文案，最終獲得的實(shí)驗(yàn)結(jié)論并不見得可靠。

而如果采用MAB智能調(diào)優(yōu)實(shí)驗(yàn)，企業(yè)只需接入DataTester并啟動所有的標(biāo)題文案，DataTester會采用智能優(yōu)化能力來進(jìn)行流量的實(shí)時的調(diào)整和分配，企業(yè)的轉(zhuǎn)化效率平均可提升10%以上。而除去推送文案實(shí)驗(yàn)場景之外，有多種營銷活動場景，如落地頁擇優(yōu)、折扣策略擇優(yōu)等，也都能通過DataTester MAB智能調(diào)優(yōu)實(shí)驗(yàn)實(shí)時開啟。

DataTester是火山引擎數(shù)智平臺旗下產(chǎn)品，能夠深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等多種行業(yè)場景需求，為業(yè)務(wù)增長、轉(zhuǎn)化、產(chǎn)品迭代，運(yùn)營提效等各環(huán)節(jié)提供科學(xué)的決策依據(jù)，目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)。

據(jù)了解，火山引擎DataTester目前推出了30天免費(fèi)試用的活動，用戶只要在火山引擎A/B測試官網(wǎng)申請試用，無需企業(yè)認(rèn)證，一鍵申請即刻開通！（作者：潘樺佑）

標(biāo)簽：

相關(guān)閱讀

  • 天天觀點(diǎn)：植樹造林、治理石漠化，云南西疇——石山這樣成綠海（美麗中國·小城看生態(tài)③）
    天天觀點(diǎn)：植樹造林、治理石漠化，云南西疇——石山這樣成綠海（美麗中國·小城看生態(tài)③）

    西疇縣興街鎮(zhèn)三光片區(qū)。李光聰攝（人民視覺）核心閱讀云南省文山壯族苗族自治州西疇縣，曾經(jīng)石漠化嚴(yán)重

    2023-05-31
  • 信用卡逾期利息太高能不還嗎？信用卡逾期收到律師函嚴(yán)重嗎？-當(dāng)前要聞
    信用卡逾期利息太高能不還嗎？信用卡逾期收到律師函嚴(yán)重嗎？-當(dāng)前要聞

    信用卡逾期利息太高能不還嗎?信用卡逾期收到律師函嚴(yán)重嗎?下面是小編整理的一些相關(guān)信息，一起來看看吧!

    2023-05-31
  • 金鶴大米亮相SIAL西雅展 聚焦農(nóng)產(chǎn)品未來
    金鶴大米亮相SIAL西雅展 聚焦農(nóng)產(chǎn)品未來

    2023年5月18-20日，“SIAL世界三大食品展之一”——SIAL西雅國際食品展，在上海新國際博覽中心盛大啟幕...

    2023-05-31

    • 精彩推薦

    相關(guān)詞

    推薦閱讀