Makale İncelemesi: Satıcı Başarısından Müşteriyi Elde Tutmaya: Aramanın Yeni Rolü ve Pazarlarda Öneri Sistemleri
Bu makale inceleme yazımda Facebook’ta çalışan ve aynı zamanda 4 bilim insanın Facebook Marketplace’deki verilerle ürün ve satıcı listelemeleri üzerine yazısını elimden geldiğince Türkçe’ye çevirmeye ve incelemeye çalıştım.
Hepinizin bildiği gibi Türkiye’de de bir çok firma (Hepsiburada, Trendyol, N11 gibi) artık bağımsız satıcılara sahip. Bu tabi ki firmaların kendi stratejileridir. Fakat hep düşünmüşsünüzdür çok büyük firmalar var aynı ürünü satan onlarca belki yüzlerce kişi var. Benim ürünüm veya dükkanım altta kalacak hep büyükler firmalar kazanacak. Adil bir sistemin girişimcilerin önünü açacağını düşünüyorum. İşte bu sorun 4 bilim insanın aklında bir soru işareti oluşturmuş ve bu yazıyı yazma gereği duymuşlar.
Benim de aklıma hep takılmıştır. Daha adil bir sistem olabilir mi diye. Daha adil bir sistemin olması belki firmaların cirolarında kayıplara neden olabilir fakat bir şekilde bu sorunun üstesinden gelinmesi gerekiyor. Küçük satıcılar büyük satıcılara karşı ezdirilmemeli, bazı popüler ürünler daha görünür olmamalıdır.
Bu sorunun üstesinden gelmek için bazı testler ve geriye dönük çalışmalar yapılmıştır. Bunun sonucunda başarıyı bir pazardaki daha benzersiz satıcılara dağıtmak, satıcıların deneyimini açıkça iyileştirecek ve başlı başına önemli bir hedef olduğu ortaya çıkmıştır. Ayrıca geriye dönük yapılan testte, satıcı başarısındaki iyileşmenin, satıcı elde tutma oranında ve yayınlanan liste sayısında önemli bir artışa dönüştüğünü gözlemlenmiştir.
Makale yazarlarını tanıyalım
Viet Ha-Thuc
https://www.linkedin.com/in/viethathuc/
4 yıldır Facebook’ta çalışan Viet, makine öğrenmesi araştırmacısı olarak çalışıyor. Daha öncesinde yaklaşık 5 sene boyunca Linkedin’de çalışmış ve 1 senelik de Yahoo tecrübesi bulunuyor. HCMC Teknoloji Üniversitesinde bilgisayar bilimleri lisansını alan Viet, doktorasını University of Iowa’da yine aynı alanda yapmıştır.
Çalışmalarına buradan ulaşabilirsiniz : https://scholar.google.com/citations?user=zuF4oOYAAAAJ
Matthew Wood
https://www.linkedin.com/in/matthew-wood-bbb32584/
Mathew yaklaşık 2 yıldır Facebook’ta yazılım mühendisi olarak çalışıyor. Lisans derecesi Fizik bölümünden olan Mathew, UCLA’da 5 yıl boyunca araştırma asistanı olarak çalışmış ve sonrasında SLAC National Accelerator Laboratory ve Orbital Insight’ta çalışmıştır.
Çalışmalarına buradan bakabilirsiniz: https://dl.acm.org/profile/99659565717
Yunli Liu
https://www.linkedin.com/in/yunliliu/
Yunli yaklaşık 4 senedir Facebook’ta yazılım mühendisi olarak çalışmaktadır. Onun öncesinde beyondmenu.com’da yazılım mühendisi olarak çalışmış olup Lisans derecesini Henan Üniversitesin’den almış. Illinois Institute of Technologhy’de bilgisayar bilimleri yüksek lisansı yapmıştır.
Çalışmalarına buradan bakabilirsiniz: https://dl.acm.org/profile/99659570046
Jagadeesan Sundaresan
https://www.linkedin.com/in/jagadeesan-sundaresan-921502153/
Jagadeesan, son 3 yıldır Facebook’ta yapay zeka ve makine öğrenmesi baş mühendis olarak çalışmaktadır. Daha önce Algoritmic Trading ve Citadel LLC çalışmış olup, stajını Amazon’da yapmıştır. Lisans derecesini Indian Institute of Technology, Madras bilgisayar mühendisliği üzerine yapmış ve University of Illinois at Urbana’da bilgisayar bilimleri yüksek lisansı yapmıştır.
Akademik çalışmalarına buradan bakabilirsiniz: https://www.researchgate.net/scientific-contributions/Jagadeesan-Sundaresan-30397246
Makale yazarları hakkında yorumum
Görüldüğü üzere makaleyi yazan 4 kişi de Facebook çalışanı. Aslında bu bir sürpriz veya denk gelme değil. Facebook için bilimsel çalışmalar çok önemli. Bu sebeple çalışanları bu tür çalışmalar için destekliyorlar. Facebook çalışanlarının yapmış olduğu çalışmalara https://research.fb.com/publications/ buradan ulaşabilirsiniz. Ben ilk olarak Lada Adamic’in çalışmalarını incelemiştim. Daha sonra vakit bulabilirsem onun hakkında da bir şeyler yazmaya çalışacağım. Makale yazarlarına dönecek olursak hepsi kendi alanlarında deneyimli ve yetenekli insanlar. Özellikle birkaçının çalışmalarını şahsi olarak takip etmeye devam edeceğim.
ÖZET
İnternet üzerinde satış yapan, sayıları hızla artan ve geçimlerini sağlamak isteyen satıcılar tüketicilerle bağlantı kurmak için arama ve öneri sistemlerine güveniyor. Bu yazıda, arama ve öneri sistemlerinin satıcı değerine dahil ederek geleneksel formülasyonlardan nasıl gelişmesi gerektiğini tartışılmıştır.
Bu sistemlerin arkasındaki fonksiyonları, hem tüketici hem de satıcı değerinde ortaklaşa optimize etmek yeni bir yön olmakla beraber birçok teknik zorluğu beraberinde getirmiştir. Bunların üstesinden gelmek için uçtan uca bir çözüm ortaya konulmuş ve bu çözümü Facebook Marketplace’te uygulamanın sonuçları sunulmuştur.
GİRİŞ
İnternet üzerinden satışların popülerleşmesiyle birlikte yaratıcı ve esnek ekonomilerin yükselişi sürüyor. Bu sayede medya, ürün ve hizmet sektörlerinde çok sayıda içerik oluşturuldu ve satıldı. Bu pazarların merkezinde, arama motorları ve öneri sistemleri, tüketicileri ve satıcıları birbirine bağlayan birincil dağıtım kanallarıdır. Bu sistemler, tüketicilerin yalnızca alakalı ve yüksek kaliteli içeriği, ürünleri veya hizmetleri keşfetmesine yardımcı olmakla kalmaz, aynı zamanda satıcının başarısında (veya başarısızlığında) ve uzun vadeli elde tutulmasında (yani bu pazarlarda üretime devam etmede) kritik bir rol oynar.
Satıcı tarafındaki önemli rol göz önüne alındığında, arama ve öneri sistemlerinin, bir sorguyla eşleşen en alakalı belgelerin alınması ve tüketicinin bir eylemde bulunma olasılığını en üst düzeye çıkaran öğeleri bulmak standart formülasyonundan gelişmesi gerekir. Ek olarak, bu sistemler, satıcının deneyimine ve gelecekteki davranışına dayalı olarak faydayı da hesaba katmalıdır. Bununla birlikte, bu tür hedeflerde bu sistemlerin arkasındaki sıralama fonksiyonlarını (sıralayıcılar) optimize etmek yeni bir yöndür ve birçok teknik zorluğu beraberinde getirir. Sıralama değişikliklerinin satıcılar üzerindeki nedensel etkisini ölçmek zordur.
Satıcıların küçük bir yüzdesini maruz bırakan standart bir satıcı tarafıyla A / B testi yaparsak, testte gözlemlediklerimiz, işlemin tüm satıcılara başlatıldığı zamandan önemli ölçüde farklı olacaktır. Diğer bir sorun, satıcıların deneyimi ve uzun vadeli davranışları üzerindeki tek bir öğeyi yukarı veya aşağı taşımanın etkisinin nasıl modelleneceğidir. Bu yazıda, alıcıların ve satıcıların ticari ürünleri alıp satmak için kullandıkları bir pazar yeri olan Facebook Marketplace’teki sıralama sistemlerini geliştirme yaklaşımı açıklanmıştır. Tıklama oranı veya satın alma oranı gibi tüketici merkezli ölçümler için optimizasyonun tipik yaklaşımından farklı olarak, sıralayıcılar hem tüketici hem de satıcı tarafındaki hedefler için ortaklaşa optimize edilmiştir. Özellikle, satıcı tarafında A / B testi yapmaktan, sıralama hedeflerine satıcı tarafındaki başarıyı dahil etmeye ve başarının uzun vadede nasıl elde tutmaya dönüşeceğine kadar uçtan uca bir çözüm bu yazıda açıklanıyor. Facebook Marketplace’i açıklayıcı bir örnek olarak kullanırken, çözüm sektördeki diğer çift taraflı pazarlara genellenebilir.
SATICI TARAFINDA A/B TESTİ
Satıcı tarafı A / B testinin zorluğunu göstermek için, test grubundaki yeni satıcı öğelerinin güçlendirildiği basit bir testi düşünelim. Satıcı sayındaki artış nedeniyle, bu yeni satıcılar, kontrol grubundakilere kıyasla daha iyi bir deneyim yaşarlar. Bununla birlikte, artış % 100'e yükseldiğinde (yani tüm yeni satıcılara), orijinal test grubundaki öğeler daha düşük sıralanacak çünkü şu anda önemli ölçüde daha fazla ürün artmaktadır. Bu nedenle, % 1 ile denendiğinde etki yapay olarak etkisizdir ve satıcı tarafındaki A / B testi sonucu yanlıştır. Bunun temel nedeni, her iki gruptaki satıcıların deneyimleri de grup dışındaki diğer satıcılara uygulanan sıralama modeline bağlı olduğundan, “istikrarlı birim işlem değeri varsayımı” (SUTVA) ihlalidir. Bunu göz önünde bulundurarak, karşı olgusal bir özelliğe dayalı yeni bir satıcı tarafı A / B testi çerçevesi geliştiriyoruz: işlemdeki öğeler, işlemin satıcıların % 100'üne yükseltilmesi durumunda olacakları yerde sıralanır. Benzer şekilde, kontroldeki öğeler, mevcut durumdaki herkese uygulandığında olacakları yerde sıralanır. Bu nedenle, denek ve kontrol arasındaki fark, geri kalanı için geçerli olandan bağımsızdır, yani SUTVA’yı karşılar. Okuyucular, önceki çalışmamızda ayrıntıları bulabilirler. ( https://research.fb.com/wp-content/uploads/2020/07/A-Counterfactual-Framework-for-Seller-Side-AB-Testing-on-Marketplaces.pdf )
SATICI BAŞARISI İÇİN OPTİMİZE ETMEK
Ticari sıralama sistemleri genellikle geçmiş etkileşim verilerinden eğitilir. Sonuç olarak, küçük bir satıcı kümesinden gelen ürünlere odaklanma eğilimindedirler ve diğer satıcıların çoğuna trafiğin adil bir şekilde dağıtılmasını sağlamazlar. Böylelikle daha az dağılıma sahip bu satıcılar genellikle bekledikleri başarıya sahip olamazlar. Dahası, bu, kullanıcı grupları arasındaki eşitsizliğin artmasına neden olabilir. Yararlanmayı ve keşfetmeyi dengeleyen çok kollu haydut yaklaşımı ( https://en.wikipedia.org/wiki/Multi-armed_bandit ), ilk başlangıç sorununu hafifletmek için iyi bilinen bir teknik olsa da, satıcı tarafındaki hedefleri, örneğin satıcı başarısı ve adaleti açıkça dikkate almak yerine, uzun vadede tüketici merkezli hedefleri optimize etmek için tasarlanmıştır.
Belirli bir günde bir alıcıdan mesaj veya teklif gibi en az bir harekete geçirici mesaj (cta) alan benzersiz satıcıların sayısının amacını göz önünde bulundurun. Bu hedefin mantığı, başarıyı olabildiğince çok satıcıya dağıtmaktır. Özellikle, birinci aşama sıralayıcı tarafından tamamen alıcı tarafında optimize edilmiş bir sıralama verildiğinde, satıcıları son gün içinde herhangi bir “cta” almamış (yani başarısız) sıralamada ilk K değeri sıralamasındaki N sayıda öğeyi ve en yüksek öğe değerlerine sahipleri üst sıraya koyuyoruz.
Bir ürün değeri aşağıdaki gibi hesaplanıyor.
Ürün değeri = Alıcı değeri + lambda * satıcı değeri
Bir satıcı değeri aşağıdaki gibi hesaplanıyor.
Kısaca: satıcının bir sonraki gün bir gösterim alırken “𝑐𝑡𝑎” alması olasılığındaki kademeli değişikliktir.
Satıcı değeri = p(cta|imp) * p(no_cta_1d|no_imp)
cta= Belirli bir günde bir alıcıdan mesaj veya teklif gibi en az bir harekete geçirici mesaj sayısı
imp= etki değeri
p = olasılık değeri
Satıcı değeri, mevcut dönemdeki artış nedeniyle satıcının bir sonraki gün bir gösterim alırken “𝑐𝑡𝑎” alması olasılığındaki kademeli değişikliktir. Satıcı değerindeki formülasyon matematiksel olarak türetildiği gibi, bu artımlı değer, ürünün mevcut dönemde artırılmış izlenim verildiğinde bir “cta” alma olasılığının ve satıcının bu dönemin ötesinde başarılı olamama olasılığının ürünü olduğu ortaya çıkıyor (sonraki 24 saatler).
Ürünün alakasız veya düşük kaliteli olduğu aşırı durumlarda- örnek olarak p(cta|imp) yaklaşık sıfır için- veya satıcının her halükarda başarılı olacağı durumda- örnek olarak p(no_cta_1d|no_imp) — artan değer sıfırdır ve bu sezgisel olarak anlamlıdır Artımlı değer formülasyonu, satıcı tarafında çeşitli seviyelerde de genelleştirilebilir. Örneğin, minimum sayıda “cta” veya tıklama olması olarak tanımlanan öğe başarısındaki artırmanın, artan değerini düşünebilir veya başarının ölçüldüğü zaman aralığını kısaltabilir veya uzatabiliriz. Diğer bir amaç, bir eşiğin üzerinde “cta” oranına sahip satıcı gruplarının sayısıdır. Bunu öğe değeri modeline dahil etmek, minimum başarı çıtasına ulaşan grup sayısını artıracak ve böylece bu gruplar arasındaki boşluğu azaltacaktır. (örneğin Fairness-Aware Ranking in Search & Recommendation Systems with Application to LinkedIn Talent Search’de (https://arxiv.org/pdf/1905.01989.pdf) önerildiği gibi cinsiyet veya ırk gibi farklı özniteliklerle)
BAŞARIDAN ELDE TUTMAYA
Optimizasyon stratejisini ampirik olarak değerlendirmek için hem alıcı hem de satıcı tarafında A / B testleri gerçekleştiriyoruz. Alıcı tarafı testi, alıcı tarafı deneyimi üzerindeki kısa vadeli etkiyi ölçen standart bir A / B testidir. Satıcı tarafı testi, SATICI TARAFINDA A/B TESTİ bölümünde açıklanan karşı olgusal çerçevede çalıştırılır.
Yalnızca test grubundaki satıcıların öğeleri üst sıralarda yer alabilir, ancak SATICI BAŞARISI İÇİN OPTİMİZE ETMEK bölümündeki yeniden sıralama stratejisi tüm öğelere uygulanmış gibi konumlandırılır. Aynı zamanda kontrol grubundaki satıcıların ürünleri, daha önce yeniden sıralama yapılmamış gibi pozisyonlarda sıralanır.
Satıcı tarafı A / B testinin ampirik sonucu, satıcı başarısında% 10'luk önemli bir gelişme gösterirken(yani, belirli bir günde en az bir cta’ya sahip benzersiz satıcıların sayısı), alıcı tarafı testi kısa vadeli alıcı deneyiminde tarafsız sonuçlar ortaya koymaktadır. Başarıyı bir pazardaki daha benzersiz satıcılara dağıtmak, satıcıların deneyimini açıkça iyileştirecek ve başlı başına önemli bir hedef olacaktır. Bununla birlikte, satıcı deneyimini ve pazarın uzun vadeli büyümesi üzerindeki etkisini de incelemek istiyoruz. Bunları ölçmek için, bu yazı itibariyle altı aydan uzun bir süre boyunca satıcı tarafında geriye dönük test gerçekleştiriyoruz. Geriye dönük testte, satıcı başarısındaki iyileşmenin, satıcı elde tutma oranında ve yayınlanan liste sayısında önemli bir artışa dönüştüğünü gözlemliyoruz.
İki gruptaki satıcılar tarafından alınan işlemlerin sayısını karşılaştıran test grubu, başlangıçta benzer sayıda işlem yaptıktan sonra kontrol grubuna göre zaman içinde artan sayıda işlem almaktadır.
Bunun iki sebebi vardır:
(i) satıcıyı elde tutma ve listelemedeki artış
(ii) normalde nadiren görüntülenen ürün ve satıcıların görüntülemelerini daha adil olarak paylaştırmak
SONUÇLAR
Yaratıcı ve esnek ekonomilerinin yükselişiyle birlikte, arama ve tavsiye sistemleri satıcılar ve genel olarak toplum için giderek daha önemli bir rol oynamaktadır. Bu öneride, bu sistemlerin satıcı tarafındaki etkiyi hedef işlevine dahil ederek gelişeceği bir vizyon ortaya koyuyoruz. Ayrıca, bu yeni yönle ortaya çıkan teknik zorluklara ve Facebook Marketplace’teki ilk sonuçlara yönelik uçtan uca çözümümüzü sunuyoruz.
