Redshift -in Hopsworks Xüsusiyyət Mağazası ilə inteqrasiyası

Göndərildi: 08.09.2021
Məqalənin müəllifi Adəm Quliyev

PaddyPower Betfair, onlayn, mobil və pərakəndə kanallarda dünyanın ən böyük idman mərc, poker və kazino operatoru olan Flutter Entertainment Group -unəsas markasıdır.

Məlumat anbarları xüsusiyyət mağazası deyilvə xidmət/təlim üçün birbaşa istifadə edilə bilən hazır xüsusiyyətlərvermir. PaddyPower Betfair -ə Redshift -in Hopsworks Xüsusiyyət Mağazası ilə inteqrasiyasına kömək etdik, bu da məlumat mühəndislərinə və məlumat alimlərinə SQL əvəzinə Python və PySpark ilə xüsusi mühəndislik boru kəmərləri yazmağa imkan verdi.

XÜSUSİYYƏT MAĞAZASI İLƏ DAHA DƏQİQƏLİ BAXIŞ TƏDBİRLƏRİ ÜÇÜN FASTER MODELLƏRİ YAXŞILAYIN.

Çətinliklər: Xüsusiyyətləri görselleştirin və araşdırın, SQL əsaslı boru kəmərlərini Python ilə əvəz edin və xüsusiyyət mühəndisliyinin sürətini artırın.

Paddy Power Betfair, maşın öyrənmə modellərindən əldə edilən proqnozların köməyi ilə bahis qiymətlərini təyin edir.

  • Məlumat alimləri mövcud xüsusiyyətləri və boru kəmərlərini asanlıqla kəşf edə və sınaqdan keçirə bilmədilər.
  • Modellər arasında xüsusiyyətləri bölüşmək mümkün deyildi.
  • İnfrastruktur, onu qorumaq üçün çox kiçik və xüsusi bir komandadan asılıdır.
  • Məlumat anbarı xüsusiyyət mühəndisliyi prosesini ləngidən xüsusiyyət statistikası və ya metadata verməmişdir.
  • Əksər məlumat alimlərinin üstünlük verdiyi proqramlaşdırma dili seçimi olan Python Redshift -də dəstəklənmir.

Açar Nəticələr

Təkmilləşdirilmiş xüsusiyyət keyfiyyəti

Daha çox gəlir gətirən təkmilləşdirilmiş modellər.

Daha sürətli xüsusiyyət mühəndisliyi

Təlim məlumat toplusu yaratmaq üçün vaxt azaldaraq, statistikaya və meta məlumatlara giriş.

Kəşfiyyat məlumatlarının təhlili

Əvvəlcədən hesablanmış xüsusiyyətləri, bu xüsusiyyətlərin növlərini, təsviri statistikanı və xüsusiyyət dəyərlərinin paylanmasını kəşf edin.

Xüsusiyyət Yenidən İstifadə Edilə bilər

Əvvəllər hazırlanmış və keyfiyyətə zəmanət verilən xüsusiyyətlər yenidən istifadə oluna bilər - təlimə hazırdır.

Həll yolu: Python və kəşfiyyat xüsusiyyətlərinin təhlili ilə Hopsworks Xüsusiyyət Mağazası.

Hopsworks Xüsusiyyətlər Mağazasını, mövcud AWS SageMaker arxitekturası ilə modelləri öyrətmək üçün istifadəyə hazır olan xüsusiyyətlər anbarı olaraq birləşdirdik. Məlumat alimləri və analitiklər artıq mövcud xüsusiyyətlərə baxa, meta məlumatlarını yoxlaya, əvvəlcədən hesablanmış statistikanı araşdıra və nümunə xüsusiyyət dəyərlərinə baxa bilərlər.

Hopsworks Xüsusiyyət Mağazası, məlumat alimlərinin daha məhsuldar olmasına kömək etməklə yanaşı, daha yüksək gəlir gətirən modellərlə nəticələnən xüsusiyyət keyfiyyətini də yaxşılaşdırır. Bundan əlavə, Xüsusiyyət Mağazası istifadəçilərə yeni növ bahislər üçün yeni bahis modellərinin daha sürətli inkişafını təmin edən statistika və metadata təqdim edir.

Hopsworks platformasının əsas imkanlarından istifadə olunur:

    xüsusiyyətləri kəşf etmək, araşdırmaq və yenidən istifadə etmək. xüsusiyyətləri birləşdirmək və onları görselleştirmek.
  • Xüsusimühəndislik boru kəmərləri qurmaq üçün Python və PySparküçün dəstək.

Canlı Bahis Proqnozları üçün Hopsworks Xüsusiyyət Mağazası

Canlı bahis, bir idman və ya yarış hadisəsi başladıqdan sonra mərc etmək prosesidir. Aşağı gecikmə xüsusiyyətlərinə xidmət etmək üçün Hopsworks Xüsusiyyət Mağazasını tətbiq edərək təşkilatlara əməliyyat xərclərini azaltmağa, proqnoz modellərinin düzgünlüyünü artırmağa və gəliri artırmağa kömək edirik.

CANLI bahis proqnozları üçün aşağı gecikmə və azaldılmış əməliyyat xərcləri

Çətinliklər: Onlayn modellərlə canlı bahisləri dəstəkləyin.

AI dəstəkli bir çox İnternet xidmətləri kimi, canlı bahis təklif edən şirkətlər də yarışlarda və idman bahislərində canlı bahisləri təyin etmək üçün istifadə edilə biləcək proqnozlar yaradan onlayn modellərdən faydalana bilərlər.

Onlayn modellər, tarixi məlumatlardan hesablanan xüsusiyyətlərə aşağı gecikmə daxil olmaqla dəqiq proqnozlar vermək üçün bir çox giriş xüsusiyyətlərini tələb edir. Bu tip xüsusiyyətlər, onlayn tətbiqlərin özlərində hesablamaq üçün çox mürəkkəbdir və tətbiqlərə yerləşdirildikdə yenidən istifadə etmək mümkün deyil.

Onlayn tətbiqetmədə bir xüsusiyyət hesablamasını tətbiq edərkən, onlayn xüsusiyyət tətbiqinin (tətbiqdə) model üçün qatar/test məlumatlarını (təlim məlumat xətti) yaratmaq üçün istifadə olunan xüsusiyyət tətbiqinə uyğunluğunu təmin etməlisiniz.

Açar Nəticələr

Konsolidasiya edilmiş Xüsusiyyət Mühəndisliyi Boru Kəmərləri

Xüsusiyyət mühəndis kodu tətbiqlərdə təkrarlanmır, bunun əvəzinə bir boru xətti xidmət və təlim üçün xüsusiyyətləri hesablayır.

İstehsal üçün daha sürətli modellər

Məlumat alimləri, təlimlərin və xidmət boru kəmərlərinin sinxron vəziyyətdə saxlanılmasını təmin etmək üçün kompleks infrastruktura deyil, təkmilləşdirmə modellərinə diqqət edə bilərlər.

Həll yolu: Hopsworks Online Xüsusiyyət Mağazası - tək bir boru xəttindən aşağı gecikmə xüsusiyyətləri

Bir onlayn xüsusiyyət mağazası, təlim və xidmətdəki xüsusiyyətləri yenidən istifadə edə bilər və onlayn tətbiqlər tərəfindən xüsusiyyətlərə aşağı gecikmə imkanı təmin edə bilər.

Hopsworks Onlayn Xüsusiyyət Mağazası, fərqli vəzifələri olan fərqli komandalar üçün müəssisə miqyasında bir bazar rolunu oynayır. Python/Scala/Java müştərilərindən və ya dildən müstəqil JDBC istifadə edərək onlayn tətbiqlərin bir rəqəmli millisaniyələrdə istifadə etdiyi əməliyyat modellərinə əvvəlcədən hesablanmış xüsusiyyətlər təqdim edir.

Həm də xüsusiyyətlərin təkrar istifadəsinə və xüsusiyyətlərin fərqli modellərdə təkrar istifadə edildiyi proqnozlaşdırılan bahis modelləri üçün hər bir halda xüsusi ML xüsusiyyətlərindən istifadə etməyə imkan verir.

Hopsworks -un onlayn modellərin hazırlanması və işləməsi üçün əsas imkanları:

    aşağı gecikmə xüsusiyyətlərinə xidmət etmək; - (Py) Spark istifadə edərək real vaxt xüsusiyyət mühəndisliyi;
  • Tarixi xüsusiyyət mühəndisliyi üçün Python, PySpark, Spark və ya Flink;
  • S3, Hadoop, Delta Lake, JDBCinteqrasiyası;
  • Sərbəst mətn axtarışı ilə xüsusiyyət məlumatlarını idarə etmək, idarə etmək və axtarmaq üçün Xüsusi Metadata Dizayner; ,Databricks,Kubeflowinteqrasiyası- Xüsusiyyət Mağazasındakı məlumatları istifadə edərək qatar modelləri;
  • ActiveDirectory, LDAP və OAuth2 ilə tək giriş;

Hopsworks xüsusiyyət mağazası ilə ML -in miqyası

Hopsworks, bir xüsusiyyət mağazası təmin etmək üçün maşın öyrənmə üçün dünyanın ilk üfüqi miqyaslı məlumat platformasıdır. Məlumatların təmizlənməsinə və xüsusiyyətlərin hazırlanmasına kömək edir və xüsusiyyətlərin digər komandalar tərəfindən təkrar istifadəsini təmin edir.

Hopsworks Xüsusiyyət Mağazası, məlumat mühəndisliyi ilə məşğul olan (və arxa məlumat anbarlarından və məlumat göllərindən məlumat çəkən) məlumat elmi (model qurma, təlim və qiymətləndirmə) üzərində işləyən qrup üzvləri arasında təsirli bir API rolunu oynayır.

Dizayn üzrə təhlükəsizlik:Məlumat alimlərinə GDPR və daha güclü təhlükəsizlik tələblərinə uyğun olaraq həssas məlumatlara qum qutusu daxil olmaq imkanı verilə bilər.

Dərin öyrənmə:Paralel təcrübələr və paylanmış təlimlər üçün 10 və ya 100-dən çox GPU-da paylanmış Dərin Öyrənmə.

ML boru kəmərləri üçün qaynaq dəstəyi: Tamamilə təkrarlanan modelləri, daha asan ayıklama və boru kəmərləri üçün hərtərəfli məlumat idarəetməsini təmin edir.

Üçüncü tərəf platformalarıilə inteqrasiya :AWS Sagemaker, Databricks və Kubeflow kimi məlumat elmi platformaları ilə sorunsuz inteqrasiya. Hopsworks, S3, Hadoop və Delta Lake kimi məlumat mərkəzləri ilə də inteqrasiya edir. Hopsworks, ActiveDirectory, LDAP və OAuth2 üçün tək girişi də dəstəkləyir.