티스토리 뷰

루 nDCG : normalized Discounted Cumulative Gain AUROC : Area Under the Receiver Operating Characteristic curve MRR : Mean Reciprocal Rank CTR : Click-Though Rate 27. 0.055 0.222 0.266 0.310 + + 27 3.4 추천 모델 평가 결과 Statistics based Neighborhood Model Computing Cost Recall@10k Matrix Factorization Deep Learning 28. 1.

시스템 구축 노하우 Keywords ContainerizationResearch+DevOps 유저 데이터를 분석하고 추천모델을 선정 및 학습하는 과정과 실서비스 개발 및 운영하는 과정을 통합 정제 및 서빙에 필요한 서버들을 컨테이너화 함으로써 확장성과 장애대처에 용이하도록 설계 Productivity Scalability 33. 33 4.3.1 Agile Development Language & Tool 통합 데이터 분석 및 추천 모델링에 사용하는 언어와 도구를 실서비스 투입이 가능하도록 통합 Airflow (scheduler), Hive (data warehouse), Spark (big data processing engine) Hadoop YARN (distributed cluster resource manager)

문서 시퀀스 1. 신규 뉴스의 경우 유저 로그가 없는 상태임 2. RNN을 통해 학습된 유저 임베딩 정보를 활용 3. 유저-문서간 벡터연산을 통해 뉴스를 추천 Document Sequence Doc2Vec LSTM Layer RecVec 유저가 볼 문서를 예측 유저의 문서 소비 패턴을 보고 추천 19. 19 CIKM 2017 Nov. in Singapore 여기서 잠깐! 20. 2.3 Deep Learning Word Embeddings d1 d2 d3 인공지능 추천 시스템 AiRS 개발기 모델링 시스템 최재호 DEVIEW2017 Convolutional Layer Max pooling FC layer (dropout + softmax) unanimity check 유저가

모델 22. 22 2.4 추천 모델 특징 비교 Statistics based Collaborative Filtering Deep Learning Similarity Missing data Categorica Continuou Non-linearity Neural Nets + CF Chi-squared KL-Divergence Neighborhood Matrix Factorization RNN/CNN Deep CF 통계-확률 선형-비선형 23. 1. 추천 모델링이란? 2. 추천 모델 종류와 특징 3.추천 품질 평가 방법 4. 대규모 추천 시스템 구축의 실제 5. 맺음말 24. 24 3.1 추천 품질 평가 요소 Accuracy : 유저가 실제 소비한 아이템이 상위에 추천되는지 Diversity : 다양한 주제/유형의 아이템이

(static) 유저 관심사 변화 (dynamic) 전체 모델간 비교 평가 (general) 실서비스 적용 여부 결정온라인 테스트 모델 선정 26. 26 3.3 추천 모델 평가 지표 추천모델의 기대효과에 따라 지표를 선정하고 시간별 추이를 관찰 추천모델 정확도 평가지표 실서비스 만족도 평가지표 Precision/Recall@N 유저별 클릭수/CTR 신규 아이템 회전율 F-score/AUROC 유저별 총 체류시간 nDCG/MRR 추천 후보를 잘 찾는가? 상단에 잘 랭킹하는가? 유저가 얼마나 소비하는가? 아이템이 골고

Reusability Hive (Meta store) 카탈로그 기반 데이터 뷰 column type desc value id string encrypted id 1234 bcookie string browser cookie CG7GYVQMI4TFQ gdid string document id 98155edc_7b4148fe13c83f2 url string document url blog.naver.com/bbbananas/ referrer string referrer url search.naver.com demo string demographic group M40_44 query string search query a3 2016 time int access time 1486996936 duration int duration time 3230 TABLE gdid_histogram.lcs_point (PARTITIONED BY (ds STRING, ts STRING) 36. 36 4.3.4 효율적인 Task Scheduling Airflow DAGs 기반 관리

추천 모델링이란? 2. 추천 모델 종류와 특징 3. 추천 품질 평가 방법 4.대규모 추천 시스템 구축의 실제 5. 맺음말 29. 4.1 추천 시스템 구축 요구사항 얼마나 많은 데이터를 얼마나 빠르게 업데이트 할 것인가 Throughput 추천 시스템 ScalabilityLatency 1. 네이버 메인 트래픽 10,000 TPS 이상 2. 네이버 액티브 유저 수천만명 개인화 서빙 3. 다양한 추천 서비스에

78% + Data synthesis (유사 문서 추가) D3: 85% (+7%) Performance MilestonesTraining Data Labels: Docs: Depth Class Train Docs Test Docs 1 16 495,378 1,440 2 145 2,826,103 1,450 3 386 2,559,014 3,860 ----- 상당히 복잡하네요. 제가 보기에 이렇게 복잡한 경우 문제점이 뭔지 찾기가 함들지요. 그런데, 최소한 이 시스템이 사용하는 중요한 알고리즘은 머신 러닝을 통해 가장 많은 사용자가 많은 상품을 구매하는

2. 추천 모델 종류와 특징 3. 추천 품질 평가 방법 4. 대규모 추천 시스템 구축의 실제 5. 맺음말 4. 1.1 추천 모델링 정의 유저 정보 추천 모델링 로그 데이터 아이템 정보 특정 시점에 유저가 좋아할 만한 아이템의 리스트를 찾는 것 5. 5 1.2 추천 모델링 고려사항 Key Factors 1. 유저수 2. 아이템수 3. 업데이트 양/주기 4. 모델 복잡도 5. 시스템 성능 vs. *우도할계(牛刀割鷄) 소

중국에서 저축한 돈을 다 털어넣어야 할거 같습니다. 그래서 더 고민이 깊어집니다. 많은 조언 부탁드립니다. 인공지능추천시스템 airs개발기_모델링과시스템 1. 1 인공지능 추천 시스템 AiRS 개발기 : 모델링과 시스템 최재호 AiRS 2. 2 CONTENTS 1. 추천 모델링이란? 2. 추천 모델 종류와 특징 3. 추천 품질 평가 방법 4. 대규모 추천 시스템 구축의 실제 5. 맺음말 3. 1.추천 모델링이란?

댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
«   2024/07   »
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31
글 보관함