|
个性化音乐推荐技术研究
数学科学学院 张腾 林宇征
指导教师 计算机科学学院 张谧
摘要 现代的音乐网站与程序应用要求开发出具有个性化推荐能力的音乐推荐系统，本文对音乐，本文总结了音乐推荐系统中的基本思想和算法，并对现有数据集中的长尾部分进行建模与研究。
关键词 个性化音乐推荐 推荐算法 长尾
引言
音乐推荐系统的目标是基于用户的音乐口味向终端用户推送喜欢和可能喜欢但不了解的音乐。而音乐口味和音乐的参数设定是受着用户群特征和用户个性特征等不确定因素影响。例如年龄、性别、职业、音乐受教育程度等的分析是能帮助提升音乐推荐的准确度。
国内的音乐推荐技术发展相对缓慢，大多数音乐网站采用的技术不够成熟，基本上是针对所有用户，个性化成分太少。不过，经过一段时间的发展，国内也涌现出了一些优秀的音乐推荐网站，比如SongTaste、虾米网和豆瓣网等。SongTaste是一个社交性质的音乐网站。在它的社区中，每一个用户都可以看到大家最近在收听什么音乐、有什么新的音乐推荐。它的音乐分类相当齐全，而且推荐排行实时更新。另外，根据用户平时推荐的歌曲、听歌行为以及歌曲收录信息，还能够找到“相似的品味者”，从而更好地做出推荐。豆瓣网也是一个社交性的音乐推荐网站。它主要通过豆瓣小组、新浪微博、MSN、开心网、人人网等互动平台来分享和传播用户喜欢的音乐。也有一些如QQ音乐采用人工分类方法，让平台下的听众自己分类音乐的风格类型。而在推荐上一般采用与该听众所听歌曲的歌手，专辑，或者人工音乐标签（如悲伤，优美）进行推荐。
而国际上虽然有针对用户个人心情或其他个性化的音乐推荐，但由于技术的不完善或研究的不全面，大多缺乏市场化的可推广性。比如其中很具代表性的Pandora网站是基于提取音乐的特征属性，包括速度和节奏等，将其量化为具体数值，之后进行特征相似度的计算，但由于特征相对没有创新性以及组合上的合理性有待完善，所以系统也存在很多缺陷。还有些是根据用户的收听行为和收藏记录，找到与其兴趣爱好最相似的若干个用户，并将这些相似用户普遍喜欢的音乐推荐给该目标用户。由于这种类型完全基于社交网站的内容，以及人与人之间对单位歌曲的欣赏程度有差异所以推荐的音乐比较有局限性。
目前的趋势是结合音乐特征和用户的喜好状态等，针对用户个人个性化的音乐推荐，而非推荐有市场的比较大流的音乐。在音乐分类上更加细化风格和人性化的体验，在音乐推荐上更加注重用户心情的变化等个性化的因素。[1]
1基于内容与环境的推荐系统
随着互联网上信息资源的爆炸性增长，用户从互联网上获取自己感兴趣音乐资源的难度也相应的增加。如何针对不同用户挖掘互联网上用户可能的感兴趣音乐成了一个研究热点，从而个性化音乐推荐系统应运而生。目前主流的推荐算法主要分为两类，一类是协同过滤推荐，另一是基于内容的推荐。前者基于用户之间的兴趣相似性，通过某种算法查找与目标用户最为相似的N个邻居，利用这N个邻居对目标用户还未评分的某个项目的评分来预测目标用户对该项目的评分；后者通过分析项目的内在结构和语义信息，找出目标用户可能感兴趣的某些项目，从而做出推荐。两种算法各有优劣，在不同的系统中得到了应用。有时为了得到更好推荐效果，会混合使用两种推荐算法，混合的方式有加权、变换、特征组合、层叠等等。下面将分别介绍协同过滤推荐算法和基于内容的推荐算法。
1.1 基于内容的推荐
基于内容的推荐算法是根据项目内容与用户偏好之间的相关性，向用户产生推荐。该方法运用用户以往对项目的偏好兴趣建立用户特征（User Profile），并对项目内容进行分析，评估项目与用户兴趣之间的相关性，进而判断并找出用户可能感兴趣的项目推荐给用户。
基于内容的推荐算法主要源于信息检索和信息过滤技术。由于信息检索和信息过滤技术多年来已经有大量显著的研究成果，同时目前基于文本的各种应用仍然广泛使用，因而现有的基于内容的推荐系统主要集中在基于文本的应用上，例如文档、Web 站点以及新闻信息等。不过，这类推荐系统一般都对传统的信息检索和信息过滤技术进行了改进，主要是在系统中建立了用户特征（Profile），其中包括关于用户品位、偏好和需求等用户相关信息。这些用户特征信息可以显式地从用户那里直接获取，例如通过向用户进行提问，在用户的回答中获取相关信息和知识；也可以隐式地获取，例如从用户过去的行为模式中学习。在建立了用户特征之后，在推荐过程中，系统将度量用户特征与项目之间的相似性，进而决定向用户推荐的项目。除了传统的信息检索方法以外，基于内容的推荐系统还引入了其他一些技术，主要是一些数据挖掘、机器学习领域的技术方法，包括Bayes 分类器，聚类，决策树，人工神经网络等。有别于传统的信息检索技术直接度量用户特征与项目之间的相似性，这些方法运用统计学习或机器学习技术建立模型，进而通过模型预测推荐的项目。
应用在音乐推荐上，是通过提取音乐内容本身的信息和结合音乐元数据的分析，然后根据与用户音乐口味的差值比较去呈现最接近的音乐。音乐元数据分析也就是给每首歌曲添加标签，这些标签可能包括音乐的调性、速度、节奏…等等。这种方法的弊端是需要大量专业的人工完成，分析的结果受这些专业人员一定程度上的主观因素影响，而且本身元数据的分类和分级设计是一项非常专业的工作。这可能也是采用这种方法的网站相对较少的原因。这种方法最大的有利之处就是解决了协作过滤中新音乐推荐的问题。潘多拉音乐服务是最典型的内容过滤，据称是采用了200多种音乐元数据。
1.2协同过滤推荐
协同过滤推荐系统是第一代被提出并得到了广泛应用的推荐系统。其核心思想是：利用用户的历史信息计算用户之间的相似性，然后利用与目标用户相似性较高的邻居对其他项目的评价来预测目标用户对特定项目的喜好程度。协同过滤系统的最大优点是对推荐对象没有特殊要求，能够处理音乐、电影等非文本结构化的对象。另外，协同过滤系统能够发现用户未曾评价或者接触过的某类新鲜项目，是基于内容的推荐无法做到的。
一个典型的协同推荐系统见上图。系统的输入是一个所有用户对所有项目的评价矩阵，矩阵的第i行第j列的值表示用户U对项目I的评分。由于用户对项目的评分数据一般比较少，因此该矩阵为一个稀疏矩阵。那些没有数值的单元格M 表示用户i还未对项目j评分，也就是系统所要预测的目标。协同过滤算法的第一步是寻找与目标用户的相似用户集。目前有多种方法可以利用已有的用户评分数据寻找相似用户集，最常见的是余弦相似性和皮尔森相关性。
(1)
余弦相似性
(2)
Pearson相关相似性
找到相似用户集之后，可以预测目标用户未评分项目的评分。通常综合考虑相似用户集中的用户预测目标用户对项目的最终评分。
协同推荐系统虽然得到了广泛的应用，但是也存在一些不可忽视的缺陷。其中最突出的问题是冷开始(Cold-Start)问题和稀疏性(Sparsity)问题。所谓冷开始问题就是当某些项目没有得到任何用户评价或者某些用户没有对任何项目做出评价时，系统无法推荐该项目或者预测该用户的偏好。所谓稀疏性问题，就是当系统的项目和用户数量十分庞大时，用户对项目的评价一般都非常稀少，难以找到相似用户集，大大影响了推荐系统的效率。
1.3混合推荐算法
为了避免基于内容的算法和协同过滤算法各自的缺点，可以将两种算法结合起来使用。例如可以分别使用两种算法产生两个推荐结果集，直接呈现给用户；或者先用基于内容的过滤算法得到一个结果集，然后在这个结果集上使用协同过滤算法得到更加精确地结果，等等。也可以将这两种算法与其他推荐算法混合，弥补这两种方法的共同缺陷。在组合方式上一般有以下几种组合思路：
(1) 加权：加权多种推荐技术结果。
(2) 变换：根据问题背景和实际情况采用不同的推荐技术。
(3) 混合：同时采用多种推荐技术给出多种推荐结果，为用户提供参考。
(4) 特征组合：组合来自不同推荐数据源的特征被另一种推荐算法所采用。
(5) 层叠：先用一种推荐技术产生一种粗糙的推荐结果，第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。
(6) 特征扩充：一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。
尽管理论上有很多种推荐组合方法，但在某一具体问题中并不见得都有效。组合推荐一个最重要的原则就是通过组合后要能避免或弥补各自推荐技术的弱点。[2]
1.4新型CAMRSs模式
利用一个统一的概率模型---ACACF（该模型采用了贝叶斯框架无缝集成上下文感知活动分类和音乐内容分析）。下面是研究中的几个模型化：
1. 问题模型化
假设C是一组日常活动（包含所有能涉及的），S是一组歌曲，A是用户。假定A一天中都携带移动设备和数据流分析分设备且所有的活动都属于C，那么我们可以由各个活动以及音乐内容中提取出大量特征矢量f，作为我们下次音乐推荐是匹配使用。
2. 概率模型
为了从得到的数据特征矢量中分析出用户现有的而活动类型，主要利用贝叶斯公式：
 （其中f是数据特征矢量，c是日常活动类型）
另外，再引入一个随机变量R和用户满意度变量S，则判断标准可以用联合概率密度来表示：
 这样的话，音乐推荐任务是定义如下：给定的特征矢量f，计算从传感器数据，找到一首歌曲，最大限度地提高用户满意度。评估公式为：
1.5 移动音乐推荐系统
现有的音乐推荐系统依靠协作或基于内容的过滤技术来满足用户的长期音乐播放的需要。鉴于移动设备的普及和音乐的丰富和无线通信设备能力的发展，我们在这展示一种新的系统，它是利用上下文信息收集与移动设备以满足用户的短期音乐播放的需要。依托我们的上下文信息系统，集成了音乐内容分析，为日常活动音乐推荐提供建议。
用户的短期音乐的需求通常受用户活动的影响。例如，一个比较精神的用户一般喜欢大声，充满活力的音乐。为了满足用户的短期的音乐需要更好的音乐推荐系统来需要考虑到这方面的信息。如上篇所讲，传统的音乐推荐系统可以分为三类：CF模式；基于内容的模式；混合模式。但是三者都没有考虑用户的状态和心境以及所处的环境。出于这些观察，我们提出了一个无处不在系统建成使用的现成手机，自动推断用户的活动，从低层次的，实时传感器数据，然后推荐歌曲匹配的音乐内容分析和隐式反馈的基础上推断的活动。
整个系统的体系结构如图所示。
2 基于评分的推荐算法
2.1 基于评分的数据模型
模型建立在以评分（ratings，记为r）为主体数据上，目的在于通过已知的评分数据，记作κ, κ
= {(u, i) | rui
is known}，来预测出用户（u）对没有评分的目标（i）的评分rui，继而通过预测评分的高低列出推荐出的歌曲/歌手。
而预测数据的误差用均方根误差（RMSE）
来表示，其中
 代表预测出的数据，TestSet是测试数据集。
2.1.1基准（baseline）评分预测
对于任意一个未被用户u评分过的目标i，可以给出一个基准评分（baseline），记作bui，
其表达式如下：
其中，μ为所有评分的平均值，代表一个基准值，bu、bi代表用户u与目标i的评分的偏移量。比如用户u的评分总体较低，则bu为负值，目标i受到其他用户的评分较高，则为正值。其估计值通过梯度下降法求解最小平方问题
其中λ1(Σu b2u+Σi b2i)项是防止过拟合的一项。
2.1.2
矩阵分解模型（matrix
factorization model）
将奇异值分解应用在推荐系统中，用特征向量来表征用户的喜好与目标的特征，这一方法被广泛运用到各种模型中。假设特征向量空间为f维，每一个目标有与之相关的一个特征向量qi
∈ Rf，类似的每一个用户对应于一个pu ∈ Rf，每一个分量代表在某一特征的程度，两者的点积，即代表着用户u对目标i总体的兴趣，将这一项加入到基准评分预测中，得到基础的个性化预测评分
上述参数同样是求解最小平方误差问题
 得到的。其中正则化参数λ4一般由交叉检验得到。
在用户模型部分（pu）方面，可以进行进一步的改进，如
其中N（u）表示被用户评价过的目标集，其中所添加的yi量一样是通过梯度下降法得到，表示的是用户的隐性反馈（implicit feedback）。
2.1.3 考虑时间的模型
在一般理解下，用户对于音乐的喜好、音乐被大众的喜爱程度会随着时间而改变，
这就启示人们将时间作为参数考虑进推荐模型中去。在上述模型的基础上，加入时间作为变量，虽然使模型的复杂程度大大加深，但是确实有着可预见的强有力的前景。
如基准评分预测中，加入用户u对i进行评分的时间（日期）tui
其中对bu与bi关于时间的修饰根据实际情况的不同可以有不同的方案，比如对于bi（目标评分相对与总体评分的偏差关于时间的变化），考虑将时间分成若干个区间（Bin）将每个区间根据这个区间（时间内）目标获得的评分值赋予这个区间内它获得评分的一个偏移值（常数），由此得到
而对于用户评分的偏移，情况可能就更加复杂。考虑到在时间t对某个电影做出了评分，那么定义这个评分关于时间的偏移量（deviation）为
其中tu为用户u做出评分的平均天数，β由交叉检验得到，对于每一个用户，引入一个新的参数αu，表示不同用户评分对于时间偏移量的“敏感程度”，由此得到用户评分相对于时间改变模型的第一个简单定义：
进一步，对于每一个用户u，可以选取一列含有ku个点的时间点列
 均匀分布在用户u的评分时间里。将这些点作为控制点（control point）得到用户评分对于时间变化量的第二种定义：
其中参数
 是与各时间点相关的参数，同样也是从数据中学习得到。在以基础上修改最终的预测评分 ，使其具有时间性质。
但是值得注意的是，这种模型在数据的尾部表现并不尽如人意(RMSE随着流行程度的降低有升高的趋势)。我们希望从这个方面入手，通过对尾部的研究，希望建立一个适当的模型，加入到这个基础的模型中，以在保证整体RMSE不升高的同时提升尾部的推荐效果，以此达到个性化、具有偶然发现特征的推荐。
2.2
对长尾数据的建模与分析
2.2.1 对数据进行回归分析的动力
通常的基于用户评分的推荐算法往往会导致商品出售的多样化程度降低，即给用户推荐的往往是最受欢迎的产品。[6]而在音乐推荐方面，往往用户需要的是得到个性化的推荐结果，这些音乐家或音乐往往是不被多数人所熟知的，即在数据的“长尾”部分。这就首先需要我们对这一部分的数据进行研究。在长尾数据方面，我们期待通过对数据的建模与回归分析，得到置信度较好的表达式（通常具有实际意义）来表现尾部的数据分布。通过这样的模型来丰富之前的推荐模型，使其在尾部的表现能更加优秀，以此达到提升个性化推荐与偶然发现能力的效果。
2.2.2 模型与实现思路
这里我们主要选取的模型是幂率分布(power-law distribution)。在很多现实例子的分布中，如单词的使用概率、城市人口、书籍销售、网站点击率都呈现出幂率分布的特点。[7]假设p(x)是数量x的概率分布，那么幂率分布就符合如下的模型。
其中指数α大于零，表征数据的弯曲程度。显然党x增大时分布的图像具有长尾的形状。
对于一般的数据，如果我们对其做log-log函数图，即等式两边取相同底数（一般是以10为底的常用对数），两个坐标轴是非线性的log函数，得到的图象将会是一条直线。这是一般判断是否符合幂率分布的方法。
但是在很多情况下，数据的总体分布（从头到尾）并不是属于一个分布情况，更有可能的是从某个阈值开始服从一个固定的分布（幂率分布），将这个阈值记作xmin。经过归一化处理，得到如下分布模型。
离散情况下，幂率分布模型为
其中
为Hurwitz
zeta函数，同样是作为归一化系数。
设置了具体模型以后，需要做的就是如下几个步骤：
1）
估计参数xmin及α；
2）
评估数据与模型的拟合程度；
3）
与其他假设模型比较。
2.2.3
参数估计与评估
第一步中我们假设已知了xmin。通过最大似然估计（MLE）估计参数α。
连续情形条件下，我们的似然函数（数据是从假设模型中得到的密度）正比于
估计值α即为使得似然函数p（x|α）最大的值。通过求导数零点以及最大值的存在性，我们最后可以得到估计值为
相应的标准差为
对于离散分布，相应的估计值与标准差为
 
注意到在离散的条件下，对于其似然函数的求解一般是用数值解的方法得到，上述给出的
 是对其解的较精确的估计。
下一步要解决的问题就是“从什么时候开始数据符合指数分布”。
具体的方法从简单到复杂有如下几个：
1）
作log-log图（变量与分布函数均取对数），在图上观察开始出现线性的一点；
2）
作
-xmin 图，观察开始出现稳定的（纵坐标不变）一点；
3）
Kolmogorov-Smirnov（KS）算法
其中S（x）与P（x）分别表示实际的数据分布与以某个xmin值为参数拟合出的幂率分布。
最后需要检验是否符合模型分布。在一般情况下，拟合出的数据分布要经过进一步的检验，以判断是否满足幂率分布。通常的方法是通过计算p值（p-value）来判断数据是否符合假设的分布。利用之前给出的KS距离D，p值一般定义为从同样的模型中生成的数据（synthetic data）所拟合出的距离D与用上述方法从实验数据（empirical data）所拟合出的距离之前的比较，前者大于后者的概率。若p值接近1，则实验数据和假设模型的拟合度，也就是符合程度好。
具体实现步骤如下：
1）
用前面的方法计算出最佳拟合出的模型的参数，即α与xmin；
2）
计算上面得到的模型与数据实际分布之间的KS距离D；
3）
在上述模型的基础上生成数据，每一个用一样的办法得到相应的KS值。生成数据（synthetic
data）获取方法：假设所观察的数据集有ntail个点属于尾部数据即ntail=|x|x≥xmin|，总共要产生n个点。以ntail/n的概率，从以
 ，xmin为参数的概率分布中得到数据xi，用1-ntail/n的概率，从x<xmin的实验数据集的中得到xi。如此重复n次得到n个点；
4）
计算p值。
 ；
5）
p值与阈值比较，判断是否符合假设模型的分布。
关于p值精度的估计方面，如果要得到精度为ε的p值，一般需要1/（2ε）2个生成的数据集（synthetic
data sets），如得到两位精度，那么需要2500个生成的数据集。一般情况下为1000到10000个数据集，根据原始数据集可能有不同的改变。
关于p的阈值，也就是显著性水平的选取。一般认为，若p≤0.1，则可以判断数据不符合幂率分布。在有的情况下选取0.05甚至0.01作为阈值。
然而需要注意的是根据p值的假设检验只能作为拒绝错误假设模型的依据，不能作为肯定正确模型的依据。但是不失为一种强有力的判断方法，不同的假设模型之间p值的比较可以使这种方法发挥更强有力的作用。
值得一提的是，类似于幂率分布，对分布函数稍作修改就可以得到其他分布的模型。下表列出了其他可能的模型，其中常数C为归一化常数，使得
 （连续分布）和 （离散分布）。
第一个就是我们所描述的幂率分布，其中第三个指数下降同样具有相当大广泛的物理和统计意义。注意到，指数分布在对y轴取对数后同样表现为线性，可以作为区分指数分布与幂率分布（同时对x与y轴取对数表现为线性）的依据。
2.3
数据与实验
2.3.1 数据描述与数据预处理
我们在http://www-etud.iro.umontreal.ca/~bergstrj/audioscrobbler_data.html上找到了一组可以使用的数据集，该数据集是Audioscrobbler根据使用该插件的用户收听情况得到的数据，而Audioscobbler现已被合并至last.fm。这组数据是截止到2005年的，如图所示
这是用数据处理软件UltraEdit打开数据集后的部分截图，第一栏数据代表着用户的ID，第二栏数据代表音乐家的ID，第三栏数据代表该用户对该音乐家作品的播放次数。由于我们要得到不同音乐家的播放次数的分布图，因此第一栏用户的ID我们就不需要了。
第一步要做的就是用UltraEdit将第一栏删掉。
第二步则是把相同的音乐家ID的播放次数相加，这里用的是Excel2010版（因为此版本数据最大量为100多万行，满足我们的要求）。我把下载到的数据分七次（每次约为104万组，每组有音乐家ID和播放次数）拷贝到Excel中，由于原数据制表符的问题，我们需要将数据先用工具分栏，然后得到如图所示的第一步数据。
经过数据透视表的处理和排序，得到如下的数据。
然后将七组数据，分别进行数据透视表的处理（合并同类项），各自从104万行数据变到20多万行数据。接着再将7组处理过的数据再经过数据透视表整合（由于20*7=140万大于限制的104万行，因此此步骤要处理两次），得到一个80多万行的数据。再将艺术家ID这列删除，就导出了80多万组播放次数的数据。
此数据即为我们实验所用数据。
2.3.2 对长尾数据的回归分析
我们得到了一个含有80913个数据的一维向量，每个数据对应某个音乐家（artist）的播放次数，最大值为152498，最小值为1。我们期望通过建立一个模型
 对其进行描述，y为播放次数，x为音乐家根据播放次数由高到低排名。降序排列后作图，横坐标排名，纵坐标为播放量。放大局部如下（考虑到尾部有很多值为1，总体图不明显）
数据表现出较好的长尾形状。其中播放次数小于等于10的个数为723456个，占总体的89.40%。而就播放量来讲，排名前0.1%的音乐家，即前809个音乐家的播放量占总播放量的48.06%；排名前1%的音乐家，即前8092个音乐家的播放量占总播放量的80.66%。
进一步，我们对其做y轴取对数，以检测是否符合指数分布，即
 分布，如图
显然不符合线性的特征，继而做对x轴y轴同时取对数，作图
可以发现，大致来看，从图中标出的点开始图像呈现明显的线性分布，由于尾部存在大量小于10的数据，故存在阶梯型分布，也符合实际情况。
由于我们主要研究的是尾部的数据，至此可以将假设模型设计为
需要估计的参数值依然为C、α（幂率分布的系数与指数）以及xmin，从某一个数据开始符合此分布模型。
我们在这里除去了末尾中播放次数为1的数据，利用以最小二乘法的基础的线性回归来估计这两个参数，这里将两个部分的参数合并到一起来做。由于我们利用的回归方法是最小二乘解来进行回归，和3中对参数的估计有所区别，但是就统计意义来讲是类似的都是将某种误差取到最小。但是要注意的是，3中在参数估计之后所用的KS检测中将“实际数据分布与假设模型相应点最大距离”即D值作为参数很可能不适用于我们所得到的这个数据集。在这里我们引入另外一个参考量，即误差方差（error variance）作为在xmin选取的参考值。其理由有两点：
1）原始数据集中尾部有大量的小数据（如2、3，在图中表现为曲线最右端的阶梯型曲线），导致这些数据点对D值的影响在我们测试的从某个x开始所有尾部数据集中占主导影响。
2）在进行最小二乘法得到的预测模型的假设检验中采用方差来确定最佳拟合的开始点在误差标准上是前后一致的。
我们利用这两个参数作为误差评价标准在估计xmin值，注意到在估计xmin值时同时也要得到α与C，可以说两个参数最后是同步得到的。
A.
KS过程中以D值为参考的估计
在这里D定义为
其中绝对值里代表实际数据与我们以某个值作为xmin拟合出的假设模型的差值。最后估计的
 min即使得D最小的参数值xmin。
实验中我们得到了D对xmin的分布如下：
图中可以看到存在一个最低点，得到xmin=9006，同时我们得到的参数值C、α为
在log-log图上做出如下
B.
以方差为参考的估计
这里我们将每次实验后得到的参考值从上述的距离D改为方差。由此得到的方差对xmin的分布如下：
此时得到的xmin为3947，相应的C与α为
在log-log图上做出如下
在本数据中，尾部表现出十分完整的幂率分布特点，由方差所确定的模型来看，可以得到：
1）在显著性水平为0.05的条件下α值的置信区间为[1.4438,1,4446]，置信区间的长度控制在了中心值的0.05%；
2）方差也是一个低水平，即0.01左右；
3）在返回的F检验值与t检验后得到的p值同样也反应了不否定原假设的结论。
至此可以认为，本数据的尾部的确是符合幂率分布的特点，这也与一般的统计规律相吻合（与书籍、唱片的销售在尾部的分布模型相同）。幂率分布的模型是可靠的。
2.3.3
其他可用的的数据集
在音乐推荐系统的数据方面，last.fm提供了较全的数据，在last.fm提供的API中有许多数据集是开源的主要分以下几个部分：
根据last.fm上的数据类型，以下几个或许是对实验有用的数据集：
3.研究前景与发展
在基于长尾的音乐推荐模型方面，还能将这一部分的数据分布和用户自身的数据分布结合起来，通过机器学习的相关算法对现有的推荐算法进行改进，做到能帮助用户得到偶然发现新奇的音乐的效果，同时又对整体推荐算法的误差影响达到最小。笔者自身尝试过若干网站、软件的音乐推荐功能，发现推荐的效果往往在准确度与新颖程度这两个方面难以做到一个好的平衡（trade off）。这一方面的改进也将大大提升用户体验，使音乐推荐能真正达到个性化与智能的效果。
基于内容的音乐推荐模型方面，搜集音频本身的特征，在通过过滤、与用户匹配达到音乐推荐的目标。音频特征不同与其他的多媒体数据，其基础特征非常多样（信号层次），但是就人类的感知而言，这些底层的音频特征无法单一地反应人类对于音乐的感知（如音乐风格、音乐情感等），如何从这些底层特征中抽象、总结、整合出高层的音乐特征，并且找出能在音乐推荐系统中最有效的音频特征成为音频特征领域的一大研究方向。这一部分的研究要求同时对音频处理有一定的知识，更加需要对音乐（尤其是流行音乐）有广泛的涉猎和深刻的了解。未来的发展应该在前人的研究基础上，通过一些较为成熟的音频特征（如MFCC等）实现基于内容的音频特征的算法实现。
致谢：感谢张谧老师对我们细心耐心的教导，感谢李伟老师引领我们进入音乐计算这个新奇而富有挑战的领域，还有感谢计算机学院的老师和同学能够帮助我们进行课题的进展与实施！再次感谢！
|
[3] Xinxi Wang,David Rosenblum,Ye Wang Context-Aware Mobile Music
Recommendation, MM’12, October 29–November 2, 2012, Nara, Japan.
[4] Xinxi Wang, David Rosenblum, Ye Wang A Daily, Activity-Aware,
Mobile Music Recommender
System，MM’12, October 29–November 2, 2012, Nara, Japan.
[5] Bell R M, Koren Y, Volinsky C. The bellkor 2008
solution to the Netflix prize[J]. Statistics Research Department at AT&T
Research, 2008.
[6] Fleder D, Hosanagar K. Blockbuster culture's
next rise or fall: The impact of recommender systems on sales diversity[J].
Management science, 2009, 55(5): 697-712.
[7] Clauset A, Shalizi C R, Newman M E J. Power-law
distributions in empirical data[J]. SIAM review, 2009, 51(4): 661-703.
没有评论:
发表评论