多模态机器学习
什么是多模态机器学习🍌每一种信息的来源或者形式,都可以称为一种模态。例如,人有触觉,听觉,视觉,嗅觉;信息的媒介有语音、视频、文字等;多种多样的传感器,如雷达、红外、加速度计等。
同时,模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态,甚至在两种不同情况下采集到的数据集,亦可认为是两种模态。
因此,多模态机器学习,英文全称 MultiModal Machine Learning (MMML),旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。
多模态学习的分类多模态学习可以划分为以下五个研究方向:
1.多模态表示学习 Multimodal Representation2.模态转化 Translation3.对齐 Alignment4.多模态融合 Multimodal Fusion5.协同学习 Co-learning
多模态表示学习🍏单模态的表示学习负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量,而多模态表示学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而 ...
多文本分类|(1)数据集预处理
1.数据集简介🛴 THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上,重新整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。
完整数据集压缩包下载
2.数据预处理🚲 在进行特征提取之前,需要对原始文本数据进行预处理,这对于特征提取来说至关重要,一个好的预处理过程会显著的提高特征提取的质量以及分类算法的性能。 中文文本预处理一般包括以下步骤:
(1)分词:把文本切分成词或者字。
(2)去停用词:文本中大量出现但对分类没有多大作用的词。
(3)噪声移除:去除文本中的特殊符号,如特殊标点符号等。这些符号对分类没有太大意义。
(4)词频统计语过滤:对文本训练集预处理后,统计剩余单词的词频,并过滤低频词,由剩余的单词构建词典。
3.Code ...