请选择 进入手机版 | 继续访问电脑版
发新帖

深度学习,街景识别 | 情感地图:大尺度城市区域的情感感知测量方法

时间:2018-9-28 12:54 0 548 | 复制链接 |
今日推荐一则街景图片的智能分析文章,来自微信公众号未名时空,往期我们介绍过两个街景智能识别的应用,点击这里可以查看:

往期深度学习、街景识别相关阅读:

1、深度学习 | 基于深度学习的城市道路景观意向识别
2、深度学习 | 武汉市城市街景量化研究

作者简介:张帆,北京大学遥感与地理信息系统研究所助理研究员。2017年在香港中文大学获得博士学位;2015-2016年在麻省理工学院Senseable City Lab访问;2013年在联合国亚太经社委员会实习。

内容导读:

城市建成环境反映了城市风貌和功能,很大程度上影响着人们在城市活动中的体验、情感和活动。如何获取个体对大尺度城市环境的感知情况一直是相关领域所关心的问题,而传统方法一直受限于样本的数据量。

本研究利用街景自然影像来刻画城市物理环境,借助来自全球八万名在线志愿者对56个城市超过10万张街景图片的情感评价数据集,首先训练了一个深度卷积神经网络模型,来估计个体对城市场景的情感感知评分。模型在对评估任意一张街景图片是否让人感到安全、压抑、生机等六个维度上取得了较高的准确度,并对北京和上海地区的街道进行评估,进行了初步的实证分析。其次,通过量化表达街景图片,研究进一步对街景中各个视觉要素占比和个体感知评分关系进行了多元回归分析,挖掘了一系列影响个体感知的视觉要素,如植被、建筑物比例、天空开放度等。

本研究为城市物理环境的定量分析提供方法支撑,同时为城市设计、规划和管理提供决策支持。

研究数据:

本研究用于模型训练的数据来自于MIT Media Lab开展的Place Pulse 2.0项目。项目搭建了一个个体对街景情感感知评分的在线平台,并邀请全球的互联网志愿者参与实验 - 选择在随机给出的两幅街景图片中认为更安全/压抑/生机/…的一幅图片。


实验共采集了来自于全球81,630名志愿者的1,169,078次点击数据。表1列出了实验涉及的110,988张街景图片的采集地点;图1展示了其中的图片样本及相应的评分结果。考虑到街景图片分布的广泛性(包含全球28个国家的56个城市)、志愿者特征的多样性(不同年龄、种族、地域)和评分的一致性(不同属性组间无显著差异),我们认为数据集对于一般个体对一般场景的感知具有一定的代表性。

本研究用于北京和上海实证分析的数据集来自于腾讯地图提供的街景图片API接口。数据集包含来自于北京的245,388张街景图片和来自于上海的135,175张街景图片。

表1. MIT Place Pulse数据集中街景图片的全球分布情况




图1. MIT Place Pulse数据集中的街景图片样本及对应的六个感知维度评分

方法与实验

1. 深度卷积神经网络

近年来,以深度卷积神经网络模型为代表的深度学习技术在计算机视觉的各个应用领域中都取得了突破性的进展,其局部链接、权值共享的特点使得模型可以较高效地学习图片空间中的高层次语义信息,进而完成较复杂的任务。本研究基于经典深度卷积神经网络ResNet,在街景图片和个体感知之间进行建模。如图2所示,模型将街景图片作为输入,将图片对应的情感评分得分作为输出,通过训练来预测个体在安全感、生机感等六个维度上对图片的得分。训练收敛的模型可以实现对任意一个城市区域情感感知分布的计算。



图2. 训练深度卷积神经网络(DCNN)来预测个体对街景图片的感知评分

在实验中,我们首先将连续的情感感知评分二值化,利用深度卷积神经网络对图片进行二分类预测,然后对预测的置信度(probability score)进行区间映射,还原情感感知评分的连续值。图3展示了在六个感知维度上准确度随样本数量变化的曲线,较高的样本数量引入了在评分中值附近的噪声。整体上,实验在六个维度的预测中都取得了较高的准确度。


图3. 实验准确度随样本数量的变化

利用训练收敛的模型,我们对北京和上海区域的街景进行了评分。如图4和图5所示,城市区域的感知分布有明显的空间模式。整体上,安全感、生机感、美丽感等维度在城市环线、高架桥等道路上评分较低,而在路网密度较高的居民区评分较高;安全感、生机感、美丽感等维度在中心城区评分较高,而在外城正在建设或相对不发达区域评分较低。此外,值得关注的是与一般结论相左的城市区域,如北京二环内的异常道路,多呈现比较消极的情感分布。


图4. 北京市中心城区在六个情感感知维度上评分的空间分布


图5. 上海市中心城区在六个情感感知维度上评分的空间分布

2. 多元回归分析

如图6所示,不同评分区间的街景图片在内容上有显著差异。为了研究街景图片中各个视觉要素比例和个体评分之间的关系,本研究利用多元回归分析来量化各个视觉要素对于六个维度个体评分的贡献度。如图7所示,我们利用基于PSPNet模型的图片语义分割技术获取图片中150类视觉要素(如墙体、建筑、天空、植被等)的占比,作为多元线性回归的自变量。同时,我们将对应图片在六个维度上的情感感知评分分别作为因变量,进行多元线性回归分析,分析结果将显示150类视觉要素中各个要素对于情感感知评分的贡献度(相关性系数)。


图6. 不同安全感评分区间的街景图片


图7. 利用多元线性回归分析来量化个体场景感知与场景要素间的相关关系

如图8所示,通过实验,我们对各个要素对于情感感知评分的贡献度进行排序,分别列出了排名前5的正相关要素和负相关要素。我们发现各个感知维度和视觉要素的关系不尽相同。例如,与生机感评分最相关的视觉要素是车辆、道路和人行道;而与美丽感、压抑感和富有感最相关的视觉要素是树木、绿地和花等植被,这些结论与城市规划的传统理论不谋而合。我们还发现一些“反直觉”的结论,例如墙体,在六个感知维度中被认为是负面要素。事实上,墙体作为一种非自然要素,会阻挡视野,遮挡阳光,潜在地影响个体对于周围环境的感知。


图8. 图片视觉要素占比和情感感知评分间的多元回归分析结果

总结

本研究利用街景自然影像来刻画城市视觉环境,利用计算机视觉的方法来理解城市空间,为城市物理环境的定量分析提供方法支撑。具体地,本研究提出了一种基于深度学习的模型,来模拟个体对城市街道场景进行情感感知评分。在对北京和上海市“情感地图”的实证分析中,我们观察到了显著的空间模式,发现了个体情感感知在城内与城外、高速路与居民区道路等之间的显著差异,结论在与认知相符的同时,也发现了异常区域,值得进行进一步的分析。“情感地图”从个体感知的角度提供了一个全新的视角来观测空间分异与城市格局,为城市规划和管理提供决策支持。不仅如此,本研究利用多元回归分析对影响个体感知的一系列要素进行了挖掘,一定程度上回答了问题:“什么样的视觉要素最能影响人们的感受”,为城市设计提供一定的理论支持。

研究成果发表在Landscape and Urban Planning中。

参考文献

[1] Fan Zhang, Bolei Zhou, Liu Liu, Yu Liu, Helene H. Fung, Hui Lin, Carlo Ratti. (2018). Measuring human perceptions of a large-scale urban region using machine learning [J]. Landscape and Urban Planning, 80, 148-160.
https://doi.org/10.1016/j.landurbplan.2018.08.020

[2] Fan Zhang, Ding Zhang, Yu Liu, Hui Lin. (2018). Representing place locales using scene elements [J]. Computers, Environment and Urban Systems, 63, 58-67.
https://doi.org/10.1016/j.compenvurbsys.2018.05.005

点击这里查看文献

文章来自:微信公众号,未名时空,原文
素材来源:S3-Lab;
材料整理:张空帆;
内容排版:龚世泽。如需转载请联系原公众号。
____________________________________________________________________________________________________

国匠学堂推荐:国匠学堂:零基础跑通街景图片人工智能识别应用(TensorFlow)



国匠学堂为大家准备了一则课程,通过这个课程,你可以从百度街景图片的抓取,到街景图片的智能识别,走通整个流程,并应用到实际项目中去,如果有兴趣,可以点击以下链接,去学习下这个课程。

这个课程也是一个入门课,可以让你通过这个应用产生兴趣,进入到python和arcgis的学习领域。

https://ke.qq.com/course/335168


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


快速回复 返回列表 返回顶部