重磅推荐：基于深度学习的免费影像语义分割软件，绿视率、天空比，不再是问题

关注城市数据人微信公众号

  数据资讯、数据分享、数据技能  

欢迎文末加入城市数据学社，共同学习进步

小编：影像语义分割应用在多个领域，例如我们经常看到的街景图像识别，计算绿视率，计算天空比，计算建筑占比等。在影像语义分割领域，如何让大家无需学习复杂的Python编码，仅仅通过简单的操作，就可以完成对图像的解析？今天我们为大家推荐一款真正开源、免费、真正基于深度学习全卷积网络(FCN)的视觉影像语义分割软件：来自CUG.HPSCIL的影像识别工具。本软件可以对150个标签进行语义分割，一起来看看详情吧：

配图示意：影像语义分割的街景应用

基于深度学习全卷积网络(FCN)的

视觉影像语义分割软件

发表于2020年8月3日

http://www.urbancomp.net

大家在本公众号回复：工具，即可免费获取本软件的下载地址。

首先我们下载解压缩软件，把软件解加压到一个文件夹即可，我们会看到如下的目录结构：

这里面的Data文件夹放入我们要进行语义分割的图片，然后点击 run.bat ，即可运行并生成结果。就这么简单！（可以用记事本修改run.bat，更改输入输出文件夹等设置）

我们先试试看，在 \Data\Images 放入一些图片，然后点击 run.bat，程序会显示运行状态：

稍等片刻，软件提示识别结束，我们打开 \Data文件夹下的 features.csv，你会发现：

文件名，150类地物在图像中的占比，一清二楚，实在是太方便了！

这时候，在 \Data\Images\seg_files 文件夹，你会发现一堆黑色的图片，后缀以_seg结尾，预览是黑色，不过不要着急，拖进Arcmap看看：

进行符号化显示：

选择唯一值，点击添加所有值，再单击确定：

图片已经非常清晰的通过不同颜色被语义分割了，我们对照下原图：

软件识别效果还是非常不错的：

我们在arcgis里面点击查询按钮(i），查看不同色彩的属性值，就可以知道识别后的地物是什么类型了：

例如上图，查询出来的像素值就是18。注意是查询像素值，而不是OID。

这时候你有了csv表格，也有了切分后的图片，还缺一样东西，那就是不同像素值所代表的150种分类含义了：

• 0 | Unkown objects | 未知对象

• 1 | wall | 墙

• 2 | building; edifice | 建筑

• 3 | sky | 天空

• 4 | floor; flooring | 地板

• 5 | tree | 树

• 6 | ceiling | 天花板

• 7 | road; route | 路

• 8 | bed  | 床

• 9 | windowpane; window  | 窗

• 10 | grass | 草

• 11 | cabinet | 柜子

• 12 | sidewalk; pavement | 人行道

• 13 | person; individual; someone; somebody; mortal; soul | 人

• 14 | earth; ground | 地面

• 15 | door; double door | 门

• 16 | table | 桌子

• 17 | mountain; mount | 山

• 18 | plant; flora; plant life | 植物

• 19 | curtain; drape; drapery; mantle; pall | 窗帘

• 20 | chair | 椅子

• 21 | car; auto; automobile; machine; motorcar | 汽车

• 22 | water | 水

• 23 | painting; picture | 绘画

• 24 | sofa; couch; lounge | 沙发

• 25 | shelf | 架子

• 26 | house | 房子

• 27 | sea | 海

• 28 | mirror | 镜子

• 29 | rug; carpet; carpeting | 地毯

• 30 | field | 场地

• 31 | armchair | 扶手椅

• 32 | seat | 座位

• 33 | fence; fencing | 围栏

• 34 | desk | 桌子

• 35 | rock; stone | 岩石

• 36 | wardrobe; closet; press | 衣柜

• 37 | lamp | 灯

• 38 | bathtub; bathing tub; bath; tub | 浴缸

• 39 | railing; rail | 铁路

• 40 | cushion | 坐垫

• 41 | base; pedestal; stand | 底座

• 42 | box | 盒子

• 43 | column; pillar | 柱

• 44 | signboard; sign | 招牌

• 45 | chest of drawers; chest; bureau; dresser | 衣橱

• 46 | counter | 柜台

• 47 | sand | 沙子

• 48 | sink | 水槽

• 49 | skyscraper | 摩天大楼

• 50 | fireplace; hearth; open fireplace | 壁炉

• 51 | refrigerator; icebox | 冰箱

• 52 | grandstand; covered stand | 看台

• 53 | path | 路径

• 54 | stairs; steps | 楼梯

• 55 | runway | 跑道

• 56 | case; display case; showcase; vitrine | 展示柜

• 57 | pool table; billiard table; snooker table | 台球桌

• 58 | pillow | 枕头

• 59 | screen door; screen | 纱门

• 60 | stairway; staircase | 楼梯

• 61 | river | 河

• 62 | bridge; span | 桥

• 63 | bookcase | 书柜

• 64 | blind; screen | 百叶窗

• 65 | coffee table; cocktail table | 咖啡桌

• 66 | toilet; can; commode; crapper; pot; potty; stool; throne | 厕所等

• 67 | flower | 花

• 68 | book | 书

• 69 | hill | 山

• 70 | bench | 长椅

• 71 | countertop | 工作台面

• 72 | stove; kitchen stove; range; kitchen range; cooking stove | 炉等

• 73 | palm; palm tree | 棕榈

• 74 | kitchen island | 厨房空间

• 75 | computer; computing machine; computing device; data processor; electronic computer; information processing system | 电脑

• 76 | swivel chair | 旋转椅

• 77 | boat | 船

• 78 | bar | 酒吧

• 79 | arcade machine | 街机

• 80 | hovel; hut; hutch; shack; shanty | 小屋

• 81 | bus; autobus; coach; charabanc; double-decker; jitney; motorbus; motorcoach; omnibus; passenger vehicle | 公交车等

• 82 | towel | 毛巾

• 83 | light; light source | 光; 光源

• 84 | truck; motortruck | 卡车

• 85 | tower | 塔

• 86 | chandelier; pendant; pendent | 吊灯

• 87 | awning; sunshade; sunblind | 遮篷

• 88 | streetlight; street lamp | 路灯

• 89 | booth; cubicle; stall; kiosk | 摊位等

• 90 | television receiver; television; television set; tv; tv set; idiot box; boob tube; telly; goggle box | 电视等

• 91 | airplane; aeroplane; plane | 飞机

• 92 | dirt track | 土路

• 93 | apparel; wearing apparel; dress; clothes | 服饰

• 94 | pole | 杆子

• 95 | land; ground; soil | 土地

• 96 | bannister; banister; balustrade; balusters; handrail | 栏杆

• 97 | escalator; moving staircase; moving stairway | 自动扶梯

• 98 | ottoman; pouf; pouffe; puff; hassock | 脚凳

• 99 | bottle | 瓶子

• 100 | buffet; counter; sideboard | 餐柜

• 101 | poster; posting; placard; notice; bill; card | 海报

• 102 | stage | 舞台

• 103 | van | 货车

• 104 | ship | 船

• 105 | fountain | 喷泉

• 106 | conveyer belt; conveyor belt; conveyer; conveyor; transporter | 输送带

• 107 | canopy | 遮篷

• 108 | washer; automatic washer; washing machine | 洗衣机

• 109 | plaything; toy | 玩具

• 110 | swimming pool; swimming bath; natatorium | 游泳池

• 111 | stool | 凳子

• 112 | barrel; cask | 桶

• 113 | basket; handbasket | 篮子

• 114 | waterfall; falls | 瀑布

• 115 | tent; collapsible shelter | 帐篷

• 116 | bag | 袋

• 117 | minibike; motorbike | 小型机车

• 118 | cradle | 摇篮

• 119 | oven | 烤箱

• 120 | ball | 球

• 121 | food; solid food | 食物

• 122 | step; stair | 台阶

• 123 | tank; storage tank | 槽;储罐

• 124 | trade name; brand name; brand; marque | 商标

• 125 | microwave; microwave oven | 微波炉

• 126 | pot; flowerpot | 花盆

• 127 | animal; animate being; beast; brute; creature; fauna | 动物

• 128 | bicycle; bike; wheel; cycle  | 自行车

• 129 | lake | 湖

• 130 | dishwasher; dish washer; dishwashing machine | 洗碗机

• 131 | screen; silver screen; projection screen | 投影屏幕

• 132 | blanket; cover | 毯子

• 133 | sculpture | 雕塑

• 134 | hood; exhaust hood | 罩

• 135 | sconce | 壁式烛台

• 136 | vase | 花瓶

• 137 | traffic light; traffic signal; stoplight | 交通信号灯

• 138 | tray | 托盘

• 139 | ashcan; trash can; garbage can; wastebin; ash bin; ash-bin; ashbin; dustbin; trash barrel; trash bin | 垃圾桶

• 140 | fan | 风扇

• 141 | pier; wharf; wharfage; dock | 码头

• 142 | crt screen | 屏幕

• 143 | plate | 盘子

• 144 | monitor; monitoring device | 监控

• 145 | bulletin board; notice board | 布告牌

• 146 | shower | 淋浴

• 147 | radiator | 散热器

• 148 | glass; drinking glass | 玻璃;玻璃杯

• 149 | clock | 时钟

• 150 | flag | 旗

注：以上中文部分是小编翻译的，仅供参考，大家以英文为准。

接下来，我们就可以对这150种分类在Excel进行图像占比统计了，绿化、道路、建筑、车辆，等等。这将为你的工作节省大量的时间。

我们也可以试试拍摄一下窗外的场景，效果也不错：

注，由于同一道路属于多个分类，所以path，road，两种色彩出现在了这条楼间小路上。这些需要我们在研究时候按需合并。

接下来，我们详细的看一下软件的官方介绍：

软件使用说明：

软件支持将照片进行语义分割（支持识别150种物体，类别ID请查看“输出数据说明”），下载后解压到全英文路径。

软件为控制台程序。鼠标右键点击run.bat文件，使用Windows记事本或Notepad++打开run.bat，修改输入参数：图像文件夹路径和输出特征文件路径。修改后保存run.bat文件，并关闭即可。

鼠标左键双击run.bat即可运行。

输出数据说明

输出数据为16位的分割PNG图像文件，命名规则为“输入图像文件名_seg.png”，存储于输入文件夹的”seg_files”文件夹内。

seg_files文件夹需要提前在分割图像文件夹内新建，否则不输出分割文件，只输出分割结果统计文件。

输出的分割PNG图像文件内每一个ID对应一类物体，类别ID在ADE20K_Class.txt文件中查询，0表示未知地物。

输出的特征CSV文件为每张图像中150类地物所占比例。

注意事项

该程序为Windows控制台程序，需要vs2015以上的运行环境支持。如果没有安装2015以上版本Visual Studio，请在这里下载VC运行库：

https://www.microsoft.com/en-us/download/details.aspx?id=48145。

请保证程序目的和执行都在全英文路径环境下，包括输入参数和图像路径。如果能启动后可识别图像文件，但处理失败的话，文件夹路径改为绝对路径。每张图像尽量不要超过1000*1000大小。文件如果过大可能会超出本地计算机/工作站的GPU内存承载能力，导致内存溢出错误。

注：使用可引用下方论文

Yao, Y., Liang, Z., Yuan, Z., Liu, P., Bie, Y., Zhang, J., … & Guan, Q. (2019). A human-machine adversarial scoring framework for urban perception assessment using street-view images. International Journal of Geographical Information Science, 33(12), 2363-2384.

本公众号回复：工具，即可获取本软件下载地址。

最后，感谢中国地质大学（武汉）信息工程学院关庆锋教授团队，高性能计算实验室（CUG.HPSCIL）实验室，姚尧博士（yaoy@cug.edu.cn）为大家提供免费、易用的优质工具。如果大家对他们的工作感兴趣，欢迎大家访问网站：http://www.urbancomp.net

如果你对后续的分析与应用感兴趣，欢迎扫描以下二维码，加入城市数据人微信交流群：

扫描以下二维码

直接加入交流群

如提示需验证，则可添加以下微信，注明：

“城市数据人”申请加入

长按识别二维码，备注城市数据人

加入讨论群

推荐下载知识星球APP，搜索”城市数据学社“