基于Python+Echarts的大数据可视化系统的设计与实现

2019年第4期

安徽电子信息职业技术学院学报

No.4

2019第

18

卷（总第

103

期）J0URNAL0FANHU1

VOCATIONAL

COLLECT

OF

ELECTRONICS

&

INFORMATION

TECHNOLOCY

General

No.

103

Vol.

18［文章编号］1671-802X（2019）04-0006-04基于Python+Echarts的大数据可视化系统的设计与实现陈俊生，彭莉芬（安徽电子信息职业技术学院，安徽蚌埠233000）摘

要：基于Python+Echarts的大数据可视化系统采用B/S架构，借助于Python强大的数据获取和

处理技术实现了区域网络餐饮数据的采集、清洗、整理及分析计算工作并推送至MySQL数据库中。后台

采用基于Python的Flask框架实现数据接口功能，前端综合运用了

HTML、CSS、JavaScript等，并结合

Echarts数据可视化组件，实现了数据到可视化图表的转换。系统可以为决策者提供科学化的决策辅助。关键词：数据可视化；Python;

Flask;

Echarts中图分类号：TP311.52

文献标识码：ADesign

and

Implementation

of

Large

Data

Visualization

System

Based

on

Python+EchartsChen

Junsheng

,

Peng

Lifen(Anhui

Vocational

College

of

Electronics

and

Information

Technology,

Bengbu

233000,

China)Abstract:

The

large data

visualization

system

based

on

Python+Echarts

adopts

B/S

architecture.

With

the

help

of

Python's

powerful

data

acquisition

and

processing

technology,

the

collection,

cleaning,

sorting,

analysis

and

calculation

of

regional

network

catering

data

are

realized

and

pushed

to

MySQL

database.

In

the

background,

Flask

framework

based

on

Python

is

used to

realize

data

interface

function.

The

front-end

integrates

HTML,

CSS,

JavaScript,

etc.

and

combines

Echarts

data

visualization

component

to

realize

the

conversion

of

data

to

visual

system

can

provide

scientific

decision

support

for

decision

words:

Data

visualization；

Python；

Flask;

Echarts—、引言于商业利益的驱使，有些推广显得商业味比较重，

不能做到实事求是，甚至还包含虚假推广的成分，

这些都可能在消费者进行决策时对其造成不同程

随着电子商务技术的发展及生活节奏的加快,

很多餐饮企业陆续推出了网上订餐及外卖服务。

为了招揽更多的顾客，各大主流团购或网上订餐

度的误导。此时消费者想要做出正确的决策需要

耗费大量的时间和精力对网站提供的大量数据进

网站都对上线的商家及菜品提供了相应的销售、

用户评价和评分数据，但是在实际推广过程中由

行分析与归纳。*收稿日期：2019-06-27作者简介：陈俊生（1982-）,男，安徽六安人，讲师，研究方向：大数据技术。基金项目：2018年度安徽高校自然科学研究重点项目（KJ2018A0781）

；

2017年安徽电子信息职业技术学院自然科学研究项目

（ADZX1703）

QXUEBAO2019820

技怵应用II陈俊生*彭莉—基于Python+Echarts的大数据可视化系统的设计与实现第4期大数据分析技术的发展使得我们快速有效地

分析这些数据成为了可能。同时大数据也正在对

域餐饮业网络数据为研究分析对象，最终以可视

化的方式把分析结果呈现出来。通过该系统，可

以以简单明了的方式为个人用户在美食商品选择

科学研究、思维方式和社会发展产生重要的影响。

具体来说，在科学研究方面，大数据使得人类科

及商家在业务定位和推广时提供科学的决策辅助。二、总体设计基于Python+Echarts的大数据可视化系统从

学研究在经历了实验、理论、计算三种范式以后，

迎来了第四种范式——数据；在思维方式方面，

大数据具有“全样而非抽样、效率而非精确、相

关而非因果”三大显著特征，完全颠覆了传统的

功能模块上划分可以分为数据采集模块、数据分

析处理模块、数据存储模块及可视化呈现模块。

系统基于B/S架构设计，借助于Python强大的

数据采集和分析处理技术实现了区域网络餐饮数

思维方式；在社会发展方面，大数据决策逐渐成

为一种新的决策方式叫在众多的数据分析技术中，可视化分析技术

据的采集、清洗、整理及分析计算工作并推送至

越来越多地被人们用于分析和理解数据，可视化技

术可以将数据转变为易于理解的图表，为大数据分

MySQL数据库中，后台采用基于Python的Flask

框架实现数据接口功能并将数据库中的数据推送

析提供了一种更加直观的理解、分析与展示手段,

有助于发现蕴含在大量数据背后的奥秘和价值。鉴于此，基于Python+Echarts的大数据可视化

至前端,前端综合运用了

HTML、CSS、JavaScript等，

并结合Echarts数据可视化组件，实现了数据到可

视化图表的转换，并完成了用户和系统之间的交

互。系统总体架构设计如图1所示。系统旨在利用大数据的思维，以采集到的蚌埠区

图1系统总体架构图图2分布式爬虫策略2019.&20XUEBAO

技I应用I陈俊生*彭莉芬—基于Python+Echarts的大数据可视化系统的设计与实现第4期三、研究的主要内容及技术路线（一）研究的主要内容1.

快速有效地进行数据采集的策略研究大数据可视化系统中数据的采集通过分布式

爬虫算法实现，数据采集的速度更快。传统的单

机爬虫会受到诸如CPU、10和带宽等多重限制，

而分布式爬虫的原理是在进行数据采集任务时，

由一台主机（Master

）负责分配任务给Slaver节点,

具体的数据采集任务则由多个Slaver节点共同完

成，进而提高数据采集的性能。系统中设计的分

布式爬虫策略如图2所示。2.

用大数据思维进行数据分析挖掘工作的算

法研究本系统中常规数据的分析计算工作相对简单,

难度在于分析出消费者对于的美食产品的关注点

及情感倾向（正面和负面）。由于这些数据都要

从评论的文本信息中获取，所以不可避免要进行

中文的分词操作，并对分词的结果进行情感倾向

分析。中文分词作为文本信息挖掘的重要手段，

在文章关键词提取，产品的评论的维度挖掘和评

论的情感划分等方面都有着广泛的应用。由于Python中提供了较为强大的中文分词程

序库，所以本研究中初始分词及词频统计工作由

结巴分词第三方程序库完成，主要的研究工作集

中在如何判定分词结果的情感倾向（即正面还是

负面）上，对于这些词传统的情感倾向分析大都

是基于语义分析来进行的，对情感词典和算法要

求都非常高，不易实现，考虑到本研究中情感划

分只需要分为正面的和负面，而正负情感和评分

之间必然存在正向相关性，再加上所采集的是大

量的数据，不具有局部随机性，所以利用大数据

的思维采用关注点（分词以后词频最高的一些词）

回溯到原始数据中，结合评分信息综合判断的方

法来判定关注点的情感倾向。具体来说就是用分

析出来的关注点回溯到原始的数据中，统计出各

个评分星级的人数，如果对应评分中五星、四星

的人数居多，则可判定该关注点为正面，反之如

果一星和两星的人数居多即为负面。V

卜〜LLL

I」■

2019.8.203.

Web框架的研究由于本系统采用的核心编程语言为Python,

所以这里只研究了

Python中常见的Web框架。

Python中被广泛部署的Web框架大致有以下13种：

CubicWeb、Django、Web2py、Weppy、Zope2、

Bottle、CherryPyA

Falcon、Flask、Pyramids

Tornado,

和

其中前

5

种框架

是重量级的Python

Web框架，采用“控件”方法，

可以实现几乎所有的Web应用程序所需的功能，

但是使用相对复杂，而后8种框架则是一些轻量

级的框架，使用的门槛较低。Flask是一种微小的、成熟的且易于理解的

Python

Web框架何,虽然体量微小但它具有极强

的可扩展性，Flask的核心吸引力在于其进入门槛

低，可以使开发变得简单易行且无冗余功能。使

用Flask进行轻量级Web项目或基本REST

API几

乎不可能出错。其中使用的HTML模板系统Jinja2

使渲染文本变得更加容易，这也是其在业界受到

追捧的重要原因之一。4.

可视化工具的研究具体的可视化工具种类繁多，有很多选择，有

一定用户基础的常见工具包括、、

、Google

Chart

Tools、HighCharts、Echarts、

iCharts、R、Tableau

Public >

、Python

（如

Plody包）等叫

其中的Echarts由国内IT三巨头

之一的百度推出，它简单易用、开源并且支持中

国地图功能，在业界有着良好的口碑，应用范围

较为广泛。（二）技术思路本系统基于B/S结构构建，借助Python中的

Request、BeautifulSoup

及

Scrapy

等程序库完成数

据的采集工作，并使用Pandas程序库进行数据

的清洗、整理、分析和计算工作，处理以后的数

据将被推送至MySQL数据库中，后台采用Flask

框架实现数据接口的功能，并将MySQL数据库

中数据推送至前端页面，前端主要采用HTML、

JavaScript、JQuery相结合，并调用Echarts可视化

组件，完成数据向可视化图表的转化，用户只需

技怵|应|用陈俊生*彭莉—基于Python+Echarts的大数据可视化系统的设计与实现第4期要使用谷歌或火狐等浏览器即可使用本系统。四、系统应用效果评估种基于人类视觉通道进行数据分析的手段，在很多

领域都发挥着帮助用户理解数据、发现数据特征,

进而辅助推理决策的作用[4'5]0可视化系统实现以

该系统的实际意义在于通过可视化技术将区

域餐饮的数据用更加直观、易于理解的方式表达

出来，是一个辅助数据挖掘的过程。可视化作为一

后部分界面如图3所示。图3可视化系统部分界面截图图4系统可视化效果评估2019.&20（下转第22页）XUEBAO

技I应用I吴海红*陈昕一Proteus软件在数字电子技术课程中应用实例分析参考文献：第4期经过仿真，该电路可以实现三人抢答器要求

的功能。通过方案比较、仿真分析、电路改进，将《数

字电子技术》课程中的两大模块——组合逻辑电路

[1]

王尔申，庞涛，李鹏，等.Multisim和Proteus仿真

在数字电路课程教学中的应用[J].实验室技术与管理，

2013,30

（3）:

78-81.和时序逻辑电路的设计知识都进行了实际运用。五、结语本实例充分利用Proteus软件将理论知识和实

践相结合，使教师讲授的理论知识更宜观、形象

地展现给学生，允许学生在仿真时进行大胆假设、

[2]

许维莹，郑荣焕.Proteus电子电路设计及仿真（第2

版）[M].北京：电子工业出版社，2014,2

:

98-132.⑶江力.数字电子技术[M].中国科学技术大学出版社,

2014,6:

131-137.尝试，教学中很多重点、难点都可以通过仿真分析

得到解决叫同时，Proteus软件操作简单，容易上

[4]胡中玉，岳强，任杰，等.基于Proteus仿真的电工

电子课程教学创新[J].实验室技术与管理，2016,33

（4）:

128-130.手，在很大程度上提高了学生对分立元件和集成芯

片的应用能力，激发了学生对本课程学习的兴趣，

对改善教学效果起到了很好的促进作用。（责任编辑：黄凤娟）（上接第9页）系统应用效果的评估采用试用加体验问卷调

在后续的研究中将进一步改进和完善。参考文献：査的方式，体验问卷涵盖了交互性、实用性、准

确性、直观性和美观性五个维度。笔者挑选了

30

名体验者试用了本系统并参加了匿名的问卷调查,

[1]

林子雨.大数据技术原理与应用[M],人民邮电出版社,

这30名用户都有过网上订餐的经历。通过问卷调

2017.[2]

刘历，章国宝.基于Flask的智能家居服务系统软件

设计[J].工业控制计算机,2017,30⑵：109-110.査，数据可视化系统评估结果如图4所示，表明

用户满意度与本研究的期望基本相符。五、结语基于Python+Echarts的大数据可视化系统充分

利用了大数据的思维，将抓取的蚌埠区域餐饮业

[3]

贾利娟，刘娟，等.基于PyEcharts的全球玉米贸易

数据可视化系统建设及应用展望[J].农业展望，2019

,

15

⑶:46-54.网络数据在一定的时间内完成清洗和整理，然后

[4]

Chen

W,

Guo

F, Wang

F

Y.

A

Survey

of

Traffic

Data

VisualizationfJ].

IEEE

Transactions

on

Intelligent

Transportation

Systems,

2015,16

(6):

2970-2984.从用户和商家双重角度进行综合多维度分析，最

终以可视化的方式把分析结果呈现出来。呈现的

内容大体包含商家的地理位置分布信息，区域美

食关注度的排行信息、区域商家的销售对比信息

[5]

De

Oliveira

M

C

F,

Levkowitz

H.

From

visual

data

exploration

to

visual

data

mining:a

survey[J].IEEE

Transactions

on

Visualization&

Computer

Graphics,

2003,

9及同类商品的销售对比信息等。通过体验者的体

验评估证明，用户满意度与本研究的期望基本相

(3):

378-394.(责任编辑：黄凤娟)符，但在交互性和美观性方面仍然存在不足之处，