事实：豆瓣电影数据和票房数据分析

写在前面

上次看完比利·林恩（Billy Lynn）的中场战斗后，他开始进入豆瓣电影的世界。对于一个新用户，他特别喜欢豆瓣电影的电影评论，并且对他所看到的印象深刻。我在豆瓣上搜索了所有电影。我希望从自己在同一部电影中的经历中看到不同的视角，因为每个观众的生活轨迹都不相同，并且看事物的视角可能有所不同。这种差异通常会导致思考。豆瓣的电影数据向来具有权威性，对于每个喜欢电影的观众来说都是很好的参考。观众人数少且，电影评论和评分相对客观。 。是的！

关于数据

电影数据来自豆瓣网站。所有电影分类标签均已爬网。总共捕获了34,177条电影记录，其中6399条记录没有电影分级。这些都已重复数据删除并清理了。数据清理是指对电视连续剧，真人秀，脱口秀等的放映，这意味着数据仅包含电影。电影票房数据来自电影票房网站。记录不多，只有2577。在仅删除异常值并混合了豆瓣电影数据之后，仅剩下2353。电影数据包括电影名称，导演，主演演员，国家或地区，电影类型，语言类型，评论者数量和评分等。

分析目的

从不同角度观察数据，检查各种参数之间的关系，发现实际和有趣的问题，并进行总体分析。

豆瓣的电影世界

一、从电影数量中观察数据

1、在各个国家/地区上映的电影总数

VigoLin

从直方图的显示来看，美国发行的电影数量最多，是中国大陆的两倍多，其排名第二，其次是日本，英国，香港和韩国。预计美国的电影数量经过漫长的电影发展历史，美国现在已经形成了庞大的“电影生产线”。韩国电影的数量有点出乎意料，只有1,277。当然，这只能从爬网数据中观察到。

2、 21世纪每年发行的电影数量

VigoLin

从进入21世纪后每年的电影发行数量来看，总体上呈现出逐年增长的趋势。从2009年到2011年的三年中，增长趋势一直停滞不前，尤其是2015年相对于2014年的最大增长。2015年之后，每年发行的电影数量已超过2,000，而且可供观众观看的电影数量也越来越多，每年更加多样化。我希望质量会随着数量的增加而提高！

3、 21世纪每年和每月发行的电影数量

VigoLin

这是21世纪以来每月电影发行量的趋势图。有趣的是，十月份的每月9、电影发行量最高，它将达到一年中的最高水平。这是中秋国庆假期的原因吗？ ？几个月之间波动很小。 。

4、中国大陆，香港和台湾的电影数量随时间变化

VigoLin

8 0、香港电影在1990年代达到顶峰，每年的电影发行量始终排在前列。最高的数字是1993年的86，但此后一直下降。在2000年之前，大陆的电影发行相对稳定。在21世纪之后，电影发行超过了400种。在台湾，总体趋势是相对和平的，在11年后波动很小。

二、从电影分级中观察数据以反映电影质量

1、世界电影平均趋势

VigoLin

在此部分的开始，已筛选未评级的电影。从数据可以看出，从1929年到2005年，世界平均电影收视率相对稳定，基本上保持7. 3- 8. 1。 2005年之后，有所下降，并且在2008年到10年之间停滞不前。平均值为7. 0点。此后，直到2016年，它一直降至6. 1分，这基本上是一个通过。在过去几年中可以看到。随着电影数量的增加和质量的下降，坏电影太多了吗？

2、中国与世界所有其他国家和地区的电影平均得分比较

VigoLin

当然，中国包括大陆，香港，澳门和台湾。改革开放后，中国的平均电影收视率趋势总体上低于世界所有国家和地区的趋势（世界上所有其他国家和地区作为一个整体进行比较），中国确实是一个阻碍世界！尤其是在2010年之后，差距越来越大。这必须得到反映。 。 。尽管近年来全球电影收视率的平均值一直在下降，但中国的下降速度太快了！

3、电影发行量排名前五的国家的平均收视率比较

VigoLin

从图中可以看出，平均分最高的国家是英国，其次是日本，法国和美国，最后是中国。尤其是近年来，中国出现了一些异常。老实说，近年来中国确实制作了更多的烂片。

4、中国大陆与香港和台湾地区电影平均收视率的比较

VigoLin

换句话说，台湾平均收视率的趋势一直活跃在祖国的顶端！香港和台湾一直相对稳定。大陆在2009年之前非常好。分布在6. 5- 8. 1点之间。 1984年，达到8. 1分。 2009年之后，它稳定下降。曾经跌至4. 0，在15年后出现了反弹。

5、中国大陆的电影分级分布

VigoLin

从上图中的数据可以看出，1966年至1978年之间几乎没有电影收视率统计数据，在此期间，中国大陆几乎没有电影历史。改革开放后至2011年，年平均得分一直保持在6. 0分以上。随着近年来电影的发展，大陆电影的发行量急剧增加，但中位数得分逐年下降，从2010年的6. 5分降至2016年的4. 7分，这意味着在2016年，该年在中国大陆拍的电影中有一半得分低于4. 7分，但也有相对不错的电影得分8. 9分，最低得分达到2. 1分

三、从票房角度分析

1、每年内陆的票房统计

VigoLin

根据票房统计，2013年之前的票房增长非常规律，2013年之后出现爆炸性增长。2015年的票房是2013年的两倍，达到约445亿美元。到目前为止，2016年的票房约为410亿美元。 2016年的票房数据尚未完全统计，估计不会少于2015年。换句话说，随着经济的快速发展，人们的生活方式也在发生变化。对电影的热爱已逐渐成为一种新的生活习惯，并希望生活中的幸福指数会越来越高。

2、豆瓣得分与票房平均值之间的关系

VigoLin

当然，分数越高，票房就越高！因此，高质量的电影不必担心没有票房。 。

四、前30名评论者的电影列表

VigoLin

这些是高质量和高人气的电影。我看了大多数。我最喜欢的是肖申克的救赎，泰坦尼克号，海上钢琴演奏家和杜鲁门的世界，以及当年的小李子。 。

离题

1、用于抓取数据的工具

计算机语言：java

数据可视化工具：tableau（相对简单易用）

2、在使用时也在学习。这只是一个小的履带。从编写代码，调试，捕获数据，数据清理和标准化到分析，最大的感觉就是无论您做什么，都必须计划。 ，尝试预测可能的问题，并在实施过程中尽量避免它们，当然，即使遇到问题，您也不要害怕，因为解决方案总是比困难要难！

3、抓取豆瓣数据时遇到的问题

（[1）如果您在未登录的情况下获取数据，则将被豆瓣的服务器阻止，但第二天情况会更好。

（2）登录后，抓取数据的速度过快将触发豆瓣的反爬虫机制。当前会话将被服务器拒绝，并要求您输入验证码以证明它不是机器才能继续访问。

（3）对于第二个问题，我的解决方案是晚上10点后爬网会好很多，服务器负载也很小，即使下载线程打开到10点，反爬网验证代码也很少。当然，这不是根本的解决方案，此外，如果出现验证码，请挂起所有下载线程，然后在控制台上手动输入验证码以允许程序继续访问，这不是很方便。好吗？方式？

（4）对于票房数据的来源，它是从电影票房网站爬取的。票房数据是用图片生成的，应用于防爬虫。一开始，我试图使用tess4j进行图像识别，它很小，经过适当的放大后，总体识别率较高，但小数点后的识别常常有偏差，效率低下，最终被放弃。

如果发现任何问题，欢迎提问。我很感激！

好好生活，长大！

VigoLin

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/sanxing/article-318049-1.html