Internet民意监控软件的实现

龙源期刊网一种互联网舆情监测软件作者: 杨晓晨来源: 《计算机知识与技术》 2012 34摘要: 网络舆情突如其来，影响力日益增强，实现互联网新型媒体监测软件的基础可控的互联网舆论. 本文介绍了该软件实现的系统架构以及全文和搜索等关键技术，最后指出了互联网舆情监测软件的不足和工作方向. 关键词: 互联网舆论；全文；在中间类别编号中搜索: TP393文档标识码: A物品编号: 1009-3044（2012）34-8177-03 1互联网民意监测软件的起源互联网以超乎想象的速度随着迅速普及，互联网的影响力也在增加. 从最近发生的一系列事件，如“陕西大叔”，“广东大叔”，“雷正夫重庆”等，可以看出互联网具有巨大的影响力. 及时了解互联网的舆论和舆论有助于正确引导舆论. 因此，对监控技术也提出了更高的要求，互联网舆论软件应运而生. 2互联网舆情软件的技术基础2.1系统架构图互联网舆情监测技术是在互联网信息下载和全文检索技术的基础上开发的. 互联网舆论软件在指定的网站，论坛互联网舆情监控软件，博客，微博等媒体上进行及时的媒体综合下载，处理下载的内容，如URL重排，标题重排，正文重排，HTML格式转换，PDF（文档内容）转换，并为转换后的信息建立全文库索引.

民意监控软件根据定义的监控需求进行快速搜索，以发现民意事件并同时分析民意热点. 搜索全文库时，可以根据软件下载内容排名，用户使用习惯和搜索次数来分析论坛中的热点新闻和热门帖子. 从而根据软件系统的工作情况，给出了舆情事件的趋势和舆情信息监测报告等，经过人工处理，最终生成了舆情监测报告，可以提交决策. 由于监视网站和论坛等大量媒体，监视数据量非常大. 硬件和软件都需要数据吞吐能力. 传统的技术无法满足海量数据的快速检索需求，因此必须使用搜索引擎必须使用的全文. 搜索技术实现海量数据的搜索. 2.2申请流程如图2所示的“监控流程”所示: 1）系统管理员设置监控网站列表，并根据网站类型进行详细调整，以确保下载数据的完整性. 2，设置监控人员，根据监控目标的需要，设置监控主题，设置和调整关键词，根据热门关键词调整关键词； 3）系统根据监控人员的要求生成报告. 4）监测人员参考系统报告，汇总民意报告互联网舆情监控软件，并提交有关决策部门参考. 5）系统配有大容量存储. 该系统将监控数据存储起来，形成一个包含丰富监控信息的全文，有利于未来的趋势预测和历史分析.

3互联网舆论软件的关键技术3.1抢占式多线程爬虫技术爬虫技术是收集舆情信息的基本技术. 为了提高其性能，抢占式多线程是一种提高性能的更合适的方法. 搜寻器通过页面中的URL链接检查更新的页面. 通过URL重排，标题重排，文本重排和其他重排措施来减少下载次数. 3.2用于监视的全文技术由于监视需要大量的数据吞吐量，因此即使大型关系也无法满足应用程序需求. 因此，全文技术用于监视数据的管理. 该软件实现了反向排序的全文库技术，并在此基础上针对监控系统的特殊要求进行了修改和优化. 3.3模糊匹配在发布监视非法内容时，某些内容通常使用代码字和不完整的表达来逃避监视，甚至逃避同一单词的不同发音. 这大大增加了监督的难度，并且使用传统技术很难有效地进行监督. 该系统是第一个使用模糊匹配技术来支持对各种违规行为进行有效监控的系统. 表1显示了我们实现的四种常见模糊匹配方法. 4现有的互联网舆情监控软件的不足和前景当前的互联网舆情监控软件也存在明显的不足. 1）由于需要监控的网站数量众多，且用户使用的硬件设备有限，因此网站的监控轮询周期较长；龙源期刊网2）需要定制网站内容的获取频率，部分网站支持获取频率很高，某些网站获取频率很低. 如果您对此不太关注，它将被包含在网站的黑名单中，这将使其下次无法访问. 3）随着数据量的增加，索引数据也将增加. 命中次数越多，数据检索速度越低；单机检索速度有一定阈值；如果用户有足够的硬件设备，则可以通过分布式处理来解决； 4）对于分析部分，由于用户需求的变化，很难提供一个统一的界面来满足用户的需求.

这些问题仍有待解决. 参考文献: [1]何静政. 网络空间中的政府治理[M]. 上海: 上海社会科学院出版社，2006. [2]北京徐脑网络舆情应急监测方案[Z] .2011. [3]于水英，王辉，贾祥. 文本检索与信息系统的设计[J]. 信息安全与通信保密，2010（6）: 64-68. [4]刘玉国. 基于内容的互联网舆情信息挖掘关键技术研究[D]. 济南: 山东大学，2011年.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-164881-1.html