社交软件用户信息收集管理系统的研究与应用

　　随着社交软件的频繁使用，大多数用户都将个人信息填写在社交软件系统中，针对于社交软件中的用户信息主要定位在收集与处理工作，这是一个由信息采集、数据统计分析、数据综合等于一体的智能化用户信息采集系统。在社交软件中采集用户信息首先进行加工处理，其次要进行统计分析，最后获取到对使用者用价值的数据集。该系统是通过B/S设计模式实现的应用系统，并结合SSH和SQL Server 2008为系统的主要架构，对发布到社交软件中的用户信息进行采集与信息处理工作，整个系统通过对用户信息采集的具体分析、详细设计、系统编程实现及运行测试等方面工作。社交软件中用户信息收集管理系统具有简单操作、数据采集最准确、系统运行稳定等优点。经过系统运行测试分析表明，该系统具有实用价值和现实意义。

　　《现代信息科技》始终坚持学术第一的标准和科学、创新、前瞻、实用的原则，刊载电子信息科技领域研究的新进展、新技术、新成果，促进学术交流，推动成果转换，提高该领域研究水平和科技装备水平，服务我国经济社会发展。

　　1概述

　　用户信息采集系统出现的比较早，包括完全的信息采集和部分信息采集。例如面向主题的采集(面向主题的爬虫系统)，通常广义上将都视为信息采集系统，它们的共同点都是基于Web信息采集系统，但是，也可以将其分为下面的不同类别：

　　1)基于全部Web信息采集。它是最广泛的信息采集方式，由根节点开始到与之关联的子节点进行逐层信息采集，将全部的链接节点采集完毕为止。

　　2)面向主题的信息采集。按照约定的采集主题，采集与主题相关的数据，主题描述可以是多种数据文本。

　　3)增量式的信息采集。针对全部数据采集方式而言，有些Web页面会经常有更新，而大多数又属于静止的页面，其优点是：只更新部分页面数据即可，大大地缩短采集时间。增量式采集具有高效的采集效率。

　　4)个性化的信息采集。信息采集根据用户的兴趣作为采集的方向，满足不同用户个陛化需求。

　　5)分布式的信息采集。通过设置多个采集节点，让采集系统之间协同信息采集，最后将采集到的数据进行合并操作，其优点是：采集性能良好和采集速度快，分布式采集需要解决一是分布式采集服务，二是采集规则的协调性。

　　2系统分析

　　本文实现社交软件用户信息收集管理系统总体需求分析包括：系统功能和性能分析。本文采用SQL Server 2008构建系统的数据存储业务，有效地解决了采集数据存储难题，通过B/S设计模式作为本系统的架构模式，也减轻了系统维护的工作量并且降低了开发该系统的成本。社交软件用户信息收集管理系统的总体功能需求分析包括：1)用户信息采集管理功能;2)用户信息加工管理功能;3)用户信息统计分析功能;4)系统管理功能(角色管理、系统操作日志管理、用户管理、数据访问权限管理);5)参数设置功能。

　　2.1总体需求分析

　　2.1.1系统技术架构

　　1)UML建模技术

　　本文实现社交软件用户信息收集管理系统基于UML的设计思想所实现的应用程序，统一建模过程中是按照原型结构进行开发软件，从多种角度分析用户信息采集系统的整体特征和功能。

　　2)SSH框架整合技术

　　本文通过使用SSH框架整合技术构建社交软件用户信息收集管理系统，社交软件用户信息收集管理系统整合的目的是为了达到一种快速开发应用程序的效果。Struts框架用于视图显示功能，Spring框架实现控制反转和面向切面的功能，能够实现表单到字段的对象关系映射是由Hibernate框架提供的，它可以封装JDBC的数据库操作接口。

　　2.2系统的功能需求分析

　　基于的B/S架构和SSH框架实现的社交软件用户信息收集管理系统，由于开发技术非常成熟，该系统实现显得简单，通过对社交软件用户信息收集管理系统的需求分析，明确划分系统主要的功能结构。下面为社交软件用户信息收集管理系统的功能结构设计，其中包括：1)用户信息采集管理功能;2)用户信息加工管理功能;3)用户信息统计分析功能;4)系统管理功能(角色管理、系统操作日志管理、用户管理、数据访问权限管理);5)参数设置功能。

　　2.3系统主要研究内容

　　通过社交软件用户信息收集管理系统实现工作是本文的主要研究内容：

　　1)研究社交软件用户信息收集管理系统开发所涉及的相关技术，包括：开发平台介绍、主要的技术架构、主要使用的开发语言、数据库存储与电数据分布等技术;

　　2)研究社交软件用户信息收集管理系统总体需求分析与设计，通过UML建模工具构建用户信息采集系统的原型结构;

　　3)设计社交软件用户信息收集管理系统的技术架构、数据表结构设计等;

　　4)开发社交软件用户信息收集管理系统的功能模块，主要功能代码编写工作、系统功能模块测试。

　　2.4非功能性需求分析

　　1)界面设计需求：要求社交软件用户信息收集管理系统按照总体需求设计界面美工，为了能夠使信息采集系统获得更好的用户体验，系统必须有友好的界面。

　　2)功能扩展要求：系统采取异步功能扩展，对系统升级和维护时采用远程更新文件的方式。

　　3系统设计

　　3.1总体设计

　　社交软件用户信息收集管理系统的总体设计包括：逻辑结构设计、用户信息采集系统的数据分布设计和系统主要技术架构设计。

　　1)逻辑结构设计：根据社交软件用户信息收集管理系统的需求分析、总体设计和详细设计要求，根据信息采集的链接数、系统承载的压力进行设计，实现用户信息管理系统功能。

　　2)用户信息采集系统的数据分布设计：数据库中的数据存储业务设计是由于数据库的性能取决是否能够实现对数据的快速访问，因此，本文涉及数据分布设计采取水平分布策略，这种分布访问策略优点利于用户信息采集节点分布式设计。

　　3)系统技术架构设计：本文采用B/S模式和SSH整合框架开发社交软件用户信息收集管理系统，并结合SQL Server2008作为后台数据存储的数据库。

　　3.2系统的数据库设计

　　根据前文的需求所述，下面介绍社交软件用户信息收集管理系统数据表的概念结构设计和该系统所使用的主要数据表名称及其字段名：

　　1)参数数据表，字段包括：序号、参数名称、参数值、优先级、权限、是否有效、备注等字段。

　　2)用户采集数原始数据表属性设计，字段包括：采集序号、采集节点名称、采集地址、采集时间、采集文档大小、存储路径和其他等字段。

　　3)用户信息加工数据表设计，根据用户信息加工数据表字段包括：序号、采集序号、加工节点名称、加工文档大小、加工日期和其他等字段。

　　4)用户信息统计分析数据表结构设计，字段包括：序号、统计分析名称、统计分析时间、统计分析类型、统计分析内容、统计人和备注等字段。

　　5)用户信息表结构设计，根据该数据字段包括：用户序号、用户名称、呢称、年龄、是否审核、身份证号、所在城市、籍贯、学历、兴趣爱好、身高、体重、联系方式和备注等字段。

　　6)系统操作日志数据表结构设计，该数据表字段包括：日志序号、操作名称、操作人、操作日期、操作内容、操作结果、操作完成程度和备注等字段。

　　7)用户采集任务数据表结构设计，该数据表字段包括：任务序号、任務名称、执行时间、下达人、下达日期、任务状态和其他等字段。

　　3.3系统的详细功能设计

　　社交软件用户信息收集管理系统的功能定义：功能是系统要完成的主要任务，可以根据不同的操作功能设计对应不同的操作界面，社交软件用户信息收集管理系统在浏览器上即可使用，根据实际需求开发系统的功能。社交软件用户信息收集管理系统的功能分配是由不同的角色担当，而且特定的用户角色才拥有超级管理员分配的功能。图1系统的功能结构图。

　　3.3.1系统参数设置功能

　　1)初次设置参数：完成首次设置系统参数的操作。

　　2)初始化系统参数：当系统运行一段时间之后，遇到不可避免的错误时，进行初始化系统参数操作，保障用户信息不会丢失，社交软件也能正常运行。

　　3.3.2用户信息采集系统管理功能

　　用户信息采集之前需要设置信息采集任务，采集任务可以根据用户的不同喜好进行设置采集任务参数，设置初始的采集节点地址。用户信息采集系统管理功能还包括对用户的权限设置和对用户聊天信息优先级的设置。

　　3.3.3用户信息采集功能

　　将每个采集地址下的页面内容进行下载到数据库中的原始采集数据表中，我们需要采集用户的个人信息、聊天信息、好友列表等与用户有关的信息，存储在数据库中，便于社交软件中其他模块使用。

　　3.3.4加工采集信息功能

　　从原始用户采集数据表中将其内容进行过滤，分别设计采集规则，过滤掉用户不想要的内容或者是垃圾信息，将接近用户想要的采集数据进行整理和归纳，然后存储到加工信息数据表中。

　　3.3.5对用户加工信息进行统计分析功能

　　实现对用户信息统计分析功能是为了更好的掌握已经采集到的数据，将其分门别类的存储到最终的用户数据表中，统计用户信息并且分析完成在社交软件中的用户数据详细采集过程。

　　3.3.6显示采集结果功能

　　经过采集管理、信息加工、信息统计分析和信息采集结果显示完成本文的全部设计要求，该功能为了实现对已经采集到的真实数据进行显示操作。

　　4系统实现与测试

　　4.1应用程序环境配置

　　4.1.1社交软件用户信息收集管理系统的硬件开发环境

　　1)中央处理器：17双核;2)内存空间(规格GB)：8;3)硬盘空间：520GB;

　　4.1.2社交软件用户信息收集管理系统的软件开发环境

　　1)软件开发平台：MyEclipse;2)开发语言：JAVA;3)数据库：SQL Server2008;4)服务器运行类型：Tomcat8.0版本。

　　4.2测试

　　4.2.1系统测试目的

　　一般来说，软件测试分为七个基本阶段，即单元或模块测试、集成测试、外部功能测试、回归测试、系统测试、验收测试和安装测试。

　　社交软件用户信息收集管理系统完成上述的功能性测试和集成测试，另外，为了完善整个的测试过程，还需要引进其他的测试工具盒测试方法配合进行测试。本文系统的主要测试目标：

　　1)系统的测试目标：完成功能性测试之后在完成系统的集成测试，无严重运行错误即可。

　　2)系统的性能测试：要求系统性能测试要快速响应用户请求并且完成用户的请求，达到用户需求。

　　4.2.2测试方案

　　主要测试方案：社交软件用户信息收集管理系统能保证其完整的为采集用户信息提供服务，为了保证应用程序能够稳定运行。本文涉及的测试内容如下：1)采集参数设置和初始化设置;2)采集任务的设置;3)用户信息采集无逻辑错误;4)用户信息采集加工功能正常;5)系统界面无功能缺失;6)统计分析数据准确无误;7)采集结果显示正常。

　　4.2.3测试结论及其测试分析

　　对社交软件用户信息收集管理系统软件测试时，要按照测试计划进行测试并得出测试结论，表1测试结果及其测试结果分析。

　　5本文结论

　　本文实现对社交软件中的用户信息收集管理系统的设计与实现工作，因此，并对用户信息收集管理系统中的各个功能模块进行单元测试。最后，本论文的总结工作主要包括：

　　1)完成用户信息收集管理系统的需求分析、系统设计文档;

　　2)完成系统即将改进与完善工作并适当增加系统其他功能;

　　3)将需求分析与系统实现功能进行比对，测试系统功能的完成比例;

　　4)实现对用户信息收集管理系统的整体功能测试和各模块界面测试工作。

　　虽然完成用户信息收集管理系统中的基本功能，但是由于时间紧任务繁重，本文仍然存在的不足之处：需求分析存在遗漏之处，急于系统设计与实现工作，完成后期的设计与实现工作等，这些细节之处还需要进一步研究开发。