基于Hadoop的大型钢结构无损云检测技术研究

《基于Hadoop的大型钢结构无损云检测技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于Hadoop的大型钢结构无损云检测技术研究作者姓名余蓉学科专业仪器仪表工程校内指导老师洪晓斌教授、博导校外指导老师黄国健高级工程师所在学院机械与汽车工程学院论文提交日期2018年1月TheResearchofNondestructiveCloudDetectionforLargeSteelStructureBasedonHadoopADissertationSubmittedfortheScienceDegreeofMasterCandidate：YuRongSupervisor：Pr

2、of.HongXiaobinSnEngrHuangGuojianSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP212学校代号：10561学号：201521002584华南理工大学硕士学位论文基于Hadoop的大型钢结构无损云检测技术研究2016年广州市中小型企业创新基金(2017010160646)2017年广东省科技厅重大专项(2017B030305001)作者姓名：余蓉指导教师姓名、职称：洪晓斌教授、博导；黄国健高工申请学位级别：工程硕士工程

3、领域名称：仪器仪表工程论文形式：□产品研发□工程设计应用研究□工程/项目管理□调研报告研究方向：智能传感技术及网络化测控论文提交日期：2018年01月05日论文答辩日期：2018年03月09日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：王小辉研究员委员：刘桂雄教授、薛家祥教授、王振民教授、洪晓斌教授摘要钢结构目前在大型、复杂工程项目中广泛应用，发挥着越来越重要的作用。大型钢结构单个钢件重量大、钢件之间的接口多、检测环境恶劣，使得其质量检测要求高、检测难度大，采用单一无损检测方法经

4、常难以实现被检测对象完整准确评估，利用多种无损检测方法进行综合检测可有效避免结果评估片面性，然而容易出现数据量大且不易快速分析。随着云计算技术对复杂多源数据集运算的技术优势显现，本论文结合Hadoop云计算、数据融合等前沿技术，对大型钢结构无损云检测技术进行研究，具有重要学术价值和工程应用意义。本论文主要研究内容如下：(1)根据大型钢结构的检测需求，分析检测流程，在此基础上对大型钢结构无损云检测技术总体方案进行规划和设计，并介绍了无损云检测多源数据HDFS存储技术和数据可信度MapReduce证据理论融合

5、等关键技术。(2)针对现场检测端采集的多源数据结构各异，提出在无损云检测数据存储层建立多检测数据源的虚拟数据库和描述其数据特性的虚拟字典与本地字典，实现针对不同缺陷采用不同检测装置在不同时间的检测数据进行特征整理，为进一步存储和运算奠定基础。(3)设计基于检测文件和检测数据块两级重复数据删除的HDFS存储优化方案，提高了数据存储整体性能。提出两趟式云检测数据可信度数据融合运算方式，将D-S证据理论的决策级融合算法应用到MapReduce数据运算模块，并根据实际要求进行优化，提高了数据运算效率和缺陷检出率。

6、(4)完成大型钢结构无损云检测虚拟集群搭建，开发主要节点功能模块。并进行基于虚拟集群服务器节点变化以及基于数据块量级变化的检测效率对比测试，结果表明，云检虚拟集群的检测效率相比单个计算机提高约51%，集群优化检测比默认系统平均数据块检测效率提升19%，大大提高运行速率和稳定性。(5)进行大型钢结构无损云检测数据可信度MapReduce优化算法对实际钢结构检测应用的缺陷检测效果试验，结果表明大型钢结构缺陷无损云检测可信度比单种传感器检测可信度最多可增大3倍。无损云检测技术能有效提高钢结构关键缺陷结果可信度，

7、得到可靠的损伤评估信息，并生成无纸化报告，可满足大型钢I结构无损云检测要求。关键词：大型钢结构；无损云检测；Hadoop；D-S证据理论；MapReduceIIABSTRACTInrecentyears,steelstructurehasbeenwidelyusedinlargescaleandcomplexengineeringprojects,playinganincreasinglyimportantrole.Themassiveweightofsinglesteelcomponentandtheh

8、ugeamountofsteelinterfacesinlargesteelstructure,resultinhigherdetectionrequirementsandgreatdifficultyinitsqualityassessment.Singledetectionmethodisdifficulttoachievecomprehensiveassessmentoftheobject,andtheadoptiono