国内外农业大数据应用研究分析

0引言
 
大数据是结构复杂、内容多样的海量数据,具有数据规模大、数据种类多、处理速度要求高、数据价值密度低等特征,对其处理远远超出了现有传统的计算技术和信息系统的能力,因此,寻求有效的大数据处理技术、方法和手段已经成为当前的迫切需求。大数据技术是以新数据处理技术为手段,将不同格式、不同领域的大数据整合成标准统一的数据源,经研究、分析、挖掘后,为各行业提供有用的数据和知识。在2012年3月,美国政府正式启动“大数据发展计划”,旨在利用大数据技术在科学研究、环境、生物医学等领域进行技术突破⑷。2013年,Mike Gautlieri提出了存储过程访问(SPA)框架,指出大数据是可用于支撑行业的高效运营、决策选择、风险规避和服务用户,具备高性能存储、解析和使用所有数据的前沿领域技术。Aaron McKenna应用大数据分析技术,利用MapReduce架构嵌人基因分析工具集GATK来处理和分析DNA序列海量数据,取得了较好成效。2013年末,中国计算机学会(CCF)发布了《2013年中国大数据技术与产业发展白皮书》,介绍了大数据应用现状并探讨了大数据技术研究面临的科学问题,针对大数据技术产业的发展提供了政策指导和研究建议。
 
随着大数据相关技术的不断突破、发展以及公众对大数据的认识加深,大数据技术分析和处理现已成为各个领域的研究热点,诸如商业、医疗行业、金融行业等,都取得了相当的研究成果,大数据的应用也在不断的延伸。农业大数据技术已应用于农业信息领域,使用多粒度、多层次、多渠道的分析模型对庞大的数据总体进行挖掘分析,为农业信息技术带来了革命性进展,促进了农业产业的整体进步。我国在农业信息化发展上需要统一规范数据标准,迫切需要解决科学施肥、水肥调控以及品种选择、优化产业结构布局,并给出可靠专业的决策结果[8]。然而,农业生产周期长,影响因子复杂,而且在农业生产过程中涉及到育种、种植、培育、管理、收获、储藏、运输以及农产品加工和销售等各环节,其中蕴藏着大量农业信息动向及市场变化、农业科技发展等重要数据。采用大数据技术的手段与方法,可对采集到的影响农业生产过程的温度、湿度、光照、水质状况、气象状况、市场动态等信息进行挖掘、分析、应用,也包括跨行业、跨专业的数据分析与挖掘,从而有望缩短农业研究的周期,加速科研成果转化推广的进程,同时为农业生产在各个阶段的精准管理和预测预警提供信息支持。例如,2012年,土壤抽样分析服务商Solum通过使用大数据分析技术来确定化肥的投入量问题,帮助农民提高生产、降低成本。跨国农业生物技术公司Monsanto通过分析海量天气数据来预测未来可能对农业生产造成破坏的各种天气,农民可以根据这种预测来选择相应的农业保险,以降低恶劣天气对农业生产造成的影响。
 
农业是我国的基础产业,为了实现精准农业智慧农业、现代化农业,国内专家将大数据分析技术与农业紧密结合,取得了不错的成效。杨锋等人为解决海量农业数据在传统分布式数据库架构中资源效率不高及存储能力不足的问题,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。该方法可为构建海量农业数据资源管理平台提供支持,实现海量农业数据资源高效的组织和管理。而且,为了全面、及时地采集到农业数据,量子数聚(北京)科技有限公司搭建了一个农业大数据应用云平台,对获取到的复杂的多源化的农业数据进行处理,该平台可整合国家权威机构发布的农业相关数据、共享数据,汇集政府、企业、社会三方数据,打破信息孤岛,实现资源互联互通,采集的涉农企业数据,可帮助用户准确定位企业以及群体的地理分布。该平台为科研机构、政府等农业管理者提供技术和决策支持,为农业从业者提供个性化的生产指导。
 
大数据技术拥有出色的数据分析挖掘能力,在各个领域都有广泛的应用前景。目前能够进行大数据挖掘、分析的工具和软件很多,功能与使用方法也各有不同。本文分析了国内外大数据应用软件,同时重点分析了大数据技术在农业领域的应用,并对大数据技术在农业领域的应用进行了展望。