大数据培训班出来，你能做什么？

 

想要涉足大数据行业的学员或许并不了解大数据行业，对自己要学哪个方向，掌握哪些知识，将来要做哪些岗位还都是一知半解。为此，小编特地请教了我们光环大数据的大数据老师。 大数据讲师为我们指出了我们学员的就业方向可以有：Hadoop开发工程师，Python爬虫工程师，Python Web开发工程师，大数据运维工程师等几个方向，当然，不同的公司可能对各个岗位有不同的称呼，不过工作内容都大同小异。 一、Hadoop开发工程师掌握技能：Java，sql，Hadoop，Spark，Storm，Oracle，Hive，Hbase 二、Python爬虫工程师掌握技能：反爬虫策略，Scrapy，分布式爬虫，redis 三、Python Web 开发工程师掌握技能：Django，tornado 四、大数据运维工程师掌握技能：linux，java，Hadoop集群搭建 再来看几个职位要求实例：Hadoop开发工程师： 岗位职责：1.负责产品线对应的大数据存储平台Hadoop、greenplum平台的高效稳定运行，总结输出自动化维护工具及文档，能以交付项目现场；2.已有程序代码迁移转化（主要以sql、shell、Python脚本为主）3.分布式大数据平台与产品线其他模块的对接集成程序代码开发；4.大数据平台对项目的支撑。职位要求：1.全日制统招本科及以上学历，电子、计算机、通信相关专业；2.两年及以上基于分布式数据处理（greenplum/胜利ertica/gbase/hadoop）平台的实际开发应用和平台优化经验，深刻理解分布式数据处理平台的原理；3.两年及以上分布式数据处理平台（hadoop、greenplum、gbase、vertica至少一种）开发工作经验；4.熟悉Java、Python、SQL、hive、Spark等开发语言；5.能独立完成新需求独立模块及功能点的设计与开发；6.对数据敏感，喜欢大数据相关开源产品；7.有较强的学习能力。对新知识、新事情具备较强的接收能力；8.良好的团队协作能力，态度端正，工作认真负责 Python爬虫工程师： 岗位职责：1.对指定网站进行数据抓取，清洗以及汇总的开发工作。2.互联网网站，网页，链接的特征挖掘。3.负责系统日常运营资源调度优化及运营指标分析调优，并能实时监控爬虫的进度和警报反馈。4.负责特殊网页采集任务的分析及采集方案设计。 任职要求：1.数学，统计，计算机相关专业本科及以上学历2.熟悉Python以及数据分析相关工具，了解Shell3.熟悉SQL语言，追求SQL性能，熟悉MySQL、MongoDB等4.熟悉Hadoop、数据仓库、Spark等大数据技术者优先加分项：1.有数据库调优和海量数据存储经验优先2.有Solr、ElasticSearch开发经验者优先 各个公司要求不尽相同，但在需要提醒学员的是，大数据相关知识复杂且多，在初学的时候不要贪多，争取能够熟练掌握1-2种技能，其他技能可以在日后的工作中逐渐摸索。