自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

冰河的专栏

微信搜一搜【冰河技术】,关注后回复【PDF】领取冰河原创超硬核PDF电子书,海量面试资料和简历模板。

  • 博客(38)
  • 资源 (134)
  • 论坛 (1)
  • 收藏
  • 关注

原创 HBase之——脚本编程

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88817432在HBase上进行脚本编程比如:创建包含两个列族、两个列的表,并插入一些数据,脚本如下:vim hbasescript.scriptcreate 'table','data'for i in '0' ... '2' dofor j in '0' ....

2019-03-26 12:52:45 374

原创 HBase之——备份与恢复技术

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88817298总体来说,HBase的备份分为两类,可以根据不同的需求选择不同的备份方法:离线备份/full-shutdown备份 使用hadoop distcp命令在线备份 快照 复制 导出 CopyTable H...

2019-03-26 12:45:42 1013

转载 Java之——Idea下安装Lombok插件

lombok是一个可以通过简单的注解的形式来帮助我们简化消除一些必须有但显得很臃肿的 Java 代码的工具,简单来说,比如我们新建了一个类,然后在其中写了几个字段,然后通常情况下我们需要手动去建立getter和setter方法啊,构造函数啊之类的,lombok的作用就是为了省去我们手动创建这些代码的麻烦,它能够在我们编译源码的时候自动帮我们生成这些方法。lombok能够达到的效果就是在源码中不...

2019-03-25 16:07:46 662

原创 Hbase之——命令篇

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88745274进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami...

2019-03-22 17:04:08 244 1

原创 HBase之——部署经验与坑总结

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/886962761.本地单机部署hbase,想要使用独立zookeeper,不使用自带的vim conf/hbase-env.shexport HBASE_MANAGES_ZK=false设置不使用自带zookeeper,但是总是报错:Could not sta...

2019-03-20 18:45:20 992

原创 HBase之——连接不上Zookeeper的解决方案

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88695338当HBase连不上Zookeeper时,会报出如下的错误信息:Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients ...

2019-03-20 18:00:48 2562

原创 Hive之——总结

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88674278一、Hive命令说明1.执行完立刻退出使用hive -e 的形式hive -e 'select count(*) from test'2.不需看到其他无关紧要的信息hive -S -e 'select count(*) from test'...

2019-03-20 13:57:19 298

原创 Hive之——Hive和Oozie整合

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88656351Oozie提供的多种动作(Action)Oozie提供了多个内置的动作。如下列举了其中的一些,并进行了简要的描述。1.MapReduce 用户提供Mapper类和Reducer类,并设置一些附属变量。2.Shell 包含参数的Shell命令也可作为动作来...

2019-03-19 10:32:17 1115

原创 Hive之——锁

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88649821Hive结合Zookeeper支持锁功能这里,我们使用3个zookeeper节点:zk1.site.pvt、zk2.site.pvt、zk3.site.pvt下载并压缩一个Zookeeper发行包,通过如下一系列命令,我们就可以将Zookeeper安装到/o...

2019-03-18 21:00:34 683

原创 Hive之——安全

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88648094和Hadoop安全功能相结合Hive v0.70增加了和Hadoop安全功能的结合,这意味着,当Hive提交到安全集群的JobTracker上时,将使用合适的认证处理过程。用户权限可以被授予也可以被回收。使用Hive进行验证如果文件和文件夹是多个用户共...

2019-03-18 19:46:38 9636 3

原创 Hive之——存储处理程序和NoSQL

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88647823HBase下面的例子展示了如何使用HiveQL创建一个指向HBase表的Hive表:create table hbase_stocks(key int, name string, price float) stored by 'org.apache.h...

2019-03-18 19:26:16 608

原创 Hive之——Thrift服务

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88636689Hive有个可选的组件叫做HiveServer或者HiveThrift,其允许通过制定端口访问Hive。Thrift是一个软件框架,允许客户端使用包括Java、C++、Ruby和其他很多种语言,通过编程的方式远程访问Hive。启动Thrift Server...

2019-03-18 12:56:41 3738

原创 Hive之——Streaming

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88624013Hive中提供了多个语法来使用streaming,包括:MAP()、REDUCE()和TRANSFORM()。要注释的是MAP()实际上并非可以强制在map阶段执行streaming,正如reduce并非可以强制在reduce阶段执行streaming。因为这个原...

2019-03-17 18:59:43 608

原创 Hive之——Avro Hive SerDe

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88623683使用表属性信息定义Avro Schema如下语句通过制定AvroSerDe、AvroContainerInputFormat和AvroContaionerOutputFormat创建一个Avro表。Avro具有自身的模式定义语言。这个模式定义语言可以使用属性a...

2019-03-17 18:26:47 399

原创 Hive之——JSON SerDe

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88622207这里,我们列举一个例子,这个Serde用于从JSON数据中抽取出一些域,这些数据假设是来自某个信息系统,并非要解析出JSON中所有的字段,而那些解析出来的字段都将作为表的字段create external table message(id bigint,...

2019-03-17 17:07:49 511

原创 Hive之——支持CSV格式

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88617808csv-serde下载地址:http://ogrodnek.github.io/csv-serde/用法:add jar path/to/csv-serde.jar;create table my_table(a string, b string, ....

2019-03-17 13:20:45 1325

原创 Hive之——RegexSerDe来处理标准格式Apache Web日志

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88617592这里,我使用的Hive版本是2.3.4。SerDe是序列化/反序列化的简写。在内部Hive引擎使用定义的InputFormat来读取一行数据记录。这行记录之后会被传递给SerDe.deserialize()方法进行处理。下面这个例子使用一个RegexSerd...

2019-03-17 13:03:22 433

原创 Hive之——宏命令

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88580205宏命令提供了在HiveQL中调用其他函数和操作符来定义函数的功能。对于特定的情况,使用宏命令要比Java编写UDF或使用Hive的streaming功能更加方便,因为宏命令无需额外编写代码或脚本。可以使用create temporary macro语法来定义一个...

2019-03-15 17:58:42 428

原创 Hive之——以函数的方式使用注解

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88580033UDF中存在标注,正确使用这些标注可以使得函数更加简单,甚至有时对于某些Hive查询,可以提高执行效率:public @interface UDFType{ boolean deterministic() default true; boolean st...

2019-03-15 17:55:22 333

原创 Hive之——用户自定义表生成函数

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88550180产生多行数据的UDTF首先,我们说下可以产生多行数据的UDTF之前,我们使用了explode方法,explode方法输入一个数组,将数组中的每个元素都作为一行进行输出。达到相同效果的另一种可选方式就是使用UDTF,基于某个输入产生多行输出。这里,我们展示一...

2019-03-14 11:59:30 560 1

原创 Hive之——用户自定义聚合函数

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88536189基于UDAF执行的转换的不同,在不同阶段的返回值类型也可能是不同的。在写UDAF的时候一定要注意内存使用的问题。通过配置参数mapred.child.java.opts可以调整执行过程的内存需求量,但是这种方式并非总是奏效:<property>...

2019-03-13 16:54:45 726

原创 Hive之——GenericUDF

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88531631通过继承GenericUDF类来编写一个用户自定义函数,我们称之为nvl(),这个函数传入的值如果是null,那么就返回一个默认值。函数nvl()要求有2个参数。如果第1个参数是非null值,那么就返回这个值;如果第1个参数是null,那么就返回地2个参数的值。...

2019-03-13 14:25:46 2013

原创 Hive之——UDF函数:根据日期计算星座

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88530022下面是一个样本数据集,我们将其放到用户跟目录下一个名为littlebigdata.txt文件中:edward capriolo,edward@media6degrees.com,1981-02-12,209.191.139.200,M,10bob,bob@...

2019-03-13 12:52:47 793

原创 Hive之——开发

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88524593修改Log4J属性可以修改$HIVE_HOME/conf目录下的Log4J配置文件来配置日志。也可以临时改变日志配置而无需拷贝和修改Log4J文件。在Hive Shell启动时可以通过hiveconf参数制定log4j.properties文件中的任意属性。...

2019-03-13 09:23:07 253

原创 Hive之——其他文件格式和压缩方法

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88430637确定安装编解码器Hive中可以通过set命令查看Hive配置文件中或Hadoop配置文件中配置的值。hive -e "set io.compression.codec"开启中间压缩对中间数据进行压缩可以减少job中map和reduce task间的数...

2019-03-12 22:27:40 1022

原创 Hive之——调优

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88430447使用explain在查询语句前加上explain关键字,然后来查询下查询计划和其他一些信息。这个查询本身是不会执行的。hive> explain select sum(number) form onecol;explain extended使用...

2019-03-12 22:16:20 507

原创 Hive之——模式设计

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88430330按天划分的表按天划分就是一种模式,通常会在表名中加入时间,例如:supply_2019_03_10、supply_2019_03_11等。hive> create table supply_2019_03_10 (id int, part strin...

2019-03-12 22:07:58 513

原创 CentOS之——LC_CTYPE: cannot change locale (en_US.UTF-8): No such file or directory

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88425930升级glibc库后,使用SecureCRT登录linux,提示:Last login: Mon Feb 20 02:03:21 2017 from 192.168.4.187 -bash: warning: setlocale: LC_CTYPE: can...

2019-03-12 18:09:57 3397

原创 CentOS之——tar.xz结尾的文件的解压方法

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88421252$xz -d ***.tar.xz $tar -xvf ***.tar

2019-03-12 15:09:54 2235

原创 Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88420473问题:SequenceFile doesn't work with GzipCodec without native-hadoop code 或者 WARN util.NativeCodeLoader: Unable to load native-hadoop l...

2019-03-12 14:43:03 3885 21

原创 Hive之——索引

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88391024通过explain命令可以查看某个查询语句是否用到了索引。创建索引比如,有数据表:create table employees(name string,salary float,subordinates array<string>,...

2019-03-11 11:48:18 4100

原创 Hive之——视图

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88384861使用视图降低查询复杂度例如:嵌套查询:from (select * from people join cart on(cart.pepople_id = people.id) where firstname = 'join' )a select a...

2019-03-10 22:03:52 7134

原创 Hive之——查询

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88384579select.. from 语句比如:employees表如下:create table employees(name string,salary float,subordinates array<string>,deductions ...

2019-03-10 21:57:40 269

原创 Hive之——数据操作

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88384371向管理表中装载数据load data local inpath '${env:HOME}/california-employees' overwrite into table employees pritition (country='US', stat...

2019-03-10 21:39:02 300

原创 Hive之——数据定义

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88379603Hive会为每个数据库创建一个目录。数据库中的表将会以这个数据库目录的子目录形式存储。有一个例外就是default数据库中的表,因为这个数据库本身没有自己的目录。数据库所在的目录位于属性hive.metastore.warehouse.dir所指定的顶层目录之...

2019-03-10 16:23:22 261

原创 Hive之——基础配置

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88379104Hive连接数据库的配置<configuration><property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:my...

2019-03-10 15:40:53 213

转载 Hive之——数学函数

Hive之数学函数round(double d)--返回double型d的近似值(四舍五入),返回bigint型;round(double d,int n)--返回保留double型d的n位小数double型近似值(四舍五入);floor(double d)--返回<=d的最大bigint值;ceil(double d)--返回>=d的最小bigint 值;c...

2019-03-08 10:21:09 400 1

原创 Sqoop之——sqoop 报 Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR 解决方法

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88105456将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下即可解决问题。

2019-03-04 11:09:24 314

hydra 一键安装包

Hydra一键安装包,内含脚本,直接运行脚本就可以安装了,由冰河大神亲自整理

2019-01-07

Python绝技书籍+配套资源

Python绝技书籍+配套资源,由冰河大神亲自整理贡献,书籍+配套资源可以让你学起来更加轻松

2019-02-11

冰河的渗透实战笔记-冰河(公众号:冰河技术).pdf

冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记,全书共442页,共计37万字(不计空格)。整本书的内容涵盖:Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、社会工程学。

2021-05-18

VMWare安装MacOS的unlocker.rar

解锁虚拟机苹果系统选项的批处理工具,解压即可使用,利用此工具就可以在虚拟机上安装macOS系统啦!亲测可用

2019-11-19

Jython示例

java调用Python示例,详情请参考博文:http://blog.csdn.net/l1028386804/article/details/50915556

2016-03-17

游戏外挂攻防艺术PDF书和代码

游戏外挂攻防艺术PDF书和全套代码,由冰河收集整理,让您了解游戏外挂的制作过程和入侵过程,更好的为游戏提供安全保障

2018-12-18

Android APK生成系统签名文件

本文件是Android APK生成系统签名文件,关于本文件的详细用法请参见博文:http://blog.csdn.net/l1028386804/article/details/47687027

2015-08-15

免杀端口转发lcx

免杀lcx,下载后尽量不要放在桌面或其他敏感的地方解压,以免被360等杀毒软件恶意封杀,程序本身是没毒的,亲测成功。 

2018-11-29

深入理解高并发编程(冰河原创电子书)

全网首个最全的免费开源的高并发电子书,内容涵盖源码分析、基础案例、实战案例、面试和系统架构,内含秒杀系统和分布式锁的完整架构过程,历时半年精打细磨,三个月下载量突破16万,无论是刚工作的初级程序员,还是工作多年的老司机,都值得一看!

2021-04-28

商城数据库SQL脚本文件.rar

垂直分库后的商城数据库SQL脚本文件,下载可以稍微修改下即可用于项目中,同时,也可以拿来学习商城数据库的架构知识

2020-03-01

Android自定义下拉菜单示例

本示例完整实现了自定义下拉菜单的功能,初学者可快速掌握自定义下拉菜单的技巧,有关具体的实现细节请参考博文:http://blog.csdn.net/l1028386804/article/details/48101651

2015-08-30

MySQL 8.0.18源码安装包.rar

MySQL 8.0.18源码安装包,如何编译安装最新版本的MySQL,如何编译MySQL 8.x, 参见博文:https://blog.csdn.net/l1028386804/article/details/103211544

2019-11-23

sharding-jdbc之——分库分表实例完整源码

sharding-jdbc之——分库分表实例完整源码,详情请参见博文:http://blog.csdn.net/l1028386804/article/details/79368021

2018-02-25

Linux RTL8111/8168B PCI EXPRESS 网卡驱动

Linux 版本的RTL8111/8168B PCI EXPRESS网卡驱动。。。

2017-10-17

avro-1.8.1

运行Sqoop报错:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/LogicalType,下载此资源放到Sqoop的lib目录下即可

2019-02-28

FastDFS6.06完整安装包

FastDFS完整安装包,安装步骤详见:https://binghe.blog.csdn.net/article/details/108803782

2021-04-13

nexus-2.11.2-03-bundle.rar

Nexus——搭建Maven私有仓库,参见博文:https://blog.csdn.net/l1028386804/article/details/71037336

2020-06-15

Android模拟实现检测心率变化的应用源代码

这个应用模拟实现了检测心率变化,详细实现原理请到链接http://blog.csdn.net/l1028386804/article/details/47169025查看

2015-07-31

基于Netty5.0高级案例NettyWebsocket

基于Netty5.0高级案例NettyWebsocket ,详情请参见博文:http://blog.csdn.net/l1028386804/article/details/55026558

2017-02-13

svnadmin-3.0.5.zip

具体安装与配置请参考博文:http://blog.csdn.net/l1028386804/article/details/71013092

2017-04-30

Spring基于注解整合Redis完整实例

本实例完美的实现了Spring基于注解整合Redis,只需在相应方法上加上注解便可实现操作redis缓存的功能,具体实现方法与运行测试方法请参见博文:http://blog.csdn.net/l1028386804/article/details/52141372

2016-08-07

中国象棋游戏源码.rar

中国象棋游戏Java源代码,完整的源码和注释,可直接运行,可直接用作毕业设计,也可作为学习Java语言的小项目

2021-04-26

FastDFS_v5.05_安装包、工具包

FastDFS_v5.05_安装包、工具包

2017-05-13

流程引擎(Flowable+Activiti)

流程引擎包,包含:Flowable 6.4.2和Activiti 6.0,需要整合流程引擎的同学可以下载,国外的下载链接太慢了,现分享出来。

2020-07-28

ImmunityDebugger

Immunity Debugger软件专门用于加速漏洞利用程序的开发,辅助漏洞挖掘以及恶意软件分析。它具备一个完整的图形用户界面,同时还配备了迄今为止最为强的Python安全工具库。它巧妙的将动态调试功能与一个强大的静态分析引擎融合于一体,它还附带了一套高度可定制的纯pythont图形算法,可用于帮助我们绘制出直观的函数体控制流以及函数中的各个基本块。

2019-01-15

Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件

Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件,为避免读者搭建环境过程中出现各种异常情况,冰河特别整理了这份yaml安装文件,一起加油呀~~

2021-05-12

MySQL各版本my.cnf配置文件.rar

MySQL 5.6、5.7、8.0版本的my.cnf完整配置文件,亲测可用,配置文件中优化了MySQL中的一些默认配置项,能够有效的提高MySQL数据库的并发处理能力!

2020-01-12

linux库:compat-libstdc++-33-3.2.3-61

compat-libstdc++-33-3.2.3-61.i386.rpm及compat-libstdc++-33-3.2.3-61.x86_64.rpm

2020-04-20

SQL注入实战

安全大神冰河亲自制作SQL注入入门级案例,非常适合初学者研究实践SQL注入,更好的提升自身对SQL 漏洞的注入能力和对数据库安全的认识。

2018-11-20

Android实现锁屏、设置密码、恢复出厂设置示例

通过本示例的学习,初学者可轻松掌握如何获取Android系统管理员的权限

2015-07-22

Memcached 32bit与64bit安装包

Memcached 32bit与64bit安装包,具体安装请参见博文:http://blog.csdn.net/l1028386804/article/details/61417166

2017-03-11

storm实现井字棋游戏源码

storm实现井字棋游戏源码, 详情见博文:http://blog.csdn.net/l1028386804/article/details/79149418

2018-01-24

配置Maven私服配置文件setting.xml

配置Maven私服时,需要修改Maven的默认配置文件,此文件已经配置好Maven私服模板,只需要修改IP和对应的端口号即可

2017-11-29

Storm整合Druid进行实时分析源码

Storm整合Druid进行实时分析源码,支持多维度分析,学习Storm实时分析必不可少的研究项目

2018-01-25

史上最简单Android图片轮播效果实现 源码程序

这个Android示例用最简单的方式实现了图片轮播效果,具体实现细节请阅读博文:http://blog.csdn.net/l1028386804/article/details/48049913

2015-08-28

Flume采集Nginx日志到Hive.rar

Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件,具体使用方式可参见博文:https://blog.csdn.net/l1028386804/article/details/97975539

2019-08-01

Easy File Sharing Web Server 7.2

Easy File Sharing Web Server 是一种允许访客容易地经由浏览器上传/下载文件的文件分享系统.

2019-01-15

ActiveMQ实现的消息收发案例

基于ActiveMQ实现简单的消息收发案例 ,详情请参见博文:http://blog.csdn.net/l1028386804/article/details/68969450

2017-04-03

PCMan-FTP+溢出脚本

PCMan-FTP+溢出脚本,实战渗透PcMan-FTP,由冰河大神亲自整理奉献

2019-01-17

nginx1.9.7+keepalive1.3.2

nginx1.9.7+keepalive1.3.2,可搭建Nginx可高用集群和自动故障转移

2018-04-26

冰 河的留言板

发表于 2020-01-02 最后回复 2020-06-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除