分类： 编程知识

编程语法，建设网站，搭建服务器，安全运维知识

DataX二次开发——新增HiveReader插件

一、研发背景 DataX官方开源的版本支持HDFS文件的读写，并没有支持基于JDBC的Hive数据读写，很多时候一些数据同步不太方便，比如在读取Hive之前先执行一些sql、读取一些Hive的视图数据、或者在数据同步时执行一段固定的SQL，将SQL执行结果写入下游等各种场景，实际上还是需要Hive插 ...

RabbitMQ消息队列入门及解决常见问题

RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。 ...

面向对象编程

6.1 面向对象编程相关概念 6.1.1 什么是面向对象编程 面向对象编程——Object Oriented Programming，简称OOP，是一种程序设计思想。在该思想中程序里万物都是对象。 OOP把对象作为程序的基本单元，把具有相同行为的对象归纳成类，通过封装隐藏类的内部细节，通过继承使类得 ...

Redis的十六种应用场景

Redis 16 个常见使用场景 这个场景最开始是是一篇介绍微博Redis应用的PPT中看到的，其中提到微博的Redis主要是用在在计数和好友关系两方面上，当时对好友关系方面的用法不太了解，后来看到《Redis设计与实现》中介绍到作者最开始去使用Redis便是希望能通过。利用set结构的无序性,通过 ...

Python修改柱状图边缘柱子与图边界的距离

本文介绍基于Python中matplotlib.pyplot模块，修改柱状图、条形图最两侧的柱子与图像边缘之间距离的方法。 最近，绘制了一个水平的柱状图，但是发现图的上、下边距（不是柱子与柱子相互之间的间距，而是最上方与最下方柱子各自与图边缘的距离）相对较大，非常影响美观。同时需要说明的是，本文这里 ...

文盘Rust -- rust 连接云上数仓 starwift

最近想看看 rust 如何集成 clickhouse，又犯了好吃懒做的心理（不想自己建环境），刚好京东云发布了兼容ck 的云原生数仓 Starwfit，于是搞了个实例折腾一番。
Starwfit 是京东云自主研发的新一代云原生数据仓库,通过存算分离降低了存储成本，同时兼具性能和扩展弹性。其写入和查询... ...

带了一个 3 年的开发，不会循环删除 List 中的元素，心态崩了。。

大家好，我是栈长。 最近和某个朋友聊天，说他手下的一个开发，工作 3 年多了，一个需求的技术点，需要循环删除 List 中的元素，整了半天，说程序报错，不会弄。。 他挺无语的，和我倾诉，我说工作 3 年多也不至于吧，不会的话，在网上找找也能搞定啊，他说确实是的，这个开发挺难带的，简直崩溃！！ 循环删 ...

泛型

什么是泛型 泛型，即 “参数化类型”。一提到参数，最熟悉的就是定义方法时有形参，然后调用此方法时传递实参。那么参数化类型怎么理解呢？ 顾名思义，就是通过泛型指定的不同类型来控制形参限制。在泛型使用过程中，操作的数据类型被指定为一个参数，这种参数类型可以用在类、接口和方法中，分别被称为泛型类、泛型接口 ...

【2023微博签到爬虫】用python爬上千条m端微博签到数据

一、爬取目标 大家好，我是 @马哥python说，一枚10年程序猿。 今天分享一期python爬虫案例，爬取目标是新浪微博的微博签到数据，字段包含： 页码,微博id,微博bid,微博作者,发布时间,微博内容,签到地点,转发数,评论数,点赞数 经过分析调研，发现微博有3种访问方式，分别是： PC端网页 ...

Java JDK Proxy和CGLib动态代理示例讲解

简介 代理模式在Java中有很多应用场景，而代理又分静态代码和动态代理。静态代理是编写、编译或加载时织入代码实现，而动态代理则在运行时实现。简单而言，静态代理是在运行前就已经存在，而动态代理则在运行时才存在的。而常用的动态代理有两种实现： JDK Proxy： JDK Proxy是JDK自带的，不需 ...

读Java实战（第二版）笔记03_引入和使用流

1. 流 1.1. 以声明性方式处理数据集合 1.2. 通过查询语句来表达，而不是临时编写一个实现 1.3. 遍历数据集的高级迭代器 1.4. 透明地并行处理 1.5. 从支持数据处理操作的源生成的元素序列 1.5.1. 元素序列 1.5.1.1. 从有序集合生成流时会保留原有的顺序 1.5.2.  ...