Inside Identity
Inside Identity
误解的事让我害羞
但选择率真又让人不好意思
无论别人对我说什么
我就是不清楚正确为何物(QQ音乐,译自《INSIDE IDENTITY》)
引言INSIDE IDENTITY:哪里才是YDJSIR的栖息之所?
这绝不仅仅是六花、勇太的疑问。这,也曾经是长期困扰YDJSIR的疑问。
不得不说,YDJSIR是十分幸运的。一次又一次,YDJSIR成为了那个例外。无数次,YDJSIR没有因为YDJSIR的所作所为坠入深渊;无数次,YDJSIR所担忧的那些没有发生。处在一个相当宽容与充满尊重的环境中,YDJSIR的莽撞与愚昧,被一次次原谅。而YDJSIR,与YDJSIR那可笑的坚持与固执(或者说是欺软怕硬?),常常胡作非为。也许,和善的他们并不总是“政治正确”,硬要挑刺,也绝非毫无瑕疵。
所以,YDJSIR的内在身份,是什么呢?
YDJSIR还不算纯粹的二次元坑里面的人吧。
但是YDJSIR还是很欣赏平面化的世界以及其中的故事啊。
YDJSIR喜欢的作品,恰恰是那些与现实结合紧密或者是反映现实的啊。
也许,是因为,有那么些故事,用二次元来展现,会更加美好吧。
无 ...
日志构建、收集、存储与可视化展示实例
基本信息如果要看具体的功能点说明的话,请直接跳到功能点章节。
ClickHouse数据库中收集到的日志导出为csv后已放在box上,下载地址如下。
https://box.nju.edu.cn/f/f1b6dd967896407da751/
最后可以在对应的Flink环境上运行的jar包的地址如下。
https://box.nju.edu.cn/f/fbf09bfa6f63446fb2f9/
环境搭建承载平台本次使用的计算平台均位于华为云上。整体架构图如下所示。
本地管理员所有对远端的交互均透过特定工具在内网进行。华为云服务器间内网速度默认为1Gbps,本地到华为云服务器的公网IP均为按量付费的100M宽带。应用服务器IP后期为 10.168.0.3。
上图左侧的SpringBoot容器数量仅供示意。请以下面的docker ps -a为准。
微服务服务器8C16G的华为云HECS。使用六一八特惠购买1年,全程保持开机。
该服务器的内网IP地址为 192.168.0.3。
后期改用临时按量付费的ECS,配置也为8核16G,IP地址 10.168.0.3。运行环境细节不变。
日志分 ...
八块腹肌显卡再就业故事
上车需谨慎众所周知,前段时间,大批量的显卡被送去锻炼身体了。这段时间内,显卡的价格可以说是水涨船高。潮水退去,显卡价格开始雪崩,然而,似乎仍然有一股力量,在强而有力地给价格基本盘托底。YDJSIR很显然也会在低潮地时候,搞点健身房退役卡来比划比划。
随着DAG大小的上升,一批又一批的卡和锻炼无缘,只能退下。当然,这里本文囊括的实际上并不只是锻炼身体残废的卡。炼丹实际上也很摧残显卡,对吧。只不过那种显卡的工作环境稍微好些毕竟求稳。因此专业计算卡(二手)同样在本文的覆盖范围内。全新购买显卡则不算。
Nvidia Tesla M4 12G(这也只有公版)200块买不了吃亏买不了上当!只要200!顺丰包邮!
散热是自己改的,拿了一个半高刀卡只有两线(没错,只有正负极的定速风扇,嗯吹)。
给PCIE3.0x4通道,6000转双小风扇满载能65W压到67℃(室温18℃左右),FurMark正常,但是性能还是太屑了。就当纯CUDA吧。这和核显没本质区别……最多翻一番,有独立显存。也有可能是因为8G内存显卡根本跑不开?
测试文件结果自取。不想评价什么了。
https://oss.ydjsir.c ...
《虚忆定格》——江门市第一中学的记忆
虚忆定格(Frozen Memories)已上线Steam!
商店页面: https://store.steampowered.com/app/1224840/_/?l=schinese
制作组官网:http://skt-studio.com/
因果缘起终有一天,YDJSIR也成为了AVG原型校友(虽然不完全,作品里一张现江门市第一中学景贤学校跃进路校区的图都没有,景贤来的人也都是黑影),啊哈哈哈哈。YDJSIR挺欣赏这画风的。虽然不大精致,缺乏细节,而且风格不大统一(个人看法),但是整体看起来还挺舒服的。
在大学,YDJSIR基本上已经不再提起初中时光,但《虚忆定格》(原型江门市第一中学)的发布改变了这一切。严格来说,这部作品带有一定的玄幻色彩,并不是单纯的恋爱游戏(去掉恋爱对于世界观和剧情发展可以没有任何影响),YDJSIR更愿意称之为AVG而非gal。不过, 仍然在YDJSIR的接受范围内。一年前就开始发布先行体验版的它让YDJSIR等得好辛苦,发售当天(2022年3月12日)YDJSIR毫不犹豫地将它纳入仓库中。
这游戏也不贵,欢迎入坑!
内容回顾浮光掠影
由于本游戏是单线 ...
2022春数据集成环境搭建
~承载平台承载平台是YDJSIR的安装着Windows10 教育版的台式机上的HyperV虚拟机。该虚拟机利用虚拟交换机桥接到路由器上,而后连到南大校内网。
性能方面,分配了QQBZ(i9 9900 ES版,以7核心超线程状态运行)的四个物理核心,宿主机内存双通道32GB,8GB静态全量分配给虚拟机。
为了方便团队协作,YDJSIR在路由器(网件R8000P)上部署了特定工具。队友可以通过特定工具的方式连到YDJSIR的宿舍内网,访问上述虚拟机和YDJSIR的NAS和软路由等服务。
所有对服务器的访问均通过SSH进行,该虚拟机不直接映射任何端口到校内网。
环境一览软件版本1234567891011121314.├── flink-1.13.6-bin-scala_2.11.tgz├── hadoop-2.7.4.tar.gz├── install.sh # 宝塔面板├── kafka_2.11-2.1.1.tgz├── scala-2.11.12.rpm # 独立的Scala├── spark-2.4.8-bin-without-hadoop.tgz # 有Scala没Hadoop├ ...
技术团队合作的思考
~作为一个软件工程专业的学生和技术爱好者,在技术团队中的合作经历显然是不少的。为什么这里说的是技术团队,而不是软件团队或开发团队呢?因为技术团队可以是运维,可以是数据分析,可能是行情研究或者是做综述,可能是顾问,当然也可以是实际软件开发。下面提到的例子显然和软硬件有关。
在YDJSIR提交人生中第一份完全独立自主提出的策划案并收获如下的评价后,YDJSIR进行了更深一步的思考。
幼稚。
YDJSIR此刻不禁想起了某P大学生在某为一入职就提出一份无比宏大的策划案并被火速领便当的故事。YDJSIR无意于考究该事是否属实,但它的确与YDJSIR此时的状况相近。看着这份比YDJSIR的所谓”策划案“还要长两倍的反馈意见,YDJSIR对自己的轻率感到极为抱歉。
YDJSIR承认,这个评价是对的。无论是过分的画饼和建立在对于现状和前贤的努力的彻底无视的大跃进提案的提出,是对YDJSIR的提案内容上的问题。然而,这份材料的问题绝不仅仅是内容策划案上,更是对管理制度和领导层的彻底无视上。YDJSIR的直属领导说更是直白地表示,他也不想当领导,但是在这个问题上,他决不能苟且。YDJSIR仔细想了下, ...
CICD with Jenkins & GitLab
DevOps!虽然很显然只有Jenkins和GitLab是还远远算不上完整的DevOps的,但至少YDJSIR离DevOps进了一步。
由于花旗杯的契机,YDJSIR开始认真研究Jenkins。虽然说也不能研究得多么深入,但总归是有些尝试。
软件工程与计算三环境说明该容器运行在一台腾讯轻量云服务器(上海,4C4G8M)的Docker容器中,通过Agent的方式,控制另一台腾讯轻量服务器(上海,4C4G8M)进行代码拉取、自动构建打包测试与发布等工作。
Jenkins通过南大Git上的镜像仓库获得WebHook推送++代码,相关操作均按照文档进行。前/后端和Python服务在生产环境中均运行在容器内。目前设置上以master分支为生产环境,仅该分支的推送会触发构建。构建状态会用GitLab Connection推回给南大Git。日常开发主分支是develop。
部署图如下。
仓库列表和说明如下。
课程仓库
南大Git镜像
备注
http://172.29.4.49/MXYZyyds/backend-mxyzyyds
https://git.nju.edu.cn/YDJSIR ...
图像处理实践
缩放旋转滤镜篇
因为有跨域请求的问题,双击打开会出问题,请不要双击打开文件。代码地址如下:
https://github.com/YDJSIR-NJU/NJUSE-21-Frontend/tree/main/OnlinePS
实现功能本代码实现了以下所有功能。
滤镜功能,可以选择一组预设滤镜;
手动更改属性(例如亮度,对比度,饱和度)以获得所需的结果;
裁剪、旋转和缩放图像;
图像风格迁移;
代码说明本项目全部使用了本地缓存的CSS和JavaScript,没有使用Node.js或CDN。
直接双击打开index.html会有跨域问题。请保证访问时网页放在一个HTTP服务器中。我采用的是nginx-1.16.1。
选项区左上角可以上传待修改的图片或下载画布的内容(格式为png)。
滤镜与图像风格迁移本项目使用的是Lena.js。仓库地址:https://github.com/davidsonfellipe/lena.js
左侧的是三种滤镜,红色,灰度与反色,而右侧是三种图像风格。代码调用部分十分简单,举一个例子。
1234567891011fliter1.addEvent ...
Node.js后端+MySQL数据库+jQuery前端实现
~
源代码地址:
https://github.com/YDJSIR-NJU/NJUSE-21-Frontend/tree/main/LoginAndRegister
通用组件部分数据定义
username:用户名;
email:邮件;
hash:密码加盐的盐值;
passwd:加密后的密码;
uid:数据表主键,用于唯一标识一个用户;
我们约定,用户名是不可以重复的,但是邮箱是可以重复的。约束放在后端来做。除了邮箱以外,其他的字符串类型的数据都是严格区分大小写的。
在我提供的导出的数据库文件中,已经包含了三个账户,用户名分别是ss1,ss2,ss3,密码都是ssss1111。数据库转移文件是base_info.sql。
数据库为了便于开发和调试,我选择了在docker中启动MySQL(数据库)和phpMyAdmin(面板)服务。启动过程如下所示,十分简洁明了。提交文件中附有转移数据表使用的SQL脚本文件,可轻松迁移到其他平台。
1234docker pull mysql:8.0.1docker run --name YDJSIR-mysql -p 3307:3306 -e M ...
部署一个toy级别的Spark集群
~环境相关本次实验中共使用了5台华为云ECS,其中1台作为master节点,3台作为workers节点,1台作为观察用的机器。(由于绑定外网相关设置复杂,我们组开了同一地域的一个虚拟机专门用于访问其他四台机器的网页)除了观察用的机器是Windows Server 2012R2 64位简体中文版以外,其他的机器使用的都是Ubuntu Server 18.04。剩余四台主机的主机名、内网IP与公网IP如下。
主机名
内网IP
外网IP
作用
ecs-master
192.168.0.142
主节点
ecs-d202
192.168.0.17
Worker节点
ecs-d203
192.168.0.100
Worker节点
ecs-d204
192.168.0.102
Worker节点
由于IP绑定的问题,通过外网直接访问时,需要主动将网页提供的URL中的内网IP替换为内网IP才可以正常访问。但是在专门准备的观察机器上访问则没有这个问题,因为可以内网直通。
工具相关由于网络问题,此处涉及的所有安装文件都是本地下载后用WinSCP上传到既定位置的。相关操作按 ...