Fork me on GitHub
理想国

  • 首页
  • 标签
  • 分类
  • 归档
  • 搜索

服务器压力测试

发表于 2018-07-11 | 分类于 Linux
字数统计: 3,475 | 阅读时长 ≈ 12

简介

压力测试(Stress Test),也称为强度测试、负载测试,通过加压测试,确定一个系统的瓶颈或者应用不能服务的性能点,来获得应用系统能提供的最大的服务级别的测试。目的是验证软件是否符合客户需求,提高应用系统可用性,减少系统的宕机时间和因此带来的损失。最终产物是包括测试环境,方法和结果的测试报告。

通俗地讲,压力测试是为了发现在什么条件下应用程序的性能会变得不可接受而进行的测试,例如文件系统接收批量数据文件传输,对数据库进行大数据量的查询计算、导入导出、批量数据操作,多客户机同时进行web服务的某一个提交操作。如果没有事先考虑超高并发或超大数据量的情况,那么在极限场景出现的时候很可能导致应用系统崩溃,造成巨大损失,包括不限于客户的交易数据,一分钟几十万上下的服务,运维人员的奖金和因为加班失去的打团时间(FOR AZEROTH!)。

阅读全文 »

module

发表于 2018-03-22 | 分类于 Database
字数统计: 243 | 阅读时长 ≈ 1

简介

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。

阅读全文 »

Hbase实践

发表于 2018-03-22 | 分类于 HBase
字数统计: 1,062 | 阅读时长 ≈ 5

简介

Hbase本地环境搭建

阅读全文 »

Spark最佳实践(下)

发表于 2018-03-16 | 分类于 技术
字数统计: 376 | 阅读时长 ≈ 1

简介

本书是Spark的实战指南,全书共8章,前四章介绍Spark部署,工作机制和内核,后四章通过实战项目介绍Spark SQL,Spark Streaming,Spark GraphX和Spark MLlib功能模块。

这里介绍后四章的内容。

阅读全文 »

我们的时代

发表于 2018-03-15 | 分类于 思考
字数统计: 6,435 | 阅读时长 ≈ 22

简介

夫人之相与,俯仰一世,仰观宇宙之大,俯察品类之盛,所以游目骋怀,足以极视听之娱,信可乐矣!

这是最好的时代,也是最坏的时代,这是,我们的时代!

阅读全文 »

Book Summary系列写作计划

发表于 2018-03-01 | 分类于 写作计划
字数统计: 1,115 | 阅读时长 ≈ 4

简介

“Book Summary”-书的概述,预期是写成一个系列,主要内容有研究生课程学习的课本,对我的思想有重大启发的纪录片和文章书籍,包括不限于历史,宇宙,文化,才艺等等,工作中自学或用到的技术书籍,当前买了很多实体书,oracle/mysql/python/SQL/Spark/网络,还有”多看”上的电子书,没有人督促来读,也没有指标,进度很慢,准备在通读之后把书的内容整理出来,一是记录,二是分享。

阅读全文 »

Spark最佳实践(上)

发表于 2018-02-28 | 分类于 技术
字数统计: 15,283 | 阅读时长 ≈ 54

简介

本书是Spark的实战指南,全书共8章,前四章介绍Spark部署,工作机制和内核,后四章通过实战项目介绍Spark SQL,Spark Streaming,Spark GraphX和Spark MLlib功能模块。

通过阅读,读者可以接收的信息和获取的能力包括:

Spark单机及集群部署,一键部署大规模集群的脚本;

对Spark运行过程,数据结构,内核函数进行深入解析;

hdfs解决了数据的分布式存储,Spark作为优秀的计算框架解决了数据处理的效率问题,那么把数据屯起来处理,想要干啥?这就是本书第三个重要的部分,对大量数据进行查询支持的Spark SQL、应对网站实时统计,数据流处理的Spark Streaming、在社交网络关系挖掘中举足轻重的图处理 Spark GraphX、在当前最火的机器学习上提供了Spark MLlib模块,实现了分类聚类回归等多种算法,这些可以处理实际问题的模块是Spark 业内热度飙升的重要原因。

作者是陈欢和林世飞,在腾讯的社交和效果广告部负责大数据处理和分析的相关工作,掌握着海量的服务器资源,利用成规模的Spark集群来捣腾海量数据。

成书时间2016年2月,技术迭代很快又很慢,随着市场发展新的功能需求不断产生,技术的深度和使用技巧快速演进,慢则体现在技术的稳定性,五年前十年前的应用和概念多得是,很多十多年前的技术书籍现在拿来看依然唇齿留香,经典绝伦。Spark作为已经相当成熟的大数据领域工业应用级框架,以后肯定会不断发展,但根基整个推翻是不太可能了,那意味着整个行业所有跑在Spark上面的应用全部废掉,本书作为资深人士刚写出来结合行业内当前发展的基础性技术书籍,预期3-5年不会过时,作为入门书籍那是相当靠谱。

阅读全文 »

Book-Spark教程

发表于 2018-02-04 | 分类于 技术
字数统计: 480 | 阅读时长 ≈ 2

简介

Spark是一个解决大规模数据集运算分析的计算引擎,知其然更要知其所以然,深入了解编程模型,RDD原理,解析spark内核,能够让我们在一个更高的角度看程序运行,数据流动,而且现在对批处理有了其他的需求,比如sturcture stream实现的流处理,MLib实现的机器学习的分类聚类算法,对这种更高层次的spark应用的学习有助于更好的发挥spark的潜力,安装配置不值一提,具体应用才是画龙点睛。

spark 教程 讲的很透彻,已经刷了两遍,跟着做了一些实际操作,每一遍都有新的理解,学得越多越觉得自己懂得太少,奋斗吧少年!

阅读全文 »

Spark实践

发表于 2018-02-02 | 分类于 Bigdata
字数统计: 2,496 | 阅读时长 ≈ 11

简介

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,一个用来实现快速而通用的集群计算的平台,扩展了广泛使用的MapReduce计算模型,能高效支持更多的计算模式,包括交互式查询和流处理。在处理大规模数据集的时候有优势,Spark的一个重要特点就是能够在内存中计算,因而比MapReduce更快,即使在磁盘上进行的复杂计算,Spark依然更加高效。

阅读全文 »

NoSQL简介

发表于 2018-01-23 | 分类于 NoSQL
字数统计: 1,784 | 阅读时长 ≈ 6

简介

本文主要参考菜鸟教程,原博文清晰明了,可以自行前往,写在这里是以手连心加深印象,同时把这些信息抓回来作为以博客为载体的个人技能图的重要组成部分。

NoSQL(NoSQL = Not Only SQL ),意即”不仅仅是SQL”。

现代计算系统上每天网络上都会产生庞大的数据量,这些数据很大一部分是由关系数据库RDBMS处理,实践证明关系模型非常适合于客户端服务器编程,是结构化数据存储在网络和商务应用的主导技术。

NoSQL是另一种数据组织形式,早期提出至09年趋势高涨,NoSQL相关的非关系型数据库在存储处理当前互联网快速产生,日益庞大,形式多样的数据方面有巨大优势,发展迅速。

阅读全文 »
12
Chaos

Chaos

我知这人生本如白驹过隙,然而,然而~~~

20 日志
14 分类
27 标签
GitHub
© 2018 Chaos | Site words total count: 58.0k
本站访客数:
|
主题 — NexT.Gemini v5.1.3
博客全站共58.0k字