XX的角色造型在性能测试的电子商务应用 
阿尔贝托Avritzer ，各会员协会，并帼Weyuker学者，研究员，符合IEEE摘要，一个电子商务的可扩展性的案例研究，提出这两个传统的性能测试和性能建模被用来帮助优化应用的高性能。这涉及建立一个系统的仿真模型，以及发展一个办法，测试案例生成和执行。
  我们描述我们的经验，采用仿真模型，以帮助诊断生产系统的问题，并讨论如何的成效，性能测试，努力提高其使用。 
指数条款，软件性能测试，软件测试，性能建模，仿真，工作量定性。 
1引言 
传统的做法对发展中国家关键任务系统，可扩展性（即系统能够处理工作量大大超过那些为他们最初设计）涉及广泛的性能测试指标体系与现实的工作量。
  仿真程序已成功使用，以减少测试费用的几个行业。一些具体的例子是半导体[ 14 ] ，网络[ 7 ] ，电信[ 4 ] ，航空航天，制造业和制药[ 8 ] 。仿真建模已建议作为一种减轻风险的可扩展性时，适当的性能测试无法执行的项目，由于缺乏合格的人员或其他一些资源。
  在本文中，我们描述一个案例研究中，我们使用了性能测试和模拟模型，以帮助配置应用的高可扩展性。我们发现，仿真模型可以用来极大地提高了效能的性能测试的努力和业绩建模和性能测试是相辅相成的方面的问题类型，他们往往暴露。因此，他们应该用在与对方。 
其中一个关键目标的性能测试是要发现问题，发现时，该系统下运行的具体工作量。
  这本身就是一个动态的活动，包括运行的软件系统就选定的投入。相比之下，模拟被用来代表已知的功能，一个抽象的方式。我们通常学习效能模型推断从模仿行为，而最有用的信息从性能测试是意想不到的和不可接受的行为。由于这一行为是不应该存在于建筑，它不可能被列入模型。
   
在本文中，我们将描述的案例研究使用的电子商务系统。组织开发的电子商务软件需要确定全面的方式来测试的资源分配机制相关的软件。因此，我们得出一个简单的业务档案制度这是一个说明如何使用它时，它的业务领域。这说明由该协会的发生概率与每个输入域。
  这概率分布往往是确定的监测领域使用该系统的测试或密切相关的制度。对于电子商务系统，个人资料包括姓名的方法调用和外部的平均入住率为每一个方法调用的类型。我们获得了可扩展性问题，既按执行性能测试之前，部署和执行情况的监测后，该系统是部署在生产 
环境。
  此外，我们使用性能建模，以帮助诊断中的一个短暂的生产问题。详细情况将在以后提供各款本文。 
监测和建模的多层应用网络前端与一个基于Java的应用服务器的中间层和数据库的后端还介绍了。我们认为，应用经历了一个性能测试阶段持久的几个星期到几个月。
  问题的例子，可以发现在性能测试阶段的内存泄漏有关会议超时，和Java的垃圾收集有关问题的配置堆内存的大小。 
面临的主要挑战之一配置多层应用服务器的高性能和高可靠性是，它是很难文书的性能测试和生产环境，收集数据最直接影响客户，如响应时间和吞吐量。
  相反，大多数后端服务器工具报告诸如CPU利用率，内存扫描率和I / O率，磁盘寻道时间，以及数据库的措施。 
因此，分析师往往性能优化 
  
1072年汇刊软件工程，第二卷。 30日，一氧化氮。 12日， 2004年12月 
。字母a。
   Avritzer是与西门子公司的研究，普林斯顿08540 。 
电子邮箱： alberto。avritzer @   。 
。体育Weyuker是与AT ＆ T实验室研究， 180公园大道， Florham公园，新泽西州07932 。电子邮箱： weyuker@  。
   
收到稿件2004年6月22 ;修订04年十一月八日;接受18 Nov。2004 。 
接受建议的D。魏斯。 
如需获得重印本文，请发送电子邮件至： 
tse@  ，并参考IEEECS日志数谢志伟- 0122 - 0604 。 
1536-1233/04 / $ 20。
  00 _ 2004年的IEEE发布的IEEE计算机学会后端性能希望它能够产生积极影响的特点，是真正的客户影响。 
这可能并非总是如此，尤其是可能没有足够的端到端的响应时间优化。 
在一些版本的Java虚拟机（ JVM ）中，引擎的垃圾收集站所有线程每当垃圾收集执行。
  因此，在16对称多处理器架构，只有一个处理器可在积极收集垃圾的事件。出于这个原因，长度充分垃圾收集事件的频率和这些事件的关键参数的配置， Java虚拟机。 
瞬态问题，有时可能会出现因相互作用的建筑文物喜欢收集垃圾的事件和内核变慢，造成很大一部分的CPU时间来所使用的内核。
  其他原因造成的瞬态生产减速是一些积极的线程和CPU内核的开销。 
我们已建立了详细的仿真模型，以帮助评估所产生的影响等因素内核开销，应用服务器的堆大小，服务质量的执法算法，以及一些应用服务器是执行在某个节点。我们用强的服务质量（ QoS ）执行算法介绍[ 3 ]来评价业绩的生产环境时，一些线程允许在并行执行是动态控制。
  强的QoS算法将简要概述下一节。 
我们也评估之间的权衡多线程在一个应用服务器和多线程的应用服务器的垂直扩展，我们在那里说， Java应用服务器是纵向扩展，如果它能够启动几个副本，应用服务器在同一计算机节点。预计受益的垂直扩展性是一个后果是，一些应用服务器，如Java的JVM 1。
  3。1 ，使用单一线程在充分收集垃圾的事件。垂直扩展性尤其重要的是在多处理器环境下大量的主记忆体，因为采用小堆大小，每个申请的时间花费在服务器singlethreading模式大大减少。我们将模拟结果表明，应用服务器，使用单一的线程在充分收集垃圾的事件，垂直扩展性是一个非常重要的功能，以确保稳定的高负荷。
   
相比之下， Java应用服务器的可扩展性是所谓的水平时，计算机节点单独创建和工作量分为单独的电脑。 
IBM的WebSphere是一个例子，一个应用服务器，提供横向和纵向的可扩展性功能[ 15 ] 。 
纲要的文件如下：在第2节，我们本概述了有关的工作。
  第3节中，我们目前的做法，我们用于测试案例生成和执行。第4节提出的问题过程中发现的性能测试和初步系统部署。在第5节，我们目前的高级别模型，我们使用的性能建模和性能测试。在第6节，我们目前取得的成果执行的仿真模型。科7日， 8日和9所有处理方法，自动化的进程，我们建议。
  这是至关重要的成功应用到大型，复杂工业系统。尤其是，第7条处理自动化的性能分析部分，我们的进程，而第8节讨论了如何此自动过程可以用来诊断观察的性能问题在我们的案例研究。第9节介绍如何自动生成性能模型采用状态转移模型。 
最后，我们的结论和建议对今后的研究中提出的第10款。
  目标本文介绍的描述过程来发现和诊断性能问题在一个真实的，大工业的电子商务系统。它讨论了创新性的使用传统的性能测试，加上性能建模与仿真，确定并解决问题发生在外地。类似的办法之前完成系统版本将已查明的问题，并允许适当的系统配置，这样用户就不会遇到这些性能问题。
   
2款有关工作 
在这一节中，我们描述的工作在几个相关的领域。第一个领域是我们考虑的是测试案例生成软件系统。 [ 2 ]中，我们提出的算法生成测试案例，以评估软件提供了系统可以作为一个模型马尔可夫链。这种方法采用排队网络近似和实证定义的值，以确定哪些国家需要马尔可夫测试。
  结果运用这一技术来测试几个大型工业系统中包含该文件。 [ 1 ]中，我们提出了一个相关的测试选拔办法，以规则为基础的软件系统，并进行了个案研究的系统，用于监测的一部分， AT ＆ T网络。我们还规定在该文件中，一个概念的状态空间覆盖面，我们用来评估的全面性的测试过程，并展示了如何的办法可用于监测系统。
   
[ 3 ]中，我们扩大了测试选拔和执行中提出方式[ 2 ]确定三个服务质量的执法算法的分布式对象。该算法使用近似界定上述测试方法和确定其实际价值，有效地确定何时油门或拒绝请求的服务。我们确定的仿真算法的QoS最适合我们目前的工作是一个服务请求时，被扼杀的客户违反其预定的服务质量协议的服务器，无论该系统已接近能力。
  我们呼吁本强的服务质量执法算法，并详细说明了该算法中可以找到[ 3 ] 。在本文中，我们描述的适用性强的服务质量执法算法接纳控制的一个电子商务体系。 
接纳和流量控制算法的目的是保护网络免受超载和速度mismatches。When接纳和流量控制算法，不就业，可能会看到一个临时资源饱和， 
最终导致一个条件在此期间， 
AVRITZER和WEYUKER ：中的作用建模在性能测试的电子商务应用的第1073 
吞吐量迅速下降，如果提供的负荷继续增长。
  流量控制算法的设计，管理负载提供给控制资源，从而在保护资源的瓶颈。当有效的流量控制算法的就业，我们通常看到一个几乎接近最佳的吞吐量率达到负荷工作量的关键水平，而不是崩溃的吞吐量出现在不受控制的情况。关键的工作量级别的定义是负载驱动器的瓶颈资源进入饱和状态。
  事实上，我们有时甚至见可接受的行为超出了临界水平时，适当控制使用。 
网络流量控制机制已分为跳级流量控制，入境到出境流量控制和网络访问流量控制[ 6 ] 。跳级流量控制机制的目的是防止存储和转发缓冲拥挤和通常涉及一些分割的缓冲池。入境到出境流量控制是为了防止拥挤在出口节点由于速度不协调发送和接收。
  在网络接入流量控制机制，外部投入，扼杀网络的基础上的整体状况网络。这是这种类型的流量控制，我们将适用于分布式对象，因为我们的目标是确保客户遵守agreedupon服务的带宽为每个对象。 
我们设想，共享对象将包含服务质量一流的执法，将援引每当有服务要求，即外部输入，提交。
  我们的方法是密切相关的服务质量执法中所描述的框架[ 11 ]使用了分布式对象架构。在这项工作中，描述的架构提供了可用于服务质量的感知软件组件，可以进行谈判的服务质量的需求本身。此外，实验结果的执行服务质量意识的组成部分描述。 
在服务质量的感知架构，组件保持一个服务需求矩阵，并能够解决性能模型实时产生的影响进行评估新的要求对部分优质的服务。
  通过这种方式，组件能够保证数据的平均每次会议。相比之下，办法中提出[ 3 ]利用所收集的数据在质量认证的每个组件，快速计算分析方法，以及简单的比较与实证定义的值能够有效地决定何时请求应扼杀。在[ 5 ] ，这种做法是UML的扩展，以便规范的服务质量要求的架构组成的分布式组件。
   
在第8节，我们提出一个方法的过程自动化的瓶颈资源鉴定。我们的目的是调查的可行性自动识别瓶颈。 
虽然我们也将简要概述了一些替代办法，我们认为这是一个综合评价的效率和实用性的各种可能的办法的范围之外了。 
在[ 4 ] ，这种做法的监测和检测资源退化的规则为基础的系统介绍。
  该方法包括基线资源使用性能退化之前已经发生，那么，侦查资源退化比较衡量业绩的基准。在模拟和数字通信，一项措施被称为信号噪声比是用来衡量质量的一个信号相对现有的信道噪声。在瓶颈资源的鉴定，我们可以考虑的基准水平，噪音和性能退化的措施的信号，我们正在试图发现。
  使用信噪比的概念，使执行者的自动化工具使用大量文献资料的理论。应用信噪比的概念，确定偏离基线也适用领域的学习算法。审查，见[ 10 ] 。 
另一个相关的领域是概率抽样与不同的按照预期的目标中所描述[ 13 ] 。 
这种方法也可以被理解的背景下信号的信噪比。
  小概率分配给该基准值，其目的在于噪音过滤器在信息理论，而大量使用的概率较大价值的目的的信号放大器的信息理论。在第8节，我们将介绍使用信息的理论概念来检测变化的测量基准。 
在接下来的章节，我们将提出我们的做法业务简介推导，我们用来识别测试案例的性能测试。
  在此之后，我们讨论了我们的性能测试结果和仿真模型，推导出后，该系统是部署在生产。 
第3性能测试方法 
业务简介得出的面试系统工程师，分析现有系统的网络日志，并利用experientially基础工程的判断。电子商务系统的登录率的要求是来自用户指定的总人口，比例占总人口预计将登录在繁忙小时。
  高达百分之一点五的总人口中的用户可以登录100000在繁忙时间，而后转化为登录率为0。4登录/秒。 
此外，一个关键的职能所提供的电子商务系统是一个搜索功能。我们确定，对于我们的系统，一个现实的假设是，每场会议将包括四个搜索。因此，我们确定该系统可能必须能够处理多达1。
  6搜寻/秒。 
假设的主要用于简化业务简介推导是，大多数后端的工作量将所产生的任何登录或搜索命令，其他业务将影响微乎其微，因此可以安全地忽略。 
性能测试通常需要执行一项长期的交易序列的许多会议。因此，交易，添加或删除记录从数据库中没有候选人的良好性能测试，因为它们可能会导致随后的交易失败，或变更业绩成本数据库查询，因此很难诊断性能问题。
  与此相反，良好的测试案例的性能测试应该代表大多数资源的使用，是可重复的，假的 
1074汇刊软件工程，第二卷。 30日，一氧化氮。 12日， 2004年12月 
数据库不变，并有一贯的缓存。对于我们的登录名和搜索测试的情况下，我们采用了不同的登录识别每一笔交易，以避免出现不切实际的缓存模式在middletier Java应用程序或在甲骨文的后端。
   
一旦测试案例的定义，撷取播放工具是用来产生的性能测试脚本。长度的这一阶段的性能测试的努力通常是低估，因为它需要脚本撰写和测试之外，剧本是抓获自动捕捉回放的工具。 
实例功能性能测试的努力，需要特殊的治疗是不同的登录标识和代码以检测变量的名称可能会改变时，应用服务器将重新启动。
  例如，隐藏的http变量有时使用领域的交流形式之间的网络浏览器和一些应用服务器。 
姓名这些隐藏的变量是指在应用服务器启动。因此，脚本，使用产生的直接捕捉回放的方式可能会失败，一旦申请服务器已重新启动，新的名称隐藏的变量已经确定。 
4性能试验和监测结果 
性能测试通常是由单一的交易测试和混合交易测试。
  单交易测试使用的登陆/注销测试，登录/ nologout测试，并登录/搜索测试。的目标这些试验是计算最大吞吐量是可以实现由单一的交易，如登录或搜索。 
我们用了两个品种登录测试：登陆/注销和登录/不注销。后者是旨在推广的情况下，用户登录到该系统和漂移了没有明确登出。
  我们发现内存泄漏有关连接超时时登录/不注销测试被处死。问题是，记忆相关的会议不是被释放的Java虚拟机的垃圾收集引擎。 
此外，我们还建立混合交易试验持久800秒每登录。这些试验被处决性能测试会长达一点六?万秒。每次测试包括一个单点登录， 32搜身，和65整体运作。
  试验被处决了不同数量的同时虚拟用户。我们测试案例包括25 ， 50 ， 100和200个并发虚拟用户。根据性能测试结果，在Java的垃圾收集堆大小配置为三千兆字节以来最好的整体表现观察到的性能测试环境发生的这种规模的配置。 
当应用被部署在生产环境中，但显着的性能下降是报告的用户。
  
  这些减速很少发生，并呈正相关的一些批次被同时运行的系统一批界面。因此，我们决定建立一个模拟模型，试图重现用户报告减速控制的仿真环境。因为我们正试图诊断暂时性的问题发生的结果之间的相互作用定时的垃圾收集活动，并已开始实施的线程通过批处理界面，我们认为，仿真模型更适合于分析模型。