Destaques

[Artigo Oficial] Testando, 1 2 3, testando!

Os jogadores de Tibia mais assíduos aos fóruns oficiais, test servers e antenados às notícias, não só do universo tibiano, como também às relativas a CipSoft, já devem conhecer, ao menos de nome, Delany, Bolfrim, Seyva e Siramal. Eles fazem parte da equipe de testes da CipSoft. Mas, realmente, o que um Tester faz?

Buscando responder a esta pergunta, os Community Managers prepararam para o mês de agosto um artigo oficial especial, no qual dão uma visão geral a cerca do trabalho que os Testers desenvolvem. Confiram!


“Os testers

Praticamente todo tibiano que tenha participado de um test server privativo ou das comemorações do 15º aniversário do Tibia já deve tê-los visto correndo pelo jogo. No entanto, quem são as pessoas por trás da nobres figuras de pixels que estão por ai dando voltas em suas Uniwheels ou montadas no dorso de uma Lady Bug ?

Para a confecção deste artigo do mês, encaminhamos à equipe de testes algumas perguntas e agora apresentaremos as respostas. Vamos lá!

—-
CMs: Atualmente a equipe de Tester é composta por quantos membros?

Testers: Atualmente a equipe é composta por um coordenador (Delany) e três membros principais (Siramal, Seyva e Bolfrim). Enquanto Sevya é a tester mais nova, Bolfrim trabalha exclusivamente para o departamento de inovações da CipSoft.

DelanyObservação:
Como vocês sabem, recentemente algumas coisas mudaram na CipSoft. Dentro dos próximos meses, Delany coordenará os Product Managers. Como ele coordenava a equipe de testers, foi necessário nomear um novo coordenador, dessa forma, Bolfrim assumirá a função.

CMs: Individualmente, os integrantes da equipe de testers tem responsabilidades ou tarefas específicas?

Testers:  Não existem tarefas as quais apenas um membro de equipe seja o responsável. No geral, todos os testers são capazes de trabalhar em todas as tarefas, mas, é claro, entre os membros da equipe existem especializações.

 

CMs: O que vocês testam?

Testers: Basicamente, testamos tudo o que é desenvolvido pela CipSoft: desde um componente do Tibia até um produto ou ferramentas necessários para o nosso trabalho interno. Dentro da CipSoft, somos como um departamento independente. Então, realmente precisamos que os outros departamentos cumpram suas tarefas para testar um novo recurso ou conteúdo.

 

CMs: Por que apenas componentes técnicos são testados e não, por exemplo, se uma nova quest é divertida para se jogar?

Testers: Nosso teste é como um clássico teste de software. Não podemos testar adequadamente a usabilidade e a diversão. Muitas vezes isso é uma questão subjetiva de gostos e interesses. Além disso, nossa equipe é muito pequena para executar quaisquer testes de longa duração em termos de diversão. Claro que, se durante nossos testes notarmos qualquer coisa que pareça problemática ou questionável (de uma forma não técnica), também damos um feedback sobre a usabilidade e diversão. Mas este não é o nosso foco, é apenas um teste indireto. Nossa principal tarefa é testar se todos os requisitos técnicos são cumpridos e se todos os recursos estão funcionando conforme o esperado.

 

CMs: Quanto do trabalho diário é direcionado ao Tibia?

Testers: Normalmente passamos cerca de dois terços do nosso trabalho diário no Tibia. Porém, em caso de necessidade, podemos direcionar 100% do nosso trabalho diário no Tibia durante os horários de pico.

chart2

CMs: Conceito – desenvolvimento – teste – lançamento. Como funciona o processo?

Testers: Inicialmente os product managements coletam os dados e elaboram o conceito de um novo recurso. Após esta etapa, os desenvolvedores e programadores iniciam seu trabalho. Uma vez concluído o desenvolvimento e programação, o recurso é testado pela equipe de teste. Se todos os requisitos básicos são preenchidos e o recurso funciona como estava previsto, ele está pronto para ser lançado.

Se houver tempo disponível, testamos também a usabilidade, a jogabilidade, ortografia, desempenho, etc…

Em relação ao desenvolvimento e lançamento, não há um fluxo de trabalho pré-determinado para cada funcionalidade. Projetos de baixa prioridade são feitos se houver tempo.

 

CMs: Como vocês recebem os reports de bugs?

Testers: Reports ingame feitos por tutores são automaticamente transmitidos para uma ferramenta interna a qual checamos a denúncia e verificamos o problema. Já outros tipos de reports  (via e-mail, por exemplo) são processados pela equipe de suporte ao cliente que também nos repassa a demanda.

 

CMs: Como vocês priorizam a correção de bugs?

Testers: Basicamente há dois fatores importantes para a definição de prioridades. O primeiro é a gravidade do problema. Isso significa analisar qual o potencial de dano que um bug pode causar. A gravidade é estimada por nossa equipe de testes e as vezes, contamos também com a colaboração das equipe de suporte e dos Community Managers.

Baseado nesta estimativa, os product managements definem então o segundo fator, a prioridade em si. A prioridade define o quão urgente e necessária uma correção é em relação as outras que precisam ser feitas.

Embora a gravidade influencie na decisão dos os product managements, é a definição das prioridades que determina quão rápido um bug será analisado e a correção liberada.

 

BolfrimCMs: Após cada update, alguns jogadores continuam afirmando que são encontrados mais e mais bugs em relação à versão anterior. Isso é mesmo verdade?

Testers: De acordo com nossas estatísticas internas, não podemos afirmar isso. Nós realizamos internamente uma comparação entre a quantidade total de bugs existente antes e após uma atualização. E esta proporção tem melhorado desde quando o primeiro tester foi incorporado à equipe. Contudo, como ao longo dos anos o Tibia está cada vez mais complexo, o número absoluto de erros de fato aumentou.

Além disso, esse número depende da quantidade de mudanças que fazem parte da atualização. Por exemplo, se em uma atualização forem adicionadas três novas cidades, o número de erros provavelmente será três vezes maior do que se apenas uma cidade fosse adicionada.

Então, o aumento acentuado da complexidade e da dimensão das mudanças realizadas durante os anos pode explicar a percepção que os jogadores têm sobre o aumento dos bugs.

 

CMs: Durante os últimos updates, cada vez menos testers tem estado online. Isso influenciou a qualidade dos bug reports? Se sim, existe algum plano para aumentar o número de private testers no futuro?

Testers: O fato de ter tido menos testers não teve nenhum impacto na qualidade dos reports, mas sim na quantidade. Além disso, o número menor de testers também significa que provavelmente existam algumas funções e áreas que ninguém encontrou ou visitou e, portanto, elas não foram testadas.

Nós convidamos mais jogadores para a fase privada de testes no update de verão deste ano, e é claro que nós iremos avaliar todo o teste e posteriormente, fazer novos planos para o próximo updates.

 

CMs: Vocês jogam Tibia? Se sim, qual o tipo de mundo em que vocês jogam e qual seus leveis?

Testers: Cada um de nós tem uma conta privada do Tibia, mas a intensidade e frequência de nossas sessões de jogo variam.

Siramal, por exemplo, começou a jogar Tibia muito ativamente quando entrou na CipSoft. Ele joga em um mundo Optional PvP e ainda loga para jogar um pouco hoje em dia, especialmente para participar de eventos ou negociar com outros jogadores. Ele também tem um personagem em um servidor Open PvP, mas ele prefere um ambiente mais pacífico.

Em geral, se um novo colega se junta à nós, ele ou ela normalmente tem bastante tempo para entrar em contato com o Tibia e conhecer melhor o jogo.

 

CMs: Como é o dia a dia de trabalho no escritório?

Testers: Pessoas que normalmente não conhecem muito sobre a indústria de jogos geralmente dizem: “Oh, então você fica jogando o dia inteiro!”. Bem, isto definitivamente não é verdade.

Começamos o dia checando nossos e-mails e nosso internal bug tracker. Depois, verificamos novos reports. Se pudermos reproduzi-los, os product manager irão priorizá-los e encaminhá-los para as pessoas certas. É claro que as correções também são testadas. Simplesmente existem muitas coisas para serem testadas e isto toma uma grande parte do nosso dia de trabalho.

Em nosso escritório, nós temos um quadro que nos dá uma visão geral sobre as tarefas atuais e seu progresso. Nós atualizamos o quadro uma vez ao dia. Se terminarmos uma tarefa, sempre podemos pegar uma nova de lá. De qualquer forma, estamos sempre trabalhando em muitas tarefas ao mesmo tempo.

Além disso, nossos telefones tocam frequentemente. Estamos envolvidos em todos os novos recursos, projetos de conteúdo, etc. Nós testers, temos uma boa visão geral. Então, somos um bom ponto de contato para quaisquer consultas de outros departamentos. Algumas vezes é melhor resolver questões pessoalmente, por isso, colegas de outras equipes nos visitam com frequência.

Normalmente passamos os intervalos na nossa sala de intervalos, onde podemos comer, beber e conversar com outros colegas. Algumas vezes, também passamos algum tempo na sala de recreação e jogamos um pouco por lá.

 

CMs: Existe alguma “hora do rush” que influencie no seu dia de trabalho e sua forma de trabalhar?

Testers: Sim, é claro, existem horas do rush. Pode acontecer de precisarmos deixar tudo de lado para focar em um problema urgente do Tibia. No entanto, isso não influencia em nossa forma de trabalhar. Precisamos manter a cabeça no lugar em situações de estresse. Frequentemente, é a equipe de testes que aconselha para reagendar um lançamento para prevenir perda de qualidade. Algumas vezes, também temos que fazer hora extra, mas isto não é um grande problema, já que temos a oportunidade de descontá-las quando tem poucas coisas a se fazer.

 

CMs: Existe algum grande projeto em teste atualmente ou qual foi o último grande projeto?

Testers: Existem grandes projetos com uma certa frequência, como as atualizações de verão e de inverno. Alguns antigos grandes projetos foram o novo sistema de pagamentos, os Premium Scrolls e o cliente em flash, por exemplo. De qualquer forma, os grandes projetos podem ser diferentes de tester para tester.

SeyvaSeyva: “Meu último grande projeto foi testar as novas funcionalidades de guildas e eu realmente me diverti testando tudo isso. Atualmente, estamos testando o update de verão e a Store. Este é provavelmente o maior projeto que eu já testei no Tibia. É de fato super-interessante, pois é muito complexo e muitos componentes são afetados.”

 

CMs: Como vocês se tornaram tester e que habilidades são necessárias?

Testers: Não há realmente uma faculdade para testers. As habilidades que você precisa dependem do setor que está trabalhando.

Como tester de um jogo, você deve ser bem organizado e calmo, trabalhar de forma independente, fazer alguns estudos e ter um olho infalível para sistemas e “pontos de interrupção”. Mas o que os testers fazem? Basicamente, tentamos quebrar um sistema. Tentamos encontrar bugs e problemas dentro de um recurso por todos os meios disponíveis, mesmo que o desenvolvedor crie um recurso ou conteúdo com muito amor e trabalho.

Portanto, você também precisa ser discreto quando você traz a má notícia de que o recurso não está funcionando como deveria. Além disso, alguns conhecimentos básicos de design do jogo, interface do usuário e scripting são vantagens. Bons conhecimentos de inglês são uma obrigação e você deve ter um certo grau de curiosidade e determinação.

 

CMs: Já aconteceu de vocês ficarem com raiva por não encontrem um erro grave durante a fase de testes?

Testers: Isso acontece. É o nosso trabalho encontrar erros antes de serem implementados no jogo. Cada erro que encontramos é como uma pequena conquista. Se, em seguida, depois de todos os testes, um erro ainda vá parar no jogo é, naturalmente, muito chato para nós. Honestamente, nunca seremos capazes de garantir uma atualização 100% sem erros. Tibia é simplesmente muito grande e muito complexo e nosso tempo é muito limitado para fazer tal promessa.

Portanto, é importante considerar se teria ou não sido possível encontrar um erro com um esforço razoável. Toda vez que negligenciamos um erro, nos questionamos e analisamos se existem formas de melhorar ou se é necessária uma mudança de nossos métodos a fim de encontrar tais erros facilmente no futuro. Muitas vezes temos de responder à essa pergunta com um claro não. No entanto, com vista para um grande erro, sentimos realmente como uma derrota pessoal.

SiramalSiramal: “Alguns anos atrás, adicionamos uma nova grande caverna como parte de uma atualização. Testamos a área como sempre. Erros no mapa e bugs em criaturas foram encaminhados e fixados. Mesmo durante o teste externo tudo funcionou como previsto. A surpresa não demorou a chegar. Depois de alguns dias, percebemos que um andar da caverna era totalmente inacessível. Escadas ou um local para usar corda estavam simplesmente faltando… e entre todas as coisas, partes de um item de domar estavam lá… Bem, a aprendizagem nunca para e, ao testar uma área hoje, não vamos mais lá usando algum feitiço dos Deuses, mas testamos com antecedência se a nova área é acessível a todos.”

Seyva: “Ainda me lembro do bug quando os NPCs tinham parado de gritar após o lançamento do novo sistema de guildas no último outono. Eu nunca sonhei que refazer o chat da guilda poderia quebrar alguma coisa à respeito de NPCs.”

Delany: “Muitas vezes é muito chato se tentamos reproduzir algum relatório de bug, mas não conseguimos encontrar o erro, mesmo se fizermos tudo certo, segundo o relatório. Normalmente, um pequeno detalhe está faltando no relatório e, portanto, no cenário de teste também. Se, após uma longa pesquisa, o programador encontra o bug no código, vemos o que estava faltando. Por exemplo, apenas estávamos testado no lugar errado. Algo como isso pode ser muito frustrante.”

 

CMs: Agradecemos aos testers pelo seu tempo!”


E você, conseguiu entender melhor no que consiste o trabalho de um tester?

Tags: ,

Categorias: ,

Gostou deste post?

Sobre Gabi Woodstock

Gabi Woodstock é burocrata do Portal Tibia e Tibia Wiki.

Ver todos os posts de Gabi Woodstock →

Posts Relacionados