Informix 11.70.xC5: It's available / Já está disponível

This article is written in English and Portuguese
Este artigo está disponível em Inglês e  Portguês


English version:
The new fixpack of Informix 11.70 (xC5) is available and the Infocenter documentation was just updated as well as the PDF sets of manuals.
Taken directly from the release notes the new features and functionalities are (comments added after the bullet items):

• Administration
• Plan responses to medium-severity and low-severity event alarms
  Mainly a documentation improvement. By describing each possible event ID and the recommended action, IBM is continuing the improvement of the alarm handler allowing the end user to costumize the ALARMPROGRAM scripts
• IFX_BATCHEDREAD_INDEX environment option
  The batched index read feature can now be controled using SQL through the SET ENVIRONMENT statement
• Application development
• Improvement to the keyword analyzer for basic text searching
  An improvement on the way the Basic Text Seach datablade (BTS) handles the keyword analysis to create it's indexes
• Increased SQL statement length
  It may look a small feature if you never hit the 64KB limit, but it can be a must have if you ever faced that limit. Currently the limit was increased to an absurd 4GB with the exception of the CREATE VIEW which is 2MB
• Enhanced query performance
  This can be misleading. What it is in fact is that the size of the client/server communication buffer can now be changed to 2GB by using the FET_BUF_SIZE variable. The driver for this was a competitive situation where it was identified that this could be a bottleneck. Note that this can be important for UNLOADs, exports etc.
• The Change Data Capture API sample program
  Not really a feature. One program that was only found on the docs is now available in $INFORMIXDIR/demo/cdc for convenience
• Enterprise replication
• Replication errors on leaf nodes
  Since the leaf nodes in an ER topology can't have much information about errors on other servers, that errors are removed from the syscdrerror tables on leaf nodes
• Global language support
• Scan strings with the ifx_gl_complen() functions
  Performance improvement for GLS code
• Time Series data
• Count the time-series elements that match expression criteria
  COUNTIF function
• Remove old time-series data from containers
  Allows the re-use of space after old data removal
• New operators for aggregating across time-series values
  Improvement to the TSRollup function
• Data warehousing
• Refresh data quickly without reloading the whole data mart
  A single partition (fragment) of a fragmented table can be sent to the IWA in-memory database
• Use high-availability secondary servers to accelerate queries
  HDR, RSS and SDS servers can now be used to create and load datamarts. Previously they could only be used to accelerate queries. This is a big improvement if you want to mix OLTP and BI workloads since you could offload a large part of the BI to the secondary node(s) leaving the primary to the main OLTP work
• New options added for the use_dwa environment variable
  Several new options for this variable allow you to gain more control about how a session uses the Informix Warehouse Accelerator and to collect more data to understand it's behavior
• Support for new functions is implemented
  Several new functions are supported in the accelerator, which allows more queries to benefit from it. This time the functions added were: LEN, LENGTH, SUBSTR, SUBSTRING, TODAY, TRIM and YEAR
• Support for the Solaris Intel x64 operating system added
  This increases the number of platforms where the connection to Informix Warehouse Accelerator is supported. Currently they are: AIX, HP-UX, Solaris Sparc, Solaris Intel and Linux. I'd say the only one missing that matters is Windows!

To be honest, at first glance I didn't find this fixpack had the number of new features that we've become used to in the latest ones. My fellow colleague from tech support immediately found this good (sometimes new features bring new issues and tech support likes "quiet" releases that allow easy rollback to previous versions). But on the other hand if we look into some of these features, we really see that our R&D has been busy. I'm thinking about the Warehouse Accelerator features, the Timeseries and in particular the size of the SQL statements. I believe some people have been struggling with this for many years. And the increase of the maximum client/server communication buffer, can have a dramatic effect on some specific situations. But this is not all. This release has a lot of work that unfortunately is not documented yet. This is divided into two areas:

1. Performance improvements that can cause issues on some customers or that break undocumented behaviors that applications rely upon. These features have hidden variables that can change the engine behavior if customers hit any issues. Personally I don't like this kind of things, but after seeing some explanations about some of these I tend to understand why this approach was adopted. I have sporadically faced some of these situations over the years and I noticed that one behavior may be desirable in some cases and not in others
2. New functionality that may be provided to some selected customers or partners while still being developed and improved. This will surely be part of the next major release and the benefit is that they'll be much more stable when they're officially released

So, in short, another fixpack, some significant improvements in Warehouse Accelerator, Timeseries and other very specific points, and a lot of "undercover" work that follows a well established roadmap. Of course I could be accused of "whispering" simply to promote the work of R&D, but if you follow my posts you must agree I don't usually do this. Some stuff that I'm thinking about have recently come up on IIUG mailing list discussion, following up on some other blog's post, so I'm not even the first one to "leak" some of this. Hopefully in the future I'll be able to post something like "do you remember when I whispered about some undercover work? That was this and this and that..." and then you can pick up the "old" 11.70.xC5 fixpack and try a couple of tricks :)

Versão Portuguesa:

O novo fixpack do Informix 11.70 (xC5) está disponível e a documentação no Infocenter e nos PDFs foi actualizada
Tirado diretamente das release notes as novas funcionalidades são (comentários adicionados após cada ponto):

• Administração
• Planeamento de respostas para alarmes de baixa e média severidade
  Essencialmente é uma melhoria na documentação. Ao descrever cada possível evento (ID) e as ações recomendadas, a IBM continua a melhorar o gestor de alarmes permitindo ao utilizador final costumizar o seu script para o ALARMPROGRAM
• Opção de ambiente IFX_BATCHEDREAD_INDEX
  A funcionalidade batched read index pode agora ser controlada por SQL através da instrução SET ENVIRONMENT
• Desenvolvimento aplicacional
• Melhoria na análise de palavras chave para a pesquisa básica de texto
  Uma melhoria na forma como o Basic Text Search (BTS) datablade lida com a análise de palavras-chave para criação dos seus índices
• Aumento do tamanho das instruções SQL
  Pode parecer uma pequena melhoria, se nunca atingiu o limite de 64KB, mas pode ser crítico se alguma vez se deparou com este limite. Desta feita o limite foi aumentado para uns absurdos 4GB, com exceção de um CREATE VIEW que está limitado a 2MB 
• Performance de queries melhorada
  Esta descrição pode ser enganadora. Não se trata de uma alteração ao optimizador, mas sim da capacidade de aumentar o buffer de comunicação entre o servidor e o cliente para 2GB. Isto pode ser controlado com a variável de ambiente FET_BUF_SIZE que até aqui só podia ir até 32KB. A razão para esta alteração foi uma situação de competição com outra base de dados onde isto foi identificado como um factor limitativo da performance. Note-se que isto pode ser importante para UNLOADs, dbexports etc.
• Programa de exemplo de Change Data Capture API
  Não é propriamente uma funcionalidade. Um programa que apenas podia ser encontrado no manual pode agora ser mais facilmente utilizado pois existe em $INFORMIXDIR/demo/cdc
  
• Enterprise replication
• Erros de replicação nos leaf node
  Dado que os nós "folha" numa topologia ER não podem ter muita informação sobre erros de outros servidores (acima na cadeia), esses erros foram removidos da syscdrerror nos servidores "folha"
  
• Suporte global language
• Varrer strings com as funções  the ifx_gl_complen()
  Melhoria de performance no código GLS
  
• Dados Timeseries
• Contar os elementos time-series que verificam uma expressão de critério
  Função COUNTIF
• Remoção de dados antigos de containers de time-series
  Permite a re-utilização de espaço após a eliminação de dados antigos
  
• Novos operadores para agregação de valores time-series
  Melhoria na função TSRollup
• Data warehousing
• Refrescamento rápido de dados sem re-carregar todo o data mart
  Podemos refrescar apenas uma partição (fragmento) de uma tabela na base de dados in-memory do IWA
  
• Utilizar os servidores secundários para acelerar as queries
  Os servidores HDR, RSS e SDS podem ser usados para criar e carregar data marts. Anteriormente apenas podiam ser usados para acelerar queries. Isto é uma grande melhoria se quer misturar utilizações OLTP e BI dado que se pode direcionar toda a carga de BI para os nós secundários, deixando o primário liberto para o trabalho OLTP
  
• Novas opções adicionadas à variável use_dwa
  Várias opções foram adicionadas a esta variável para providenciar maior controlo sobre como uma sessão utiliza o Informix Warehouse Accelerator e para recolher mais dados para entender o seu comportamento
• Suporte para novas funções
  Várias novas funções são suportadas pelo acelerador, o que permitirá que ainda mais queries sejam aceleradas. Desta feita as funções adicionadas foram: LEN, LENGTH, SUBSTR, SUBSTRING, TODAY, TRIM e YEAR
  
• Suporte para o sistema operativo Solaris Intel x64
  Aumentou a lista de plataformas que suportam a conexão ao Informix Warehouse Accelerator. Atualmente são: AIX, HP-UX, Solaris Sparc, Solaris Intel e Linux. Diria que a única ausência relevante será o Windows!
  

Para ser  honesto, à primeira vista, não me pareceu que este fixpack tivesse o mesmo número de funcionalidades a que nos temos habituado nos últimos. O meu colega do suporte técnico considerou imediatamente que isto era positivo (por vezes funcionalidades novas trazem novos problemas e o suporte gosta de versões "calmas", e que permitam regressão com paragem e arranque simples). Mas por outro lado, se olharmos para algumas das novas funcionalidades, verificamos que realmente o desenvolvimento tem estado bastante ocupado.

Estou a pensar em particular nas funcionalidades do Informix Warehouse Accelerator, nas de TimeSeries e muito especificamente no alargamento do limite dos comandos SQL. Sei que alguns clientes têm sofrido com este limite há anos. E o aumento do tamanho máximo do buffer de comunicação pode ter um efeito dramático em situações específicas. Mas isto não é tudo. Esta versão incorpora muito trabalho que infelizmente não está documentado (ainda). Isto divide-se em duas grandes áreas:

1. Melhorias de performance que podem causar problemas em alguns clientes ou que alteram comportamentos não documentados dos quais algumas aplicações podem depender. Estas funcionalidades tem associadas variáveis não documentadas que podem mudar o comportamento do motor caso os clientes encontrem algum problema. Pessoalmente não gosto deste tipo de configurações, mas após ter visto algumas explicações sobre algumas destas funcionalidades acabo por compreender o porquê de se ter seguido esta abordagem. Já encontrei algumas destas situações esporadicamente e verifiquei que um comportamento pode ser bom para uns casos e mau para outros
2. Novas funcionalidades que podem ser disponibilizados a clientes e/ou parceiros selecionados enquanto ainda estão a ser desenvolvidas ou melhoradas. Estas serão certamente disponibilizadas numa próxima versão, sendo que o benefício desta abordagem é que quando for feita a introdução formal, estarão muito mais estáveis

Em resumo, mais um fixpack, algumas melhorias significativas no Informix Warehouse Accelerator,  Timeseries e outros pontos muito específicos, e muito trabalho de bastidores que segue um roadmap bem estabelecido. Claro que posso ser acusado de criar "boatos" simplesmente para promover o trabalho do desenvolvimento, mas se segue os meus artigos deverá concordar que tal não é o meu hábito. Algumas das coisas em que estou a pensar quando refiro o trabalho de bastidores foram referidas na lista de email do IIUG recentemente, no seguimento de um artigo de outro blog, portanto nem sequer sou o primeiro  a deixar passar alguma informação mais restrita. Seguramente no futuro ser-me-á possível escrever algo do tipo "lembram-se quando mencionei algum trabalho de bastidores? Referia-me a isto, isto e isto..." e depois poderá pegar na "velha" versão 11.70.xC5 e testar alguns truques :)

OAT survey / Inquérito OAT

This article is written in English and Portuguese
Este artigo está escrito em Inglês e Português

English version:

I've just noticed that the Informix documentation team has just publish a blog entry announcing a very interesting initiative at the 2012 IIUG conference. Users will be able to preview some product (OAT and IWA) enhancements as well as comment about how they use and how they'd like to use Informix, with a special focus on the documentation. The same article references an Informix Administration Survey.
It focus on OAT and how we administer Informix, and it's a great way to influence the future versions.
The survey takes around 5 minutes to complete... so if you can spare the time don't hesitate!

Versão Portuguesa:

Reparei que a equipa de documentação do Informix publicou uma entrada no seu blog anunciando uma iniciativa muito interessante na conferência do IIUG de 2012. Os utilizadores poderão antever algumas novas funcionalidades de dois produtos - OAT e IWA - , bem como comentar a forma como usam e como gostariam de usar o Informix, como um foco especial na documentação. O mesmo artigo refere um inquérito sobre administração Informix. Este inquérito foca-se no OAT e na forma como administramos o Informix, e é uma excelente forma de influenciar as versões futuras.
O inquérito demora cerca de 5 minutos a preencher... se puder despender esse tempo não hesite!

Informix Roadshow 2011 Lisboa (report)

This article is written in English and Portuguese
Este artigo está escrito em Inglês e Português

English version:

The Lisbon Informix Roadshow 2011 was a success. We got a full room of customers and partners to learn about the latest news in the Informix world.
We had international speakers (Juan Brogeras - SWG Information Management Sales Director SPGI, Steve Shoaf - WW sales Executive - Informix and solidDB, Jose Manuel Ruiz Gallud - Informix Technical Sales - Southwest IOT and Manuel Jorge Sousa - Vice President 4JS for Iberia)

Juan started the sessions with an overview of the Informix business, followed by Steve which explained what Informix Warehouse is and what you can do with it. This was one of the hottest topics.
Manuel proceeded with an excellent overview of 4JS and what the new partnership can bring to customers.
After the break Jose gave us the news on 11.7. By obvious reasons this was another session that raised the assistance interest.
We ended up with a client presentation from PTSI. Eduardo Santana explained us how they migrate all their Informix environments to 11.50. We found out how they did it, what they achieved and what they plan to do next to take advantage of the new features.
I wrapped the session with an overview of the information available on the IBM site about Informix, more specifically the ROI tools, the analyst studies, the documentation, the several editions and the redbooks.
After that we had lunch "outside" which given the weather was a very nice idea. Of course during the break and lunch we had plenty of opportunities to interact with customers and partners and it really made my day receiving the positive feedback about the sessions.

Above you can see Jose Ruiz in action, updating us with all the new benefits of Informix 11.7


Versão Portuguesa:

O Informix Roadshow 2011 de Lisboa foi um sucesso. Tivemos uma sala cheia de clientes e parceiros que desejavam obter as últimas novidades sobre o mundo Informix.

Estre os oradores tivemos alguns com responsabilidades internacionais (Juan Brogeras - SWG Information Management Sales Director SPGI, Steve Shoaf - WW sales Executive - Informix and solidDB, Jose Manuel Ruiz Gallud - Informix Technical Sales - Southwest IOT and Manuel Jorge Sousa - Vice Presidente 4JS para a Iberia)

Juan iniciou as sessões com um apanhado do negócio Informix, seguido pelo Steve que explicou o que é o Informix Warehous Accelerator e o que podemos fazer com ele. Esta foi uma das sessões que mais atenção suscitou.
O Manuel prosseguiu com uma excelente visão da 4JS e o que esta parceria pode trazer aos clientes.
Depois do intervalo o Jose mostrou-nos as novidades da 11.7. Por razões óbvias esta foi outra sessão que despertou mais interesse na assistência.
Terminámos com uma apresentação de um cliente, a PTSI. O Eduardo Santana explicou-nos como é que migraram todos os seus ambientes para a versão 11.50. Descobrimos como o fizeram, o que alcançaram e o que pensam fazer para tirar proveito das novas funcionalidades.
Eu encerrei a sessão com uma descrição da informação disponível no site da IBM sobre Informix, mais especificamente as ferramentas de cálculo de ROI (return on investment), os estudos de analistas, a documentação, as várias edições disponíveis e os redbooks.
Após isso tivemos oportunidade de almoçar "fora", o que dado o bom tempo que se fazia sentir tornou a refeição mais agradável. Naturalmente que durante o intervalo e o almoço tivemos oportunidade de interagir com clientes e parceiros e foi com prazer que recebemos feedback positivo sobre as várias sessões.

Em cima podem ver o Jose Ruiz em acção, actualizando-nos com todos os benefícios do Informix 11.7

IIUG 2011: Last call / Ultima chamada

This article is written in English and Portuguese
Este artigo está escrito em Inglês e Português

English version:

The 2011 International Informix User Group conference is just around the corner. It will take place in Lenexa, Kansas City between 15 and 18 May. The conference site has all the information you may need. This includes the sessions abstracts, the list of tutorials, hotel and transportation information etc.

And what a great conference this will be. Remember that we have Informix 11.7, Informix Warehouse Accelerator and the Genero partnership with 4Js.
And then you have all the permanent/usual attractions, like deep technical sessions, keynote speakers, the Sunday tutorials etc. Some of my personal favorites this year would be:

• Sunday tutorials (Flexible grid, Fastest Informix DBA, Partitioning, Certification preparation)
• Keynote speakers (Jerry Keesee - Director of Informix Database Development, Rob Thomas - Vice President of Business Development, Arvind Krishna - General Manager IBM Information Management) including this year's special with Dr. David Ferrucci the lead researcher and Principal Investigator (PI) for the Watson/Jeopardy! project
  These are great opportunities to understand IBM plans and to ask the difficult questions
  
• Several sessions on specific topics like Informix 11.7, Informix Warehouse Accelerator, Performance and Tunning, integrating Informix with other products
• Free certification opportunity
• Networking with many people from the Informix community
• Evening specials... Great fun to trigger networking
  

As I observed in last year's conference, the IIUG team does everything possible to provide you the best value for money. And they, together with all the people delivering sessions in the conference, really manage to provide great sessions, great tutorials and great entertainment.

If you never had the opportunity to go to one of the IIUG's conferences you really don't know what you're missing. If you had, you know it's worth it. Unfortunately this year I won't be able to join, but I'm eagerly waiting for feedback from the community and to check the presentation materials. To all the lucky attendees I wish you a great conference, and please blog/email about it!

Versão Portuguesa:

A conferência de 2011 do grupo internacional de utilizadores de Informix está quase a acontecer. Terá lugar em Lenexas, Kansas City entre 15 e 18 de Maio. O site da conferência tem toda a informação possível. Isto incluí as sinapses das sessões, a lista de tutorials, informação sobre o hotel e transportes etc.

E tudo indica que esta será uma grande conferência. Lembremo-nos que temos a versão 11.7 do Informix, o Informix Warehouse Accelerator e a parceria Genero com a 4JS.
Para além disso teremos as atracções habituais, como sessões muito técnicas, os oradores especiais, os tutorials de domingo etc. Alguns dos meus favoritos detes ano seriam:

• Tutorials de domingo (Flexible grid, Fastest Informix DBA, Partitioning, Preparação para certificação)
• Oradores especiais (Jerry Keesee - Director de Informix Database Development, Rob Thomas - Vice Presidente de desenvolvimento de negócio, Arvind Krishna - General Manager IBM Information Management) incluindo uma participação especial do Dr. David Ferrucci - lead researcher and Principal Investigator (PI) para o projecto Watson/Jeopardy!
  São grandes oportunidades para entender os planos da IBM e para colocar as questões difíceis
• Várias sessões sobre tópicos específicos como Informix 11.7, Informix Warehouse Accelerator, Performance e optimização, integração de Informix com outros produtos
• Oportunidade para obter a certificação gratuitamente
  
• Convivio com imensas pessoas da comunidade Informix
• Animação nocturna... Muito divertimento para proporcionar o convivio e interacção entre os participantes

Como pude observar na conferência do ano passado, a equipa do IIUG faz tudo o possível para proporcionar o melhor retorno do investimento. E eles, juntamente com quem apresenta as sessões, conseguem realmente providenciar óptimas sessões, excelentes tutorials e muito entretenimento.

Se nunca teve a oportunidade de participar numa das conferências do IIUG então não sabe o que perde. Se já teve, então sabe que valem a pena. Infelizmente este ano não me vai ser possível participar, mas fico ansioso pelo feedback da comunidade e para espreitar as apresentações quando estiverem disponíveis. A todos os felizardos que vão assistir á conferência, desejo um excelente evento, e por favor bloguem ou contem na lista de mail como está a ser.