Porque é que os bancos não dão acesso a toda a sua actividade de transacção?

“As coisas são como são porque ficaram assim”.
- Gerald Weinberg

Os bancos têm estado em actividade há muito muito tempo. No entanto, muito do que tomamos por garantido em termos de tecnologia (capacidades, capacidade, e custo) são desenvolvimentos relativamente recentes.

Os bancos estão frequentemente presos em plataformas mais antigas (mainframe, por exemplo) onde o custo do armazenamento em linha redundante excede em muito o preço da mercadoria que os consumidores tomam como garantido. Da mesma forma, as melhorias do software que requerem alterações no back-end podem ser mais complicadas.

Além disso, a menos que haja um dólar (ou mil milhões) a ser feito, os bancos tendem apenas a mover-se lentamente em comparação com o resto do mundo empresarial. Superar “mas sempre o fizemos dessa forma” é um obstáculo incrível numa organização grande e estabelecida como um banco - e por isso as coisas não melhoram geralmente sem grande esforço. Tive amigos que trabalharam dentro de divisões de tecnologia em grandes bancos, dizem-me o mesmo.

Um banco mais pequeno com menos dívida técnica histórica e despesas de organização podem ser mais propensos a resolver um problema como este, mas duvido que os maiores bancos percam o sono por causa disso.

Todas as outras respostas aqui estão correctas, mas vou acrescentar mais uma perspectiva. Sou arquitecto de empresas de um dos maiores bancos de retalho do mundo. Todos os dias sinto a frustração de tentar fazer com que as grandes empresas de TI façam qualquer coisa, por isso sinto que a sua pergunta é apenas uma faceta de uma questão mais ampla: “porque é que os bancos são tão velhos e estão tão maltratados”?

Embora seja verdade que o custo do armazenamento de dados online, redundante, performante e seguro é significativamente mais elevado do que se prevê na pergunta, ainda deve estar bem dentro da capacidade de uma grande empresa. O verdadeiro custo é o custo da mudança.

Nada num banco é um desenvolvimento de campo verde. Tudo é um aparafusamento aos sistemas existentes. Qualquer mudança traz o risco de que a funcionalidade existente seja afectada, pelo que vastos esquemas de testes de regressão (em grande parte executados manualmente) surgem em torno mesmo dos desenvolvimentos mais triviais. Os custos escalam exponencialmente com o número de plataformas afectadas (frequentemente plataformas totalmente distintas, com décadas de existência, incompatíveis, que surgiram de fusões e aquisições históricas). Só são aprovadas alterações estatutárias, geradoras de receitas e de manutenção crítica.

Qualquer forma de redução de custos que aumente o risco é rapidamente extinta. Isto acontece porque quando as coisas correm mal, as TI são culpadas pelos seus colegas de negócios. Isto porque os colegas de negócios, por sua vez, são culpados pelos reguladores, os meios de comunicação social, os clientes e o público em geral. Quem é que não blasfema com o seu banco quando o multibanco não está disponível? A organização informática do banco desenvolve uma espécie de esclerose de gestão, avesso ao risco ao extremo. Os bancos não podem enviar uma versão beta e remendá-la mais tarde.

Esta abordagem de ultra baixa inovação é um resultado directo das forças de mercado e reguladoras. Se estivesse satisfeito com uma conta bancária que jogasse rápido e solto com o seu dinheiro da forma como o Facebook joga com os seus dados, então os bancos seriam muito mais baratos, muito mais inovadores, e muito mais arriscados.

Conclusão

Para voltar à sua pergunta específica, alguns bancos de facto do oferecem um catálogo de transacções muito mais longo para download (normalmente apenas alguns campos chave de cada transacção), e os que muito provavelmente não o vêem como um ponto de venda gerador de receitas, e por isso cai acima do seu apetite para a inovação.

Eu diria que muitas das respostas aqui não são muito correctas.

A principal questão aqui é que a banca é uma indústria altamente oligopolística - há poucos intervenientes chave (o Reino Unido, por exemplo, tem apenas 5 grandes bancos a operar sob uma variedade de marcas: são todas as mesmas empresas por baixo) e o mercado é muito, muito difícil de entrar devido à imensa carga regulamentar.

Porque a paisagem é tão estreita e é possível acompanhar de perto todos os seus concorrentes, não há incentivo para gastar dinheiro em coisas novas e brilhantes para acompanhar a concorrência - a indústria é puramente reactiva. Se mais ninguém tem um portal em linha espantoso e cheio de funcionalidades, não há necessidade de qualquer banco fazer um. Se todos são reactivos, e ninguém é proactivo, então é uma pequena dedução lógica que as melhorias acontecem a um ritmo glaciar.

Tenha também em conta que quando se tem esta forma tóxica de competição “bare-minimum”, a questão para estas pessoas logo se transforma em “o que podemos fazer?”, o que resulta em coisas como portais em linha subpar subpar com tanta informação quanto se quiser, entregues em papel por uma taxa pesada, e extorsivo, preço fixo taxas administrativas. Além disso, o seu histórico de transacções é super informação valiosa. Há uma ou duas empresas altamente lucrativas que recolhem dados de transacções internacionais e cuja única tarefa na vida é restringir o acesso a essa informação aos licitantes com ofertas mais elevadas. O seu histórico de transacções é um activo numa indústria multibilionária por ano, e como tal não é surpreendente que os bancos não o queiram dar de graça.

Uma das razões pelas quais o limitam é para o proteger. Se eu piratear a sua conta, recebo todo o seu historial financeiro.

Posso ver uma cópia de todos os cheques que já passou. Consigo ver o número da conta com cada médico, utilitário, e cartão de crédito. Posso também ver a informação da conta no verso desses cheques para todos os vossos familiares que enviaram $10 pelo seu aniversário.

Posso utilizar a informação nessas contas para ver onde costumava viver, isto permite-me falsificar-lhe quando solicitava um novo crédito. Se perguntarem se alguma vez vivi na Main street em Anytown USA. Posso dizer com confiança que sim.

Se apenas lhe deixar descarregar uma janela de tempo, a responsabilidade é sua de proteger os dados que se encontram antes da janela. Protegem-nos em ficheiro isolado da Internet, e finalmente apenas em locais de arquivo.

Algumas das informações não existem em formato electrónico. Os dados dos anos 90 e anteriores podem não existir na forma que desejar. Têm vindo a expandir as janelas ao longo do tempo. Posso ver/descarregar um pdf do meu extracto mensal que remonta a 7 anos atrás. É claro que os dados não podem ir directamente para quicken.

Alguns lugares permitem-lhe obter um ficheiro que vai mais longe, mas cobram-lhe por isso, e só pode ser feito por eles enviando-lhe o ficheiro. Isso impede-o de descarregar toda a sua história todos os dias. Que vezes 70 Milhões de clientes sobrecarregariam o seu servidor e outras infra-estruturas.

Em relação à quantidade de dados:

• O meu ficheiro quicken com os últimos 10 anos de dados é de cerca de 60 MBytes e está a crescer.
  & - Assume-se também que os únicos dados estão em ficheiros de texto. Também armazenam cópias electrónicas de cheques.
  
• Assumem também que os dados que vêem na transacção são os únicos dados que existem relativamente à transacção. Têm campos que rastreiam as pessoas que trataram da transacção, a localização da transacção (caixa multibanco, caixa, correio, digitalizado…), a informação relativa a quando foi transferida para o outro banco, quando os fundos foram libertados…

Embora se contar apenas os seus dados, seriam bastante menos 10 MB, multiplique isto por 1 milhão de clientes e poderá ver a rapidez com que os dados crescem. Os bancos retêm os dados por um período mais longo, como governado pelas leis dos países, normalmente na ordem dos 7 a 10 anos.

O custo de armazenamento de dados online é bastante elevado 5 a 10 vezes mais do que o armazenamento offline. Há outros aspectos, o tempo de recuperação de desastres, quanto mais os dados, mais o tempo. Assim, após um período de tempo, os bancos movem os dados para o Arquivo que são mais baratos de armazenar mas não estão disponíveis para consulta online, mais o armazenamento não é optimizado para pesquisa. Assim, a recuperação destes dados leva frequentemente poucos dias se o regulador exigir ou o tribunal ou qualquer outro pedido genuíno de recuperação de dados.

Para acrescentar detalhes técnicos a outras respostas, as suas (e algumas estimativas de alguns comentadores) de armazenamento desses dados estão livremente (muitas ordens de magnitude) desligadas.

Vamos tirar os seus 10MB de dados de transacção por utilizador.

1. Só está a estimar registos de texto como em Quicken.

2. Estava a estimar a utilização de grelha de armazenamento barata para consumidores (que o Facebook pode pagar pelos seus dados, pois não armazenam dados de transacção*). Agora vamos subir isso para os discos rígidos de servidores empresariais. Os seus custos de armazenamento acabaram de subir 2x-5x.

3. Agora, tipicamente teria RAID. Portanto, 2x mais.

4. A maioria das grandes instituições financeiras tem múltiplos centros de dados. Normalmente, armazena todas as cópias de dados nesses centros de dados para fins de DR. O seu multiplicador adicionou mais 2x-4x

5. A maioria dos servidores de dados de produção tem múltiplas cópias (Write DB server + uma ou mais cópias só de leitura). Multiplicar por 2x-4x

6. Com algumas raras excepções, a maioria dos bancos não tem apenas um servidor central de bases de dados. Cada grande aplicação / linha de negócio teria o seu próprio BD, pelo que se multiplica por 2x-20x dependendo do banco, especialmente se este chegar ao seu tamanho através de fusão com outros bancos e tiver dezenas de sistemas herdados.

7. múltiplos backups. Os requisitos regulamentares de cópias de segurança significam que não faz cópias de segurança dos seus dados apenas uma vez por ano. Fazem-no diariamente, até os dados serem purgados da DB.

Assim, no longo* fim, as suas estimativas de custos são 30*2*2*2*2*2 = 900 vezes de folga ( 3 ordens de magnitude* ) apenas para o armazenamento de bases de dados vivas, e 3500 vezes de folga para custos de backup.

No limite superior, poderiam ser 50*5*2*2*4*4*20=16.000 vezes de folga ( 4-5 ordens de magnitude* )

Neste intervalo, não, não vale a pena para o banco manter as suas transacções disponíveis no BD e online por mais tempo do que os ossos nus absolutamente necessários.

Muitos pontos positivos foram levantados, e vou apenas ligar-me a eles aqui, para facilitar.

Fonte: Trabalho numa empresa de processamento de transacções de cartões de crédito/débito nas equipas de Base de Dados e Software de Processamento.

1. Segurança

Ver mhoran_psprep answer .

2. Tradição

Ver resposta de Chris .

3. Integridade do Sistema

Acredite ou não, os bancos não expõem a sua base de dados primária (ou secundária) aos utilizadores finais. Não expõem a sua base de dados mais rápida / mais robusta a utilizadores finais. Ao armazenar apenas x dias de dados nessa base de dados voltada para o cliente e limitando o alcance de qualquer consulta, qualquer consulta executada contra ela é muito menos susceptível de causar lentidão em todo o sistema.

Têm definitivamente arquivos de bases de dados que são mantidos offline, e têm definitivamente uma base de dados voltada para os empregados que permite aos empregados consultar gamas maiores de dados.

4. Sem valor acrescentado

O que é que um banco teria a ganhar se lhe fosse permitido consultar um ano completo de transacções?

Arquivos heterogéneos

Uma grande questão para os dados históricos na banca é que não residem/não podem residir num único sistema.

Arquivos de bancos típicos incluirão dúzias de arquivos diferentes feitos por diferentes empresas em sistemas diferentes e incompatíveis. Por exemplo, ver http://www.motherjones.com/files/images/big-bank-theory-chart-large.jpg como ilustração de fusões e aquisições bancárias, e AFAIK que não inclui muitos negócios de menor dimensão. Para qualquer conta, a sua história de 10 anos pode estar em algum sistema diferente.

Muitas vezes, ao integrar tais sistemas, é feito um compromisso - se o banco A adquire o banco B que adquiriu anteriormente o banco C, então se a aquisição de C foi há alguns anos, então pode saltar a integração dos arquivos de C nos seus sistemas online, mantê-los separados, e utilizá-los apenas quando/se necessário (e minimizar essa necessidade através de taxas elevadas).

Uma vez que a lista de preços e os serviços devem ser iguais para todos, então, independentemente da origem das suas contas, se 10% dos arquivos são um problema suficientemente caro para serem integrados, então faz sentido restringir financeiramente o acesso a 100% dos arquivos mais antigos do que algum limiar arbitrário.

Bem, eu sei porque é que o Rabobank na Holanda o faz. Posso recuar cerca de um ano e meio com o meu banco na Internet. Mas só posso voltar atrás (até 7 anos) depois de contactar o banco e pagar 5,- euros por transcrição (uma transcrição contém cerca de um mês de actividades).

Precisava de um ano de transcrições para os meus impostos e tive de desembolsar mais de 50 euros.

EDIT* Parece que mudaram recentemente a sua política de forma a poder pedir tantas transcrições quantas quiser por um custo máximo de 25,- por isso a tendência para um acesso mais fácil é visível.

Se necessitar de acesso aos seus dados para além da disponibilidade online, descarrega as transacções e gere o arquivo você mesmo. Seis meses a dezoito meses é geralmente tempo suficiente para a maioria das pessoas gerirem os seus próprios dados arquivados.

Os grandes bancos têm o poder de armazenar e recuperar todos os dados em linha. Infelizmente, os registos mais antigos não são acedidos com frequência. Porquê ter estes registos em linha quando raramente serão acedidos? O backup dos dados demorará mais tempo. As consultas para recuperar os dados demorarão mais tempo. Tudo demorará mais tempo apenas para que se possa ter registos que 99% dos clientes nunca irão aceder.

Bem, alguns bancos estão a ver a luz. No seu mais recente redesenho, a Alliant Credit Union tem a opção de descarregar todas as transacções: