Estes e muitos outros serviços mantém bancos de dados com as informações obtidas de milhares de sites. Para manter o banco de dados atualizado, estes serviços contam com robôs de indexação - computadores que visitam periodicamente os sites copiando todas as páginas que encontram.
Embora a visita destes robôs seja desejável, ela pode levar um servidor pequeno a exaustão. Devido ao grande número de solicitações simultâneas que estes computadores podem fazer, a ligação do site com a Internet pode saturar rapidamente, prejudicando o acesso de outros usuários conectados naquele momento. Em um site com muitas páginas, o passeio de um robô pode se estender por vários minutos.
Outro problema é a visita de um robô a um programa CGI. Nós na Tecepe, por exemplo, mantemos um sistema de Pesquisas de opinião. Um robô que visitou recentemente as nossas páginas, ao tentar copiá-las, votou em todas as pesquisas sem saber do que se tratava!
Com a finalidade de regulamentar o acesso de robôs foi proposta uma norma, o
Standard for Robot Exclusion. Usando os dispositivos desta norma, um administrador de site pode controlar quais os diretórios acessíveis ao robô.
O método é simples: basta criar um arquivo formato texto chamado ROBOTS.TXT.
O conteúdo do arquivo é mais ou menos assim:
# Arquivo de restrição de acesso de robôs ao servidor www.xpto.com.br User-agent: * Allow: / Disallow: /diretorio_privado/Esta definição permite que o robô visite todos os diretórios, menos /diretorio_privado/.
Muitos dos robôs ainda não respeitam esse padrão. Administradores de sites estão preocupados com o uso indiscriminado deste tipo de programa. Os robôs podem ser uma ótima ferramenta de pesquisa, mas podem também ser um desperdício inútil dos recursos da Rede.
Ver também a lista dos robôs conhecidos
Os pais, pelo menos, já tem uma solução para seu problema. Surfwatch é um software que filtra o que pode ser ou não acessado do seu computador. Surfwatch conta com um banco de dados dos sites que contém materiais obscenos. Ao tentar acessar um destes sites, usando qualquer browser, o filtro intervem interrompendo a comunicação. Assim, os pais podem deixar seus filhos acessarem a Internet livremente, sem receio de que eles tenham acesso a materiais impróprios.
Esta é uma boa solução para o problema. Permite que cada um controle o que pode ser visto no seu computador, sem limitar o acesso de outras pessoas e sem a censura.
Na prática, a lei proíbe a publicação na Internet - em servidores localizados nos EUA - de qualquer material obsceno, pois não há meios de se saber a idade de quem acessa informações através da Rede.
Muitos sites que tinham imagens de nudismo, como playboy e penthouse, tiveram seu conteúdo "adulto" totalmente removido. Diversos outros decretaram luto, pintando suas home pages de preto em protesto contra a medida.
Muitos sites estão apontando seus links para locais que contém os endereços e-mail de congressistas (alguém devia fazer algo assim por aqui).
Os dois congressistas autores do projeto alegam que a censura é necessária para afastar as crianças de materiais impróprios. Os opositores da lei dizem que ela se choca de frente com o "first amendment", artigo da constituição que defende a liberdade de expressão, sendo portanto inconstitucional.
Maior fonte de informações sobre o assunto, a
CDT Analysis of Senate Passed Communications Decency Act
Vote na nossa pesquisa
Participe da campanha contra a lei
Uma possível solução são os modems de cabo. Conectados ao sistema da TV-a-cabo, estes modems podem conversar a até 4.0 Mbps (140 vezes mais rápido que um modem 28.8).
Esta velocidade deixa na poeira as chamadas conexões ISDN, de 128Kbps e até mesmo as veneradas T1, de 1.55 Mbps. É claro que a banda da rede terá que ser dividida com os seus vizinhos: uns 500; dizem os engenheiros. Mesmo assim, o desempenho promete ser muito melhor que o dos modems convencionais.
Ao contrário do fio do telefone, o cabo da TV é blindado contra ruídos elétricos e pode carregar informação a taxas muito maiores. A tecnologia não é nova, sendo muito usada em escritórios (redes ethernet). Vários segmentos de cabos coaxiais seriam ligados à Internet atráves de uma fibra ótica.
Embora haja muito barulho em torno desta tecnologia, alguns especialistas não estão botando muita fé. É o caso de John C. Dvorak, da revista PC Magazine, que não acredita que as TVs-a-cabo tenham interesse em prestar um serviço complicado como este.
Tecnologia é um ramo ingrato. As vezes domina o mercado quem entrou antes, impondo seu padrões e protocolos. Outras, quem chega em cima da hora, e adota padrões tecnológicos mais modernos. Parece que a TV-a-cabo, não sabe como, caiu sentada na Internet.
Como não havia maneira de exigir qualquer coisa na anárquica Internet, o promotor fez o que julgou mais fácil: exigiu que a Compuserve, empresa de opera um serviço on-line e dá acesso à Internet na Alemanha, suspendesse o acesso aos grupos.
No confronto com o promotor, a Compuserve piscou primeiro. Numa velocidade que enfureceu muitos usuários, a empresa suspendeu 200 grupos de discussão, muitos deles sem qualquer material pornográfico. E como não era possível separar a informação que ia para a Alemanha da que ia para o resto do mundo, a Compuserve terminou suspendendo os grupos em todo o mundo.
Os usuários dos grupos e defensores da liberdade de expressão reagiram imediatamente. Numerosas manifestações de rua foram feitas contra a decisão da Compuserve em diversos países.
O que causou mais desconforto foi a perspectiva de que a Internet tenha seu conteúdo limitado aos padrões mais rígidos de todos os países participantes. É como se a cerveja fosse proibida no Brasil por ser contra a lei na Arábia Saudita.
O incidente recebeu muita publicidade nos E.U.A onde está em discussão uma lei de censura (a Emenda Exon-Coat) à transmissão eletrônica de materiais obcenos.
Ver também:
Notícia do NY Times
Lista dos grupos censurados
Os computadores da Lycos já visitaram e acrescentaram no seu banco de dados mais de 16 milhões de páginas (inclusive esta que você está lendo). Um usuário pode procurar qualquer palavra ou conjunto de palavras no sistema da Lycos.
O resultado pode as vezes ser surpreendente. Uma procura usando a palavra "Netscape" retornou 197000 ocorrências. Já a palavra "Botafogo" retornou apenas 119 orrências, o suficiente para uma hora de leitura.
Estes sistemas são indexados por palavras. Cada nova palavra desconhecida é acrescentada ao dicionário do sistema. O registro de uma palavra traz uma indicação de todas as páginas que contém esta palavra (i.e. 197000 páginas no caso da palavra Netscape). Isto dá uma idéia do tamanho deste impressionante banco de dados. E do dicionário multi idiomático que ele contém, com palavras de mais de 100 linguas diferentes, talvez o maior jamais compilado.
As 212 páginas do nosso site foram visitadas pelo computador da Lycos em menos de 5 minutos
Outro sistema do tipo crawler é o Web Index da Open Text Corp., empresa que desenvolve estes sistemas de indexação de bancos de dados colossais.
O sistema Yahoo por sua vez combina a visita automática com a avaliação humana das páginas. Menos abrangente, este sistema tem um toque artezanal. Talvez por isso o sistema da Yahoo tenha uma demora de até 3 semanas para avaliação das páginas.
O tempo passa e as coisas mudam. Hoje, o javanes esta se tornando a linguagem principal. Pelo menos na Internet.
Desenvolvida pela Sun, a linguagem Java tem várias características que podem torná-la a mais importante no WWW. Mais do que uma linguagem de programação, Java é um conceito integrado de computação.
Um programa feito em Java, ao ser compilado, é transfomado em byte-codes, uma linguagem de máquina especial. Ao contrário de outras linguagens de máquina, os byte-codes não são específicos dos processadores da Intel ou da Motorola ou de nenhum outro fabricante. São byte-codes de Máquinas Virtuais Java, que podem ser rodadas dentro de PCs, Macintoshes ou qualquer outro computador (portanto não jogue fora seu velho Apple II, alguém ainda vai fazer uma máquina Java para ele).
Centenas de programas em Java já estão embutidos em páginas na Internet. Ao acessar essas páginas, um browser que tenha o interpretador de Java (Netscape 2.0, Hot-Java) carrega o programa e executa automaticamente. Isto permite recursos de animação e uma interação mais complexa com o usuário do que simples páginas de hiper-texto.
Um programa em Java é bem semelhante a um programa em C++. Java é orientada e objetos e permite multiplos threads (linhas de execução simultânea). Java porém, é mais simples que C++, uma linguagem realmente complexa que só os nerds mais assíduos conseguem entender.
Java inclui também um sistema de segurança que impede que o browser execute operações potencialmente perigosas, como as necessárias para um programas malígno instalar virus ou espionar informações contidas em seu computador.
Para mais informações sobre Java, verifique a lista de sites com aplicativos em Java nos Tecepe Bookmarks
Esse sucesso está baseado em um conceito: compatibilidade. A manutenção da compatibilidade do PC com os programas antigos garantiu que os usuários não mudassem de plataforma, migrando do DOS para o Windows.
Esquemas massivos de marketing permitiram que poucas empresas dominassem os vários mercados de aplicativos. Os altos custos envolvidos na comercialização de software levaram as pequenas empresas a quase desaparecerem.
Aplicativos como planilhas e processadores de texto ganharam tantas opções com o passar do tempo, que deixam o usuário médio perdido. Muitas dessas opções nunca são usadas pela maioria das pessoas. Apenas consomem espaço e causam problemas associados à complexidade do software.
Os novos aplicativos seriam pequenos e simples. O custo de distribuição destes programinhas (applets) pela Internet é baixíssimo, o que permitiria a volta das pequenas empresas ao mercado. Os atuais gigantes do software entrariam em um período difícil. A compatibilidade com antigos programas, anteriormente uma vantagem, poderia passar a ser um passivo difícil de carregar. As pequenas empresas, com seus novos programas não teriam esse problema.
Programas escritos para a Internet seriam também independentes de plataforma: o mesmo programa poderia rodar em PCs, Macs e Unix. Isto reduziria a força do quasi-monopólio da Intel no mercado de microprocessadores.
Teorias são teorias. Qualquer um pode inventar a sua. Mas tem muita gente botando dinheiro nesta . Basta notar que a Netscape Communications, principal empresa desta nova era da computação, teve ações lançadas no mercado a poucos dias e já tem um valor de bolsa maior que a Apple, embora fature apenas uma fração do que fatura a Apple.
Outra empresa quente na Internet é a Sun, com sua nova linguagem Java, criada especialmente para escrever estes programinhas da Internet. Java utiliza o conceito do "conteúdo executável" - o usuário recebe o programa através da Internet, como uma página de texto. Este é executado automaticamente pelo browser. A versão 2.0beta (2.8 MB) do Netscape Navigator, disponível para download no site da NetScape, já tem um interpretador de Java. A Sun está também distribuindo o Hot-Java, um browser próprio.
É claro que a Microsoft e a Intel (a dupla vem sendo chamada de Wintel) não vão ficar paradas olhando o seu mercado cativo voar. Do outro lado está se formando uma coalisão de forças para desafiar os líderes: Netscape, Sun e Borland entre outros. Isto promete ser bem interessante.