google books ngram frequency
v0.1.0
Este repositório fornece listas limpas das palavras e n-gramas (sequências de n palavras) mais frequentes, incluindo algumas traduções para o inglês, do Google Books Ngram Corpus (v3/20200217, todos os idiomas), além de código Python personalizável que reproduz essas listas.
Listas com os n-gramas mais frequentes são fornecidas separadamente por idioma e n. Os idiomas disponíveis são chinês (simplificado), inglês, ficção em inglês, francês, alemão, hebraico, italiano, russo e espanhol. n varia de 1 a 5. Nas listas fornecidas, os subcorpora da linguagem estão restritos a livros publicados nos anos 2010-2019, mas no código Python tanto isso quanto o número de n-gramas mais frequentes incluídos podem ser ajustados.
As listas são encontradas no diretório ngrams. Para todos os idiomas, exceto hebraico, listas limpas são fornecidas para o
Para o hebraico, devido ao pequeno tamanho do corpus, apenas os 200 4 gramas mais frequentes e os 80 5 gramas mais frequentes são fornecidos.
Todas as listas limpas também contêm o número de vezes que cada n-grama ocorre no corpus (sua frequência, coluna freq ). Para 1 grama (palavras), existem duas colunas adicionais:
cumshare que para cada palavra contém a participação cumulativa de todas as palavras do corpus formado por aquela palavra e todas as palavras mais frequentes.en que contém a tradução em inglês da palavra obtida usando a API Google Cloud Translate (somente para idiomas diferentes do inglês).Aqui estão as primeiras 10 linhas de 1grams_french.csv:
| ngrama | frequência | cumshare | pt |
|---|---|---|---|
| de | 1380202965 | 0,048 | de |
| la | 823756863 | 0,077 | o |
| et | 651571349 | 0,100 | e |
| ele | 614855518 | 0,121 | o |
| um | 577644624 | 0,142 | no |
| eu | 527188618 | 0,160 | o |
| os | 503689143 | 0,178 | eles |
| pt | 390657918 | 0,191 | em |
| des | 384774428 | 0,205 | do |
As listas encontradas diretamente no diretório ngrams foram limpas e devem ser usadas no desenvolvimento de materiais de aprendizagem de idiomas. O subdiretório ngrams/more contém versões não limpas e menos limpas que podem ser úteis, por exemplo, para linguistas:
0_raw ),1a_no_pos ),1b_with_pos ),2_removed ). Para fornecer alguma motivação sobre por que aprender primeiro as palavras mais frequentes pode ser uma boa ideia ao aprender um idioma, o gráfico a seguir é fornecido.
Para cada idioma, ele traça a classificação de frequência de cada 1 grama (ou seja, palavra) no eixo x e o cumshare no eixo y. Assim, por exemplo, depois de aprender as 1000 palavras francesas mais frequentes, pode-se compreender mais de 70% de todas as palavras, contadas com duplicatas, que ocorrem num livro típico publicado entre 2010 e 2019 na versão 20200217 do Google Books Ngram Corpus francês.
Para n-gramas diferentes de 1-grama, os retornos de aprendizagem mais frequentes não são tão acentuados, pois existem tantas combinações possíveis de palavras. Ainda assim, as pessoas tendem a aprender melhor quando aprendem coisas no contexto, então um uso delas poderia ser encontrar frases de exemplo comuns para cada 1 grama. Outra abordagem é a seguinte: digamos que alguém queira aprender as 1000 palavras mais comuns em algum idioma. Então pode-se, por exemplo, criar uma lista mínima dos 4 gramas mais comuns que incluem essas 1000 palavras e aprendê-la.
Embora as listas de n-gramas tenham sido limpas tendo em mente a aprendizagem de línguas e contenham algumas traduções para o inglês, elas não se destinam a ser utilizadas diretamente para a aprendizagem, mas sim como recursos intermédios para o desenvolvimento de materiais de aprendizagem de línguas. As traduções fornecidas fornecem apenas a palavra em inglês mais próxima do significado mais comum da palavra. Além disso, dependendo dos objetivos de aprendizagem de línguas, o Ngram Corpus do Google Books pode não ser o melhor corpus para basear materiais de aprendizagem – consulte a próxima seção.
Este repositório é baseado no Google Books Ngram Corpus versão 3 (com identificador de versão 20200217), disponibilizado pelo Google como listas de n-gram aqui. Esses também são os dados subjacentes ao Google Books Ngram Viewer. O corpus é um subconjunto, selecionado pelo Google com base na qualidade do reconhecimento óptico de caracteres e metadados, dos livros digitalizados pelo Google e contém cerca de 6% de todos os livros já publicados (1, 2, 3).
Ao avaliar a qualidade de um corpus, são importantes tanto o seu tamanho quanto a sua representatividade em relação ao tipo de material em que se está interessado.
O Google Books Ngram Corpus versão 3 é enorme, como ilustra esta tabela de contagem de palavras por idioma e subcorpus:
| Linguagem | # palavras, todos os anos | # palavras, 2010-2019 |
|---|---|---|
| chinês | 10.778.094.737 | 257.989.144 |
| Inglês | 1.997.515.570.677 | 283.795.232.871 |
| Inglês americano | 1.167.153.993.435 | 103.514.367.264 |
| Inglês Britânico | 336.950.312.247 | 45.271.592.771 |
| Ficção Inglesa | 158.981.617.587 | 73.746.188.539 |
| Francês | 328.796.168.553 | 35.216.041.238 |
| Alemão | 286.463.423.242 | 57.039.530.618 |
| hebraico | 7.263.771.123 | 76.953.586 |
| italiano | 120.410.089.963 | 15.473.063.630 |
| russo | 89.415.200.246 | 19.648.780.340 |
| Espanhol | 158.874.356.254 | 17.573.531.785 |
Observe que esses números referem-se ao número total de palavras, não ao número de palavras únicas. Eles também incluem muitas palavras que não são válidas, mas devido ao tamanho do corpus, as etapas de limpeza são realizadas apenas nas palavras mais comuns, portanto, o número de palavras que permaneceriam em todo o corpus após a limpeza não está disponível. Além disso, o Google carrega apenas palavras que aparecem mais de 40 vezes, embora essas contagens também incluam palavras que aparecem com menos frequência.
Vemos que mesmo após restringir os subcorpora linguísticos aos livros publicados nos últimos 10 anos disponíveis, o número de palavras ainda é superior a 15 bilhões para cada subcorpus, exceto chinês e hebraico. Isto é substancialmente maior do que para todos os outros corpora de uso comum, que nunca parecem conter mais do que alguns milhares de milhões de palavras e muitas vezes são muito menores do que isso (4).
Quando se trata de representatividade, depende do uso pretendido. O Google Books Ngram Corpus contém apenas livros (sem periódicos, linguagem falada, sites, etc.). Cada edição do livro é incluída no máximo uma vez. A maior parte destes livros provém de um pequeno número de grandes bibliotecas universitárias, “mais de 40” na versão 1 do corpus, enquanto uma parcela menor é obtida diretamente das editoras (1). Assim, por exemplo, se alguém pretende usar este corpus para aprender uma língua na qual lerá principalmente livros do tipo em que as grandes bibliotecas universitárias estão interessadas, então as palavras neste corpus provavelmente serão bastante representativas da população de palavras. alguém poderá encontrar no futuro.
O código que produz tudo está no diretório python. Cada arquivo .py é um script que pode ser executado a partir da linha de comando usando python python/filename , onde o diretório de trabalho deve ser o diretório que contém o diretório python. Cada arquivo .py tem uma seção de configurações na parte superior e configurações de limpeza adicionais podem ser especificadas usando os arquivos em python/extra_settings. As configurações padrão foram escolhidas para tornar o código executado razoavelmente rápido e manter o tamanho do repositório resultante razoavelmente pequeno.
Opcionalmente, comece executando create_source_data_lists.py no diretório raiz do repositório para recriar a pasta source-data com listas de links para os arquivos de dados de origem do Google.
Execute download_and_extract_most_freq.py do diretório raiz do repositório para baixar cada arquivo listado em source-data (um "arquivo .gz") e extrair os n-gramas mais frequentes nele em uma lista salva em ngrams/more/{lang}/most_freq_ngrams_per_gz_file . Para economizar recursos do computador, cada arquivo .gz é excluído imediatamente após isso. Como as listas de n-gramas mais frequentes por arquivo .gz ainda ocupam cerca de 36 GB com as configurações padrão, apenas uma lista de exemplo é carregada no GitHub: ngrams_1-00006-of-00024.gz.csv. Nenhuma limpeza foi realizada neste estágio, então é assim que os dados brutos aparecem.
Execute Gather_and_clean.py para reunir todos os n-gramas em listas dos mais frequentes e limpar essas listas (veja a próxima seção para obter detalhes).
Execute google_cloud_translate.py para adicionar traduções em inglês a todos os 1 grama que não sejam em inglês usando a API Google Cloud Translate (isso requer uma chave de API, consulte o cabeçalho do arquivo). Por padrão, apenas 1 grama é traduzido e apenas para o inglês, mas alterando as configurações, qualquer n-grama pode ser traduzido para qualquer idioma suportado pelo Google. O Google coloca as traduções em letras maiúsculas aleatoriamente, então é feita uma tentativa de corrigir isso. Além disso, um número limitado de correções manuais é aplicado usando manual_translations_1grams.csv.
Finalmente, graph_1grams_cumshare_rank.py produz graph_1grams_cumshare_rank_light.svg e sua versão escura.
Todas as etapas de limpeza são realizadas em Gather_and_clean.py, exceto a limpeza das traduções do Google.
As seguintes etapas de limpeza são executadas programaticamente:
"'""'" , " " e "," são removidos"-" para russo e """ para hebraicoAlém disso, as seguintes etapas de limpeza foram realizadas manualmente, utilizando as traduções em inglês para ajudar a informar as decisões:
extra_{n}grams_to_exclude.csv .Ao decidir manualmente quais palavras incluir e excluir, foram aplicadas as seguintes regras. Excluir : nomes de pessoas (algumas exceções: Jesus, Deus), nomes de cidades (algumas exceções: se diferem muito do inglês e são bastante comuns), nomes de empresas, abreviações (algumas exceções, por exemplo, ma, pa), partes de palavras, palavras em o idioma errado (exceto se for de uso comum). Não exclua : nomes de países, nomes de grupos étnicos/nacionais de pessoas, nomes geográficos (por exemplo, rios, oceanos), termos coloquiais, interjeições.
Para obter uma lista cuidadosamente criada de todas as palavras na parte em inglês do Google Books Ngram Corpus (versão 20200217), classificadas por frequência, consulte o repositório hackerb9/gwordlist.
Uma extensa lista de listas de frequências em vários idiomas está disponível no Wikcionário.
O que falta fazer é completar a limpeza manual final para o hebraico e a limpeza das listas de n-gramas para n > 1. Uma questão que pode ser abordada no futuro é que alguns destes últimos contêm "," como palavra . Também pode ser desejável incluir abreviaturas mais comuns. Nenhuma lista separada de n-gramas é fornecida para os corpora do inglês americano e do inglês britânico. Claro, alguns erros permanecem.
O conteúdo deste repositório está licenciado sob a Licença Creative Commons Attribution 3.0 Unported. Relatórios de problemas e solicitações pull são muito bem-vindos!
