Google Ngram Viewer
motor de búsqueda en línea De Wikipedia, la enciclopedia libre
El Google Ngram Viewer, o Google Books Ngram Viewer es un buscador en línea que muestra un gráfico de la frecuencia de cualquier grupo de búsquedas con formato de texto delimitado por comas, utilizando el conteo anual de n-grams encontrado en recursos impresos entre el año 1500 y el 2019[1][2] [3] [4] [5] en el corpora de texto de Google en inglés, chino (simplificado), francés, alemán, hebreo, italiano, ruso o español.[2][6] También hay algunos corpora especializados en inglés, tales como inglés americano, inglés británico, inglés de ficción e “inglés un millón”; además la versión 2009 de la mayor parte de los corpora está también disponible.[7]
El programa es capaz de ejecutar búsquedas por palabra o por frase, incluyendo texto con errores ortográficos o texto sin sentido.[6] Los n-grams son comparados con el texto en el corpus seleccionado, con la opción de ortografía case-sensitive (que compara el uso exacto de las mayúsculas y minúsculas),[3] y, si se encuentran en 40 libros o más, se ilustran en un gráfico.[8]
El visualisador Google Ngram Viewer, a 2016 de 01, es compatible con búsquedas de Partes de la oración y comodines.[7]
Historia
El programa fue desarrollado por Jon Orwant y Will Brockman y publicado a mediados de diciembre del 2010.[2][4] Fue inspirado por un prototipo (llamado “Bookworm”, o comelibros) creado por Jean-Baptiste Michel y Erez Aiden del Observatorio Cultural de Harvard, Yuan Shen del MIT y Steven Pinker.[9]
Funcionamiento y restricciones
Resumir
Contexto
Los términos de búsqueda provistos por el usuario son delimitados por comas que indican cada palabra o frase que se va a buscar.[8] El Ngram Viewer presenta un gráfico lineal segundos después de que el usuario presione la Tecla Enter o el botón de “Buscar” en la pantalla.
Para tomar el cuenta el hecho de que una mayor cantidad de libros se han publicado en ciertos años, la data es normalizada, como nivel relative, por el número de libros publicados en cada año.[8]
Google llenó la base de datos basándose en más de 5 millones de libros publicados hasta el 2008. Por tanto, a partir de enero de 2016, ningún dato será comparado con publicaciones posteriors al año 2008, sin importar si el corpus fue generado en el 2009 o el 2012. Debido a limitaciones sobre el tamaño de la base de datos Ngram, solo resultados que se correspondan con al menos 40 libros están indexados en la base de datos; sin esta restricción, la base de datos no podría archivar todas las posibles combinaciones.[8]
En general, los términos de búsqueda no pueden terminar con ningún signo de puntuación, aunque un punto final separado sí se puede buscar.[8] En adición, una entrada que termine en un signo de interrogación (por ejemplo, “qué?”) resultará en una búsqueda separada del signo de interrogación.[8]
Omitir puntos en las abreviaturas permite una forma de correspondencia, por ejemplo utilizar "R M S" para buscar el término "R.M.S." en vez de "RMS".
Corpora
Resumir
Contexto
El corpora utilizados por el buscador están compuestos por total_counts, 1-grams, 2-grams, 3-grams, 4-grams, and 5-grams archivos para cada idioma. El formato de cada archivo es tab-separated data. Cada línea tiene el siguiente formato[10]
- total_counts file
- year TAB match_count TAB page_count TAB volume_count NEWLINE
- Version 1 ngram file (generated in July 2009)
- ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE
- Version 2 ngram file (generated in July 2012)
- ngram TAB year TAB match_count TAB volume_count NEWLINE
El Google Ngram Viewer usa match_count para producir el gráfico.
Por ejemplo, la palabra "Wikipedia" del archivo versión 2 del 1-grams en inglés esta archivada como:[11]
| ngram | year | match_count | volume_count |
|---|---|---|---|
| Wikipedia | 1904 | 1 | 1 |
| Wikipedia | 1912 | 11 | 1 |
| Wikipedia | 1924 | 1 | 1 |
| Wikipedia | 1925 | 11 | 1 |
| Wikipedia | 1929 | 11 | 1 |
| Wikipedia | 1943 | 11 | 1 |
| Wikipedia | 1946 | 11 | 1 |
| Wikipedia | 1947 | 11 | 1 |
| Wikipedia | 1949 | 11 | 1 |
| Wikipedia | 1951 | 11 | 1 |
| Wikipedia | 1953 | 22 | 2 |
| Wikipedia | 1955 | 11 | 1 |
| Wikipedia | 1958 | 1 | 1 |
| Wikipedia | 1961 | 22 | 2 |
| Wikipedia | 1964 | 22 | 2 |
| Wikipedia | 1965 | 11 | 1 |
| Wikipedia | 1966 | 15 | 2 |
| Wikipedia | 1969 | 33 | 3 |
| Wikipedia | 1970 | 129 | 4 |
| Wikipedia | 1971 | 44 | 4 |
| Wikipedia | 1972 | 22 | 2 |
| Wikipedia | 1973 | 1 | 1 |
| Wikipedia | 1974 | 2 | 1 |
| Wikipedia | 1975 | 33 | 3 |
| Wikipedia | 1976 | 11 | 1 |
| Wikipedia | 1977 | 13 | 3 |
| Wikipedia | 1978 | 11 | 1 |
| Wikipedia | 1979 | 112 | 12 |
| Wikipedia | 1980 | 13 | 4 |
| Wikipedia | 1982 | 11 | 1 |
| Wikipedia | 1983 | 3 | 2 |
| Wikipedia | 1984 | 48 | 3 |
| Wikipedia | 1985 | 37 | 3 |
| Wikipedia | 1986 | 6 | 4 |
| Wikipedia | 1987 | 13 | 2 |
| Wikipedia | 1988 | 14 | 3 |
| Wikipedia | 1990 | 12 | 2 |
| Wikipedia | 1991 | 8 | 5 |
| Wikipedia | 1992 | 1 | 1 |
| Wikipedia | 1993 | 1 | 1 |
| Wikipedia | 1994 | 23 | 3 |
| Wikipedia | 1995 | 4 | 1 |
| Wikipedia | 1996 | 23 | 3 |
| Wikipedia | 1997 | 6 | 1 |
| Wikipedia | 1998 | 32 | 10 |
| Wikipedia | 1999 | 39 | 11 |
| Wikipedia | 2000 | 43 | 12 |
| Wikipedia | 2001 | 59 | 14 |
| Wikipedia | 2002 | 105 | 19 |
| Wikipedia | 2003 | 149 | 53 |
| Wikipedia | 2004 | 803 | 285 |
| Wikipedia | 2005 | 2964 | 911 |
| Wikipedia | 2006 | 9818 | 2655 |
| Wikipedia | 2007 | 20017 | 5400 |
| Wikipedia | 2008 | 33722 | 6825 |
El gráfico de Google Ngram Viewer basado en los datos presentados arriba se encuentra aquí.
Críticas
Resumir
Contexto
Los datos han sido criticados por su dependencia en la técnica de reconocimiento óptico de caracteres, o en inglés, OCR, por una abundancia desproporcional de literatura científica y por incluir un gran número de textos incorrectamente datados o categorizado.[12][13]
Por estos errores, y porque no está controlada contra la parcialidad[14] (por ejemplo el incremento en literatura científica que hace que la popularidad de otros términos baje), es arriesgado utilizar este corpus para estudios lingüísticos o para evaluar teorías.[15] Dado que este recurso no incluye metadata, es posible que no refleje el cambio cultural o lingüístico general,[16] aspecto sobre el cual sólo puede dar pistas.
Otro problema es que el corpus es en sí una biblioteca que contiene una copia de cada libro. Un solo autor prolífico puede entonces insertar una cantidad notable de nuevas frases en el vocabulario de Google Books, sean sus textos ampliamente leídos o no.[14]
Problemas con OCR
El reconocimiento óptico de caracteres (o en inglés, Optical character recognition, OCR), no siempre funciona de forma fiable, y algunos caracteres pueden ser identificados incorrectamente. En particular, errores sistemáticos como la confusión de la letra “s” y la “f” en textos previos al siglo XIX (dado el uso de la s larga) que tenía apariencia muy similar a la “f”) puede causar tendencias erróneas. Aunque el Ngram Viewer dice que los resultados son confiables para textos a partir del 1800, los problemas con el OCR y la insuficiencia de datos significan que para algunos idiomas, como el chino, las frecuencias son confiables sólo a partir del 1970, visto que las secciones previas del corpus no muestran ningún resultado aún para términos de búsqueda communes, y que los datos correspondientes a algunos años contienen más de 50% de ruido.[17][18]
Véase también
Referencias
Bibliografía
Enlaces externos
Wikiwand - on
Seamless Wikipedia browsing. On steroids.