filter langauges

searx/engines/gigablast.py

 title_xpath = './/title'
 content_xpath = './/sum'
 
+supported_languages = ["en", "fr", "es", "ru", "tr", "ja", "zh-CN", "zh-TW", "ko", "de",
+                       "nl", "it", "fi", "sv", "no", "pt", "vi", "ar", "he", "id", "el",
+                       "th", "hi", "bn", "pl", "tl", "la", "eo", "ca", "bg", "tx", "sr",
+                       "hu", "da", "lt", "cs", "gl", "ka", "gd", "go", "ro", "ga", "lv",
+                       "hy", "is", "ag", "gv", "io", "fa", "te", "vv", "mg", "ku", "lb", "et"] 
+
 
 # do search-request
 def request(query, params):
     if params['language'] == 'all':
         language = 'xx'
     else:
-        language = params['language'].split('-')[0]
+        language = params['language'].replace('-', '_').lower()
+        if language.split('-')[0] != 'zh':
+            language = language.split('-')[0]
 
     if params['safesearch'] >= 1:
         safesearch = 1

searx/engines/google.py

 paging = True
 language_support = True
 use_locale_domain = True
-supported_languages = ['de', 'en', 'es', 'es_419', 'fr', 'hr', 'it', 'nl', 'pl', 'pt-BR',
-                       'pt-PT', 'vi', 'tr', 'ru', 'ar', 'th', 'ko', 'zh-CN', 'zh-TW', 'ja',
-                       'ach', 'af', 'ak', 'az', 'ms', 'ban', 'xx_bork', 'bs', 'br', 'ca',
-                       'ceb', 'ckb', 'cs', 'sn', 'co', 'cy', 'da', 'yo', 'et', 'xx_elmer',
-                       'eo', 'eu', 'ee', 'tl', 'fo', 'gaa', 'ga', 'gd', 'gl', 'gn', 'xx_hacker',
-                       'ht', 'ha', 'haw', 'bem', 'ig', 'rn', 'id', 'ia', 'zu', 'is', 'jw', 'rw',
-                       'sw', 'tlh', 'kg', 'mfe', 'kri', 'la', 'lv', 'to', 'lt', 'ln', 'loz',
-                       'lua', 'lg', 'hu', 'mg', 'mt', 'mi', 'pcm', 'no', 'nso', 'ny', 'nn',
-                       'uz', 'oc', 'om', 'xx_pirate', 'pt', 'ro', 'mo', 'rm', 'qu', 'nyn', 'crs',
-                       'sq', 'sd', 'sk', 'sl', 'so', 'st', 'sr_ME', 'sr_Latn', 'su', 'fi', 'sv',
-                       'tg', 'tt', 'tn', 'tum', 'tk', 'tw', 'fy', 'wo', 'xh', 'el', 'be', 'bg',
-                       'ky', 'kk', 'mk', 'mn', 'sr', 'uk', 'ka', 'hy', 'yi', 'iw', 'ug', 'ur',
-                       'ps', 'fa', 'ti', 'am', 'ne', 'mr', 'hi', 'bn', 'pa', 'gu', 'or', 'ta',
-                       'te', 'kn', 'ml', 'si', 'lo', 'my', 'km', 'chr']
+supported_languages = ["ach", "af", "ak", "az", "ms", "ban", "xx-bork", "bs", "br", "ca",
+                       "ceb", "ckb", "cs", "sn", "co", "cy", "da", "de", "yo", "et",
+                       "xx-elmer", "en", "es", "es-419", "eo", "eu", "ee", "tl", "fo", "fr",
+                       "gaa", "ga", "gd", "gl", "gn", "xx-hacker", "ht", "ha", "hr", "haw",
+                       "bem", "ig", "rn", "id", "ia", "zu", "is", "it", "jw", "rw", "sw",
+                       "tlh", "kg", "mfe", "kri", "la", "lv", "to", "lt", "ln", "loz",
+                       "lua", "lg", "hu", "mg", "mt", "mi", "nl", "pcm", "no", "nso",
+                       "ny", "nn", "uz", "oc", "om", "xx-pirate", "pl", "pt-BR", "pt-PT",
+                       "ro", "rm", "qu", "nyn", "crs", "sq", "sd", "sk", "sl", "so", "st",
+                       "sr-ME", "sr-Latn", "su", "fi", "sv", "tg", "tt", "vi", "tn", "tum",
+                       "tr", "tk", "tw", "fy", "wo", "xh", "el", "be", "bg", "ky", "kk", "mk",
+                       "mn", "ru", "sr", "uk", "ka", "hy", "yi", "iw", "ug", "ur", "ar", "ps",
+                       "fa", "ti", "am", "ne", "mr", "hi", "bn", "pa", "gu", "or", "ta", "te",
+                       "kn", "ml", "si", "th", "lo", "my", "km", "chr", "ko", "zh-CN", "zh-TW", "ja"]
 time_range_support = True
 
 # based on https://en.wikipedia.org/wiki/List_of_Google_domains and tests
         language = 'en'
         country = 'US'
         url_lang = ''
+    elif params['language'][:2] == 'jv':
+        language = 'jw'
+        country = 'ID'
+        url_lang = 'lang_jw'
     else:
-        language_array = params['language'].lower().split('_')
+        language_array = params['language'].lower().split('-')
         if len(language_array) == 2:
             country = language_array[1]
         else:

searx/languages.py

     (u"en-NZ", u"English", u"", u"English"),
     (u"got", u"𐌲𐌿𐍄𐌹𐍃𐌺", u"", u"Gothic"),
     (u"vls", u"West-Vlams", u"", u"West Flemish"),
-    (u"ro", u"Română", u"", u"Romanian"),
     (u"bxr", u"Буряад", u"", u"Buryat"),
-    (u"fiu-vro", u"Võro", u"", u"Võro"),
     (u"diq", u"Zazaki", u"", u"Zazaki"),
     (u"zh", u"中文", u"", u"Chinese"),
     (u"pms", u"Piemontèis", u"", u"Piedmontese"),
     (u"zh-HK", u"中文", u"", u"Chinese"),
     (u"zu", u"isiZulu", u"", u"Zulu"),
     (u"tet", u"Tetun", u"", u"Tetum"),
-    (u"es-PE", u"Español", u"", u"Spanish"),
+    (u"zh-CN", u"中文 (简体)", u"", u""),
     (u"new", u"नेपाल भाषा", u"", u"Newar"),
+    (u"ro-RO", u"Română", u"", u"Romanian"),
     (u"lez", u"Лезги чІал (Lezgi č’al)", u"", u"Lezgian"),
     (u"glk", u"گیلکی", u"", u"Gilaki"),
     (u"ko-KR", u"한국어", u"", u"Korean"),
     (u"id-ID", u"Bahasa Indonesia", u"", u"Indonesian"),
-    (u"cho", u"Choctaw", u"", u"Choctaw"),
     (u"chr", u"ᏣᎳᎩ", u"", u"Cherokee"),
     (u"vi", u"Tiếng Việt", u"", u"Vietnamese"),
     (u"chy", u"Tsetsêhestâhese", u"", u"Cheyenne"),
-    (u"is", u"Íslenska", u"", u"Icelandic"),
     (u"tk", u"تركمن / Туркмен", u"", u"Turkmen"),
     (u"da-DK", u"Dansk", u"", u"Danish"),
     (u"pfl", u"Pälzisch", u"", u"Palatinate German"),
     (u"hu-HU", u"Magyar", u"", u"Hungarian"),
-    (u"he-IL", u"עברית", u"", u"Hebrew"),
     (u"mg", u"Malagasy", u"", u"Malagasy"),
     (u"ml", u"മലയാളം", u"", u"Malayalam"),
     (u"mo", u"Молдовеняскэ", u"", u"Moldovan"),
     (u"mn", u"Монгол", u"", u"Mongolian"),
     (u"mi", u"Māori", u"", u"Maori"),
-    (u"mh", u"Ebon", u"", u"Marshallese"),
     (u"mk", u"Македонски", u"", u"Macedonian"),
     (u"mt", u"Malti", u"", u"Maltese"),
     (u"ms", u"Bahasa Melayu", u"", u"Malay"),
     (u"pl-PL", u"Polski", u"", u"Polish"),
     (u"sl-SL", u"Slovenščina", u"", u"Slovenian"),
     (u"csb", u"Kaszëbsczi", u"", u"Kashubian"),
-    (u"cbk-zam", u"Chavacano de Zamboanga", u"", u"Zamboanga Chavacano"),
     (u"nyn", u"Runyankore", u"", u""),
     (u"ig", u"Igbo", u"", u"Igbo"),
     (u"fr", u"Français", u"", u"French"),
     (u"fj", u"Na Vosa Vakaviti", u"", u"Fijian"),
     (u"fo", u"Føroyskt", u"", u"Faroese"),
     (u"ss", u"SiSwati", u"", u"Swati"),
-    (u"roa-tara", u"Tarandíne", u"", u"Tarantino"),
+    (u"sr", u"Српски / Srpski", u"", u"Serbian"),
     (u"sq", u"Shqip", u"", u"Albanian"),
     (u"sw", u"Kiswahili", u"", u"Swahili"),
     (u"sv", u"Svenska", u"", u"Swedish"),
     (u"sc", u"Sardu", u"", u"Sardinian"),
     (u"pt-BR", u"português (Brasil)", u"", u""),
     (u"sa", u"संस्कृतम्", u"", u"Sanskrit"),
-    (u"sg", u"Sängö", u"", u"Sango"),
+    (u"he-IL", u"עברית", u"", u"Hebrew"),
     (u"se", u"Sámegiella", u"", u"Northern Sami"),
     (u"sd", u"سنڌي، سندھی ، सिन्ध", u"", u"Sindhi"),
     (u"fr-CH", u"Français", u"", u"French"),
     (u"it-CH", u"Italiano", u"", u"Italian"),
     (u"wuu", u"吴语", u"", u"Wu"),
     (u"fr-CA", u"Français", u"", u"French"),
-    (u"ar-XA", u"العربية", u"", u"Arabic"),
     (u"kbd", u"Адыгэбзэ (Adighabze)", u"", u"Kabardian Circassian"),
     (u"no-NO", u"Norsk (Bokmål)", u"", u"Norwegian (Bokmål)"),
     (u"ca-ES", u"Català", u"", u"Catalan"),
     (u"yi", u"ייִדיש", u"", u"Yiddish"),
     (u"ceb", u"Sinugboanong Binisaya", u"", u"Cebuano"),
     (u"yo", u"Yorùbá", u"", u"Yoruba"),
-    (u"ro-RO", u"Română", u"", u"Romanian"),
+    (u"ru-RU", u"Русский", u"", u"Russian"),
     (u"bar", u"Boarisch", u"", u"Bavarian"),
     (u"nov", u"Novial", u"", u"Novial"),
     (u"sr-ME", u"srpski (Crna Gora)", u"", u""),
     (u"es-CL", u"Español", u"", u"Spanish"),
     (u"es-CO", u"Español", u"", u"Spanish"),
     (u"nl-NL", u"Nederlands", u"", u"Dutch"),
-    (u"map-bms", u"Basa Banyumasan", u"", u"Banyumasan"),
     (u"el", u"Ελληνικά", u"", u"Greek"),
     (u"eo", u"Esperanto", u"", u"Esperanto"),
     (u"en", u"English", u"", u"English"),
     (u"rw", u"Ikinyarwanda", u"", u"Kinyarwanda"),
     (u"rm", u"Rumantsch", u"", u"Romansh"),
     (u"rn", u"Kirundi", u"", u"Kirundi"),
-    (u"es-419", u"español (Latinoamérica)", u"", u""),
+    (u"ro", u"Română", u"", u"Romanian"),
     (u"dsb", u"Dolnoserbski", u"", u"Lower Sorbian"),
     (u"ast", u"Asturianu", u"", u"Asturian"),
     (u"lmo", u"Lumbaart", u"", u"Lombard"),
     (u"koi", u"Перем Коми (Perem Komi)", u"", u"Komi-Permyak"),
     (u"tr-TR", u"Türkçe", u"", u"Turkish"),
     (u"pnt", u"Ποντιακά", u"", u"Pontic"),
-    (u"es-XL", u"Español", u"", u"Spanish"),
     (u"fi-FI", u"Suomi", u"", u"Finnish"),
     (u"pnb", u"شاہ مکھی پنجابی (Shāhmukhī Pañjābī)", u"", u"Western Punjabi"),
-    (u"udm", u"Удмурт кыл", u"", u"Udmurt"),
+    (u"ar-SA", u"العربية", u"", u"Arabic"),
     (u"bem", u"Ichibemba", u"", u""),
-    (u"roa-rup", u"Armãneashce", u"", u"Aromanian"),
-    (u"sr-Latn", u"srpski (latinica)", u"", u""),
+    (u"en-ZA", u"English", u"", u"English"),
     (u"stq", u"Seeltersk", u"", u"Saterland Frisian"),
-    (u"sr", u"Српски / Srpski", u"", u"Serbian"),
     (u"ang", u"Englisc", u"", u"Anglo-Saxon"),
-    (u"ru-RU", u"Русский", u"", u"Russian"),
     (u"lbe", u"Лакку", u"", u"Lak"),
     (u"min", u"Minangkabau", u"", u"Minangkabau"),
     (u"es-US", u"Español", u"", u"Spanish"),
     (u"kg", u"KiKongo", u"", u"Kongo"),
     (u"ckb", u"Soranî / کوردی", u"", u"Sorani"),
     (u"kk", u"Қазақша", u"", u"Kazakh"),
-    (u"kj", u"Kuanyama", u"", u"Kuanyama"),
+    (u"sg", u"Sängö", u"", u"Sango"),
     (u"ki", u"Gĩkũyũ", u"", u"Kikuyu"),
     (u"ko", u"한국어", u"", u"Korean"),
     (u"kn", u"ಕನ್ನಡ", u"", u"Kannada"),
     (u"tpi", u"Tok Pisin", u"", u"Tok Pisin"),
     (u"kl", u"Kalaallisut", u"", u"Greenlandic"),
     (u"ks", u"कश्मीरी / كشميري", u"", u"Kashmiri"),
-    (u"kr", u"Kanuri", u"", u"Kanuri"),
     (u"ext", u"Estremeñu", u"", u"Extremaduran"),
     (u"kw", u"Kernewek/Karnuack", u"", u"Cornish"),
     (u"kv", u"Коми", u"", u"Komi"),
     (u"en-GB", u"English", u"", u"English"),
     (u"xmf", u"მარგალური (Margaluri)", u"", u"Mingrelian"),
     (u"jam", u"Jamaican Creole English", u"", u"Patois"),
-    (u"ar-SA", u"العربية", u"", u"Arabic"),
+    (u"udm", u"Удмурт кыл", u"", u"Udmurt"),
     (u"ksh", u"Ripoarisch", u"", u"Ripuarian"),
     (u"ms-MY", u"Bahasa Melayu", u"", u"Malay"),
     (u"de", u"Deutsch", u"", u"German"),
     (u"rmy", u"romani - रोमानी", u"", u"Romani"),
     (u"arc", u"ܐܪܡܝܐ", u"", u"Aramaic"),
     (u"th-TH", u"ไทย", u"", u"Thai"),
-    (u"mus", u"Muskogee", u"", u"Muscogee"),
     (u"lua", u"Luba-Lulua", u"", u""),
-    (u"en-ZA", u"English", u"", u"English"),
     (u"wa", u"Walon", u"", u"Walloon"),
     (u"wo", u"Wolof", u"", u"Wolof"),
     (u"jv", u"Basa Jawa", u"", u"Javanese"),
-    (u"jw", u"Javanese", u"", u""),
     (u"fr-BE", u"Français", u"", u"French"),
     (u"tum", u"chiTumbuka", u"", u"Tumbuka"),
     (u"ja", u"日本語", u"", u"Japanese"),
     (u"ilo", u"Ilokano", u"", u"Ilokano"),
     (u"tlh", u"Klingon", u"", u""),
     (u"pdc", u"Deitsch", u"", u"Pennsylvania German"),
-    (u"aa", u"Afar", u"", u"Afar"),
     (u"ch", u"Chamoru", u"", u"Chamorro"),
     (u"co", u"Corsu", u"", u"Corsican"),
-    (u"simple", u"Simple English", u"", u"Simple English"),
     (u"ca", u"Català", u"", u"Catalan"),
-    (u"xx-pirate", u"Pirate", u"", u""),
     (u"ce", u"Нохчийн", u"", u"Chechen"),
     (u"cy", u"Cymraeg", u"", u"Welsh"),
     (u"sah", u"Саха тыла (Saxa Tyla)", u"", u"Sakha"),
     (u"frp", u"Arpitan", u"", u"Franco-Provençal"),
     (u"xal", u"Хальмг", u"", u"Kalmyk"),
     (u"pi", u"पाऴि", u"", u"Pali"),
-    (u"it-IT", u"Italiano", u"", u"Italian"),
+    (u"ak", u"Akana", u"", u"Akan"),
     (u"pl", u"Polski", u"", u"Polish"),
     (u"nrm", u"Nouormand/Normaund", u"", u"Norman"),
     (u"en-US", u"English", u"", u"English"),
     (u"gan", u"贛語", u"", u"Gan"),
-    (u"bat-smg", u"Žemaitėška", u"", u"Samogitian"),
-    (u"en-UK", u"English", u"", u"English"),
     (u"gag", u"Gagauz", u"", u"Gagauz"),
     (u"an", u"Aragonés", u"", u"Aragonese"),
     (u"gaa", u"Ga", u"", u""),
     (u"fur", u"Furlan", u"", u"Friulian"),
-    (u"kr-KR", u"Kanuri", u"", u"Kanuri"),
-    (u"zh-CN", u"中文 (简体)", u"", u""),
+    (u"es-PE", u"Español", u"", u"Spanish"),
     (u"tl-PH", u"Tagalog", u"", u"Tagalog"),
     (u"en-IN", u"English", u"", u"English"),
     (u"ve", u"Tshivenda", u"", u"Venda"),
     (u"en-ID", u"English", u"", u"English"),
     (u"en-IE", u"English", u"", u"English"),
-    (u"xx-bork", u"Bork, bork, bork!", u"", u""),
+    (u"is", u"Íslenska", u"", u"Icelandic"),
     (u"iu", u"ᐃᓄᒃᑎᑐᑦ", u"", u"Inuktitut"),
     (u"it", u"Italiano", u"", u"Italian"),
     (u"iw", u"עברית", u"", u""),
     (u"vo", u"Volapük", u"", u"Volapük"),
-    (u"ii", u"ꆇꉙ", u"", u"Sichuan Yi"),
     (u"ik", u"Iñupiak", u"", u"Inupiak"),
     (u"io", u"Ido", u"", u"Ido"),
     (u"ia", u"Interlingua", u"", u"Interlingua"),
     (u"pap", u"Papiamentu", u"", u"Papiamentu"),
     (u"pag", u"Pangasinan", u"", u"Pangasinan"),
     (u"pam", u"Kapampangan", u"", u"Kapampangan"),
-    (u"lv-LV", u"Latviešu", u"", u"Latvian"),
+    (u"nl", u"Nederlands", u"", u"Dutch"),
     (u"mzn", u"مَزِروني", u"", u"Mazandarani"),
     (u"nl-BE", u"Nederlands", u"", u"Dutch"),
     (u"sk-SK", u"Slovenčina", u"", u"Slovak"),
     (u"de-DE", u"Deutsch", u"", u"German"),
     (u"jbo", u"Lojban", u"", u"Lojban"),
     (u"mfe", u"kreol morisien", u"", u""),
+    (u"tcy", u"Tulu", u"", u"ತುಳು"),
     (u"hak", u"Hak-kâ-fa / 客家話", u"", u"Hakka"),
     (u"ny", u"Chichewa", u"", u"Chichewa"),
     (u"ady", u"Адыгэбзэ", u"", u"Adyghe"),
     (u"en-MY", u"English", u"", u"English"),
     (u"sv-SE", u"Svenska", u"", u"Swedish"),
     (u"de-AT", u"Deutsch", u"", u"German"),
-    (u"xx-elmer", u"Elmer Fudd", u"", u""),
     (u"hsb", u"Hornjoserbsce", u"", u"Upper Sorbian"),
     (u"be", u"Беларуская", u"", u"Belarusian"),
     (u"bg", u"Български", u"", u"Bulgarian"),
     (u"ach", u"Acoli", u"", u""),
     (u"oc", u"Occitan", u"", u"Occitan"),
     (u"kri", u"Krio (Sierra Leone)", u"", u""),
-    (u"be-tarask", u"Беларуская (тарашкевіца)", u"", u"Belarusian (Taraškievica)"),
     (u"krc", u"Къарачай-Малкъар (Qarachay-Malqar)", u"", u"Karachay-Balkar"),
     (u"nds", u"Plattdüütsch", u"", u"Low Saxon"),
     (u"os", u"Иронау", u"", u"Ossetian"),
     (u"or", u"ଓଡ଼ିଆ", u"", u"Oriya"),
     (u"nso", u"Sepedi", u"", u"Northern Sotho"),
     (u"bjn", u"Bahasa Banjar", u"", u"Banjar"),
-    (u"xx-hacker", u"Hacker", u"", u""),
-    (u"zh-min-nan", u"Bân-lâm-gú", u"", u"Min Nan"),
     (u"pa", u"ਪੰਜਾਬੀ", u"", u"Punjabi"),
     (u"loz", u"Lozi", u"", u""),
     (u"war", u"Winaray", u"", u"Waray-Waray"),
-    (u"hz", u"Otsiherero", u"", u"Herero"),
     (u"hy", u"Հայերեն", u"", u"Armenian"),
     (u"hr", u"Hrvatski", u"", u"Croatian"),
     (u"ht", u"Krèyol ayisyen", u"", u"Haitian"),
     (u"hu", u"Magyar", u"", u"Hungarian"),
     (u"hi", u"हिन्दी", u"", u"Hindi"),
-    (u"ho", u"Hiri Motu", u"", u"Hiri Motu"),
     (u"ha", u"هَوُسَ", u"", u"Hausa"),
     (u"bug", u"Basa Ugi", u"", u"Buginese"),
     (u"he", u"עברית", u"", u"Hebrew"),
     (u"pih", u"Norfuk", u"", u"Norfolk"),
     (u"ab", u"Аҧсуа", u"", u"Abkhazian"),
     (u"af", u"Afrikaans", u"", u"Afrikaans"),
-    (u"ak", u"Akana", u"", u"Akan"),
+    (u"it-IT", u"Italiano", u"", u"Italian"),
     (u"am", u"አማርኛ", u"", u"Amharic"),
     (u"myv", u"Эрзянь (Erzjanj Kelj)", u"", u"Erzya"),
     (u"as", u"অসমীয়া", u"", u"Assamese"),
     (u"ay", u"Aymar", u"", u"Aymara"),
     (u"az", u"Azərbaycanca", u"", u"Azerbaijani"),
     (u"es-ES", u"Español", u"", u"Spanish"),
-    (u"nl", u"Nederlands", u"", u"Dutch"),
+    (u"lv-LV", u"Latviešu", u"", u"Latvian"),
     (u"nn", u"Nynorsk", u"", u"Norwegian (Nynorsk)"),
     (u"no", u"Norsk (Bokmål)", u"", u"Norwegian (Bokmål)"),
     (u"na", u"dorerin Naoero", u"", u"Nauruan"),
     (u"nah", u"Nāhuatl", u"", u"Nahuatl"),
     (u"ne", u"नेपाली", u"", u"Nepali"),
-    (u"ng", u"Oshiwambo", u"", u"Ndonga"),
     (u"en-AU", u"English", u"", u"English"),
     (u"nap", u"Nnapulitano", u"", u"Neapolitan"),
     (u"nv", u"Diné bizaad", u"", u"Navajo"),
     (u"ku", u"Kurdî / كوردی", u"", u"Kurdish"),
     (u"cs-CZ", u"Čeština", u"", u"Czech"),
-    (u"zh-yue", u"粵語", u"", u"Cantonese"),
     (u"en-SG", u"English", u"", u"English"),
-    (u"zh-classical", u"古文 / 文言文", u"", u"Classical Chinese"),
-    (u"bcl", u"Bikol", u"", u"Central Bicolano"),
-    (u"en-XA", u"English", u"", u"English")
+    (u"bcl", u"Bikol", u"", u"Central Bicolano")
 )

utils/update_languages.py

 
 from requests import get
 from re import sub
-from lxml.html import fromstring
+from lxml.html import fromstring, tostring
 from json import loads
 from sys import path
 path.append('../searx')
 
 languages = {}
 
+
+# To filter out invalid codes and dialects.
+def valid_code(lang_code):
+    # filter invalid codes
+    if lang_code[:2] == 'xx'\
+       or lang_code == 'jw'\
+       or lang_code[-2:] == 'UK'\
+       or lang_code[-2:] == 'XA'\
+       or lang_code[-2:] == 'XL':
+        return False
+
+    # filter dialects
+    lang_code = lang_code.split('-')
+    if len(lang_code) > 2 or len(lang_code[0]) > 3:
+        return False
+    if len(lang_code) == 2 and len(lang_code[1]) > 2:
+        print lang_code
+        return False
+        
+    return True
+
+
 # Get language names from Wikipedia.
 def get_wikipedia_languages():
     response = get(wiki_languages_url)
             code = td[3].xpath('./a')[0].text
             name = td[2].xpath('./a')[0].text
             english_name = td[1].xpath('./a')[0].text
+            articles = int(td[4].xpath('./a/b')[0].text.replace(',',''))
             
-            if code not in languages:
+            # exclude languages with few articles and language variants
+            if code not in languages and articles >= 100 and valid_code(code):
                 languages[code] = (name, '', english_name)
 
+
 # Get language names from Google.
 def get_google_languages():
     response = get(google_languages_url)
         code = option.xpath('./@value')[0]
         name = option.text[:-1]
 
-        if code not in languages:
+        if code not in languages and valid_code(code):
             languages[code] = (name, '', '')
 
+
 # Join all language lists.
 # iterate all languages supported by each engine
 def join_language_lists():
     for engine_name in engines:
         for locale in engines[engine_name].supported_languages:
             locale = locale.replace('_', '-')
-            if locale not in languages:
+            if locale not in languages and valid_code(locale):
                 # try to get language name
                 language = languages.get(locale.split('-')[0], None)
                 if language == None:
-                    print engine_name + ": " + locale
+                    # print engine_name + ": " + locale
                     continue
 
                 (name, country, english) = language
                 languages[locale] = (name, country, english)
 
+
 # Write languages.py.
 def write_languages_file():
     new_file = open('languages.py', 'w')
         (name, country, english) = languages[code]
         file_content += '\n    (u"' + code + '"'\
                         + ', u"' + name + '"'\
-                        + ', u"' + country[1:-1] + '"'\
+                        + ', u"' + country + '"'\
                         + ', u"' + english + '"),'
     # remove last comma
     file_content = file_content[:-1]
     new_file.write(file_content.encode('utf8'))
     new_file.close()
 
+
 def main():
     get_wikipedia_languages()
     get_google_languages()
     join_language_lists()
     write_languages_file()
 
+
 if __name__ == "__main__":
     main()