Cocoa Tea

 話說之前試過一排飲 bullet proof tea (受唔到 coffee 太多咖啡因) 但身體唔多慣飲唔落

然後又聽講黑朱古力都幾多 antioxidants 對身體唔錯，咁我就心諗不如將黑茶撈朱古力同少少cream。結果blend埋一齊係唔錯嘅。

天氣之子

啱啱發現香港 Netflix 有《天氣之子》，走咗去睇。

套戲獨立嚟睇係唔錯嘅，不過以新海誠嘅動畫嚟講，唔知點解少咗嗰種「文學氣息」。

除咗個故仔本身有啲「薄」之外，可能係⋯⋯ BBQ 結局啩。（我又唔係日本人理L得東京浸咗半個咩

感覺入面啲嘢嘅原素砌得麻麻哋 (都係有啲「薄」)。

但好睇嘅，不過感覺就好似⋯ 睇緊《你的名字》嘅小弟咁囉。

發夢喺連登語料度抽出粵語詞

發夢夢到最近(二月中)有人 crawl 咗連登，所以我喺夢裡面就 download 咗啲 data 嚟玩。

因為發夢開發緊一部粵語詞典，所以就想睇下究竟仲有冇詞語漏咗未收錄。

話說官話(aka. 標準漢語)就好興雙字詞語嘅，好多「本身單字」嘅詞，官話都傾向配多隻字變成雙字詞語。例如：「玩」會變「玩耍」、「菜」會變「蔬菜」，甚至配唔到都會加返個「子」字，好似「肚」會變「肚子」。但粵語就比較多單字詞，喺語料庫發掘新詞，要判斷究竟係兩個單字詞咁啱黐埋一齊，定係一個雙字詞嚟。

呢樣嘢有時好難判斷，例如「偷圖」咁，係一個詞嚟，定係只不過係「偷+圖」？「初段」、「判罰」、「勝率」、「團長」呢？ 呢啲係冇解嘅問題，基本上係靠主觀判斷。

咁，點樣由連登語料度發現新詞呢？最基本嘅方法，就係搵晒所有 bigram (兩個連接嘅單字)，然後逐個去睇。香港中文常用字大概幾千個，所以所有 bigram 嘅可能性都唔算好多，一千萬左右啦。

好在實際上喺連登見到嘅 bigram 冇咁多，六百萬左右啦 :)

然後，你會發現，通用嘅詞彙唔會淨係出現一兩次，所以篩走啲極少出現嘅詞語之後，就淨返「只有」幾十萬個 bigram 要考慮 :) 

之後點算好呢？

有人可能會諗，不如淨係睇啲出現率高嘅 bigram 啦！

得唔得呢？睇下會係啲咩嚟：

實際上我哋搵到嘅詞彙係有幾高出現率呢？

（至於點解發夢會有 cap 圖？話說我有少少通靈能力，高科技問米呢家嘢⋯ [下刪千字]）
（另外，乜呢啲唔係標準中文都有嘅詞嚟咩？ 係呀，不過粵語或粵文會用到嘅都照樣收錄。）

所以一個通用嘅粵語詞語，喺連登度可能每個月只係見過幾次。單係用 frequency 基本上只係可以將潛在詞語降到幾十萬個 bigram，再篩就會開始將真詞都篩走埋。

咁仲有咩方法呢？

我哋留意到，frequency 最高嘅 bigram (見上圖) 大部份都係涉及極常見嘅單字，例如「係」、「唔」之類。直觀(intuitively)噉諗，一個 bigram 就算出現率高都未必係詞語，因為可能只係因為構成佢嘅單字本身出現率好高；反相，就算一個 bigram 出現率唔高，只要佢由出現率唔高嘅單字構成，都可能係真嘅詞彙嚟。

只要計算bigram 同佢所構成嘅單字嘅相對頻率，就可以知道佢係隨機結合，定係兩字之間有特別關連。

另一個觀察就係：有啲詞語會因為時間變遷而明顯變動。例如「大訴」呢個 bigram 嘅頻率，喺 2019 年忽然爆升。（至於點解？我呢個夢唔包呢啲嘢㗎，不如問下其他發夢嘅朋友？）但，唔止呢啲。最恐怖嘅係，連「女朋友」呢啲詞語都有 trend：

呢個現像真係「細思極恐」（按：內地潮語）。不過大家「看圖作文」之前，最好順手解釋埋呢個現像：

點解連登仔忽然正字正確？我到而家都唔明。

言歸正傳。我哋見到，有特定意思嘅 bigram，可能會因時間而變化。相反，唔係隨機黐埋嘅 bigram，理論上出現頻率都係隨機嘅，喺時間軸上大幅變動嘅機會較細。所以呢，睇埋bigram喺時間軸嘅標準差(standard deviation)，可能會有啲用。

所以，我哋而家有呢啲關於 bigram 嘅數據：

• mean / overall frequency
• frequency standard deviation
• left character mean frequency
• right character mean frequency

如果我哋相信上面提及嘅 intuition 可以幫我哋判斷 bigram 係咪粵語詞，理論上我哋可以用上面啲數據砌一條公式出嚟，去估下某 bigram 係粵語詞嘅機率。由於粵典本身收錄咗三萬左右嘅雙字詞語，所以我哋可以睇住「答案」去砌公式嘅。

好！

⋯⋯ 其實，呢啲高深嘅數學，我平時清醒嗰陣都唔識，發緊夢點可能會識⋯⋯

所以！我決定搵幫手！

上面呢堆嘢，我發緊夢，都唔係好知係咩嚟。不過佢話我聽，有 ~80% 準確度。信不信由你啦，反正都係夢境嚟。 (按： fake_words 要小心咁抽幾萬個出嚟，有助提升「真．準確度」。自己諗點做啦，反正我都唔敢肯定我嘅做法最好。另外仲有以下口訣：mean value 要 take log，stdev 要除 mean)

話時話，之後我仲發咗個夢，夢裡面粵典提供埋單字嘅詞性。我喺每個 bigram 每種詞性變成 0.0 或 1.0 ，加埋落去 input vector 度，再 run 多次。準確度多咗幾 %。

攞住呢個 model，我就人手 validate 嘞 (input data 得三萬x2個咁珍貴，你唔撚係攞去做 validation 呀？！不要問，只要信！)。之前咪有幾十萬個 bigram 嘅？我將佢塞晒落去呢個 model 度，將 model 認為有 60+% 機會嘅 bigram 攞出嚟，再人手判斷佢哋係咪粵語詞。 (當然，已經收錄咗喺粵典嘅 bigram 就唔使再睇)

最後呢個 list 大概有一萬幾千個 bigram。

話說粵典本身收錄嘅詞都幾齊，尤其係有呢堆連登 data 之前，我就已經喺唔知邊度攞咗一份陳年連登corpus ( 真係唔知邊度嚟，搵唔返 source )。當時我用咗一啲超級 labour intensive 嘅方法去搵粵語詞，基本上只係比睇晒嗰幾十萬個 bigram 聰明少少。呢一年嚟斷斷續續夾埋做咗幾十(百?)小時，都補咗幾百個詞。所以，就算 model 話有 80% 準確度，gen 出嚟個 list 都有 99% 係 false positive。

我哋⋯ 真係搵緊滄海遺珠架。

去到最後，我睇晒嗰一萬幾千個 bigram，好似掘到百幾個粵語雙字詞出嚟。我一瞓醒，即刻去粵典 (words.hk) 加返搵到嘅詞彙！

我覺得呢場夢真係好有趣呀！你話係唔係？

題外話：啲專有名詞例如人名、地名、公司名，都排得好高㗎。對我哋嚟講係雜訊，不過可能對其他人嚟講，係好有用呢？

homebrew

homebrew is a piece of shit, and it's really telling (in many ways and perspectives) how such a piece of shit could have been adopted by so many people

I only use it when forced to.

informed with this insight, the fact that the guy got coldly rejected from $BIGCO is really expected. homebrew was fantastic community service, but seriously, it's a piece of shit.

12000年前... 絕種生物... DNA 重新接種...

(irrelevant context https://www.youtube.com/watch?v=5Sq89AJI19c&t=70s )

睇完段片，我腦入面忽然諗到一個好癲嘅假想。

話說 12000 年前地球進入新仙女木期，本身處於冰河時期嘅地球氣溫再一度急降，好多生物都絕種。可能個急劇變化係一堆天災導致，以至多種大型動物 (長毛象、劍齒虎etc) 絕種。

如果連長毛象呢啲聽落咁耐寒嘅動物都頂唔住，點解大家會覺得人類真係冇絕種呢？

「喂，當我死㗎？！」

well... 世事無絕對嘅。

首先，呢幾萬年其實有好幾種人類絕咗種。咩 Neanderdal 呀 Denisovan 呀，都係絕咗種嘅人類嚟。佢哋係「現代人類」嘅近親，甚至 Neanderdal 嘅頭腦大過我哋，絕對唔係蠢。如果現代人類冇絕種，大概只係好彩。

問題係，如果你同我仲活生生，我哋嘅祖先點可能絕咗種呢？

呢個問題就同條片有少少關係喇。睇返條片，究竟冰入面啲史前動物係咪絕咗種？ 係。但我哋可唔可以攞佢嘅 DNA 出嚟覆製返啲類似嘅生物出嚟呢？絕咗種嘅生物有冇可能返生？ 理論上係可能嘅。 但 12000 年前有邊個咁得閒？

⋯⋯

大家諗下啲遠古傳說⋯⋯

記唔記得《創世紀》嘅傳說？上帝用「泥土」製造第一個人類。聽講世界各地都有呢個傳說，都唔係淨係耶教咁講。雖然正常理解係古人識得用泥土製陶器製泥偶所以覺得用泥造人都好正常 (之類啦，我又9up)，但如果呢啲「泥土」係掘出嚟絕種人類嘅遺骸呢？

至於係咩「嘢」咁得閒掘返人類基因令我哋種族復活呢？外星人啩。 想像下，地球天災大爆炸，生物死得七七八八，有路過嘅外星生物睇住覺得「咁靚嘅星球，咁多生物，毀滅咗真係好可惜」 然後掘返啲人類同動物 DNA 出嚟，復活返佢哋，喺個「伊甸園」(太空船？ ~_~)養到肥肥白白之後就趕佢返地球繁衍。 (照下鏡，我哋現代人類都係啲咁屎忽痕嘅保育撚嚟)

成件事好 make sense 呀。至於成個推論最唔合常理嘅「外星人」？... 喂啲證據仲唔夠你懷疑主流論述咩？ (另按：寫緊篇文講下呢啲嘢⋯ 不過個坑開得有啲大，未必咁快起到貨。)

至於我有冇咩證據我講嘅嘢係真？梗係冇啦。不過其實好多嘢都冇證據架，就算係傳統科學都係靠9up完再認真驗證。我哋啲想像力越擴闊，就有越多嘢可以去驗證。正所謂「大膽假設，小心求證」就係咁解。 (但歷史好難客觀「驗證」，所以⋯ well 都係等我嗰篇文寫好再講)

話時話，第一次聽人講「 12000 年前」呢個 magic number 我都唔信有咩特別，但留意開就到處都見到，同《涼宮春日》不斷講嘅「三年前」一樣咁恐怖。

Linux and github

So, this is probably the real reason why Linus Torvalds is so dismissive about using github as a dev tool for Linux...

http://lkml.iu.edu/hypermail/linux/kernel/1603.2/01906.html 

http://lkml.iu.edu/hypermail/linux/kernel/1603.2/01926.html 

I guess rightly so.

Embedded marketing in Google Maps directions is a thing

 https://news.ycombinator.com/item?id=30171800&p=2#30172766

Apparently embedded marketing in Google Maps directions is a thing.

Yuck.

I generally don't mind ads as a concept since people don't pay for $things much, but somehow this feels so horrible (I can't articulate why but probably for multiple reasons)