Ryuichi's Arsenal

PaddleOCR應用硬傷和MiniCPM-V(已改名為MiniCPM-o)Finetune踩坑後的紀錄與分析。

MiniCPM-V 2.6 finetune準確率、Transformer架構與vLLM速度驗證。

reference：https://github.com/PaddlePaddle/PaddleOCR、https://github.com/OpenBMB/MiniCPM-o、https://modelbest.feishu.cn/wiki/LZxLwp4Lzi29vXklYLFchwN5nCf

Writing HTTPS API server code pair to provide AI model inference using python.

Windows 11、WSL2(Windows Subsystem for Linux)、Ubuntu22.04、Docker、miniconda、PyCorrector、Nlpcda、RTX4060、https://github.com/shibing624/pycorrector/blob/master/README.md、https://pypi.org/project/nlpcda/

Label-Studio(圖片標記)、Kaggle(免費GPU訓練環境)、wandb.ai(取得訓練模型時需要用到API Key)、YOLOv8 Ultralytics(物件偵測pretrained model)、powershell(批次更改檔名)。

reference：https://docs.ultralytics.com/、https://wandb.ai/site、https://www.kaggle.com/

Retrieve tesla charger point using geohash based method.

geohash、tesla charger、plugshare.com

Reference：https://github.com/jillesvangurp/geogeometry、https://www.movable-type.co.uk/scripts/geohash.html

Automatically load local file to BigQuery table when file is uploaded to Bucket/Cloud Storage。

Implementing by Java、Eclipse and Maven。

環境與工具準備如下：

• 申請一個Google Cloud免費環境。
• 準備一個Ubuntu環境，安裝gsutil，用於與GCP(Google Cloud Platform)溝通(shell script部署Cloud Function與上傳檔案到Cloud Storage)。
• 安裝Maven套件的Eclipse，可下載Eclipse後自行加載Maven設定。

環境與工具準備如下：

• 一個Hadoop的環境with Spark 2.4(Ubuntu)。
• Flume：apache-flume-1.9.0-bin.tar.gz  → 用來模擬將資料傳到kafka topic。
• Kafka Server：confluent-7.0.1 → 建立 kafka。
• Jar包：kafka-clients-3.0.0.jar、spark-streaming-kafka-0-10_2.11-2.4.8.jar → 執行與編譯Spark Streaming程式用。
• Spark執行檔：spark-2.4.5-bin-hadoop2.7.tgz → 驅動Spark-Submit。

純Java Config非XML設定之純Spring Httpinvoker搭配簡易Token。

httpclient-4.5.10.jar、httpcore-4.4.12.jar。

Retrieve tesla charger point [detail] using geohash based method.

geohash、tesla charger、plugshare.com

Folium、Python、HeatMapWithTime、MarkerCluster。

Reference：https://github.com/python-visualization/folium/issues/1062、https://blog.yeshuanova.com/2017/10/python-visulization-folium/

Flume Customized Interceptor、Flume Filter、regex_filter。

Reference：CustomInterceptor.scala

Python、Markov Chain、Matrix。

Java Invoker Client、Spring Service Exporter。

所需 Jar 檔(版本可以依據自身需求調整)：aopalliance-1.0.jar、commons-logging-1.2.jar、spring-beans-4.3.30.RELEASE.jar、spring-core-3.1.0.RELEASE.jar、spring-remoting-2.0.8.jar。

YoloV4、Ubuntu、Jetson Nano、Object Detection、Object Tracking、Centroid Tracking、Tensorrt、Cuda、Cudnn、People Counting。

Coding Spark 2.4 Program Using Scala Eclipse IDE。

CDH 5.16、oozie、spark2 Integration、SparkMain Class not found。

Transfering a file between HDFS and SFTP without copying it to local disk。

org.apache.commons.compress.utils.IOUtils。

Python函式庫：requests、BeautifulSoup、pandas。

網頁檢視工具：Win_x64_814947_chrome-win、SelectorGadget。

-ge、-le、-ne。

$(date -d "$saveFileDate -1 days" +'%Y%m%d')