TiDB commits

TiDB, PD, TiKVのコミットを記録しています。

TiDB commits on 2022-09-22

ebs-br: change command line flags of restore by D3Hunter · Pull Request #38027 · pingcap/tidb · GitHub BRのEBS snapshotに対応した引数を変更(例: --meta-phaseは--prepare)います。
*: fix issue of drop database with foreign key failed by crazycs520 · Pull Request #38053 · pingcap/tidb · GitHub foreign key が作成された環境でdrop databaseに失敗する事象を修正しています。
*: restrict index range mem usage by xuyifangreeneyes · Pull Request #37754 · pingcap/tidb · GitHub Index rangeのメモリ使用量を制限するようにしています。
*: enable race test on server by hawkingrei · Pull Request #35841 · pingcap/tidb · GitHub executorのテストでレースコンディションを検出するようにしています。
planner: PhysicalPlan memory trace 5 by fzzf678 · Pull Request #37860 · pingcap/tidb · GitHub PhysicalHashJoinなどでメモリ使用状況をトラッキングしています。
table partition: exchange partition telemetry by ymkzpx · Pull Request #37875 · pingcap/tidb · GitHub exchange partitionのテレメトリーを追加しています。
*: add privilege check for lock tables by crazycs520 · Pull Request #38037 · pingcap/tidb · GitHub Lock tableを実行する際の権限チェックを追加しています。
docs: remove dates from roadmap by ran-huang · Pull Request #38068 · pingcap/tidb · GitHub ロードマップから時期を取り除いています。
ddl: fix issue of foreign key check block ddl by crazycs520 · Pull Request #38071 · pingcap/tidb · GitHub Foreign keyの存在チェックによってDDLの実行がblockされる事象を修正しています。
ddl, br: improve compatibility for PiTR and ingest ddl jobs by joccau · Pull Request #38029 · pingcap/tidb · GitHub Log backupでindexの追加中にlog backupがエラーとなる事象を修正しています。
executor: convert json numeric value to float64 in hash by YangKeao · Pull Request #38065 · pingcap/tidb · GitHub JSONの数値をhash join時にfloat64に変換しています。
store/copr: update copr-cache admission for paging and initial copr task's paging size by tiancaiamao · Pull Request #38012 · pingcap/tidb · GitHub pagingTaskIdxを追加して、その値が大きい場合にデータをキャッシュしいないようにしています。
expression: Improved precision of FROM_UNIXTIME(char) #35184 by keeplearning20221 · Pull Request #37788 · pingcap/tidb · GitHub FROM_UNIXTIME(char)の精度を向上させています。
*: simplify roadmap description by IANTHEREAL · Pull Request #38074 · pingcap/tidb · GitHub ロードマップの記述を変更しています。
*: windows compile support by xiongjiwei · Pull Request #38078 · pingcap/tidb · GitHub Windows環境でのビルドに対応しています。
executor: remove loading unnecessary stats during analyze partition table in dynamic mode by Yisaer · Pull Request #38028 · pingcap/tidb · GitHub 動的モードでanalyze partition中に不要な統計のローディングをしないようにしています。
br: modify the column of Restore Statement by MoCuishle28 · Pull Request #36281 · pingcap/tidb · GitHub Restore databaseコマンド実行後のBackupTSが正しくない事象を修正しています。
docs: add disclaimer for roadmap by ran-huang · Pull Request #38079 · pingcap/tidb · GitHub ロードマップにdisclaimerを追加しています。
*: fix data race for txnCtx by wjhuang2016 · Pull Request #38041 · pingcap/tidb · GitHub txnCtxにレースコンディションを検出するようにしています。
*: update docker builder by xiongjiwei · Pull Request #38088 · pingcap/tidb · GitHub Dockerfileで利用するGoのバージョンを更新しています。
*: upgrade go1.19.1 by hawkingrei · Pull Request #37649 · pingcap/tidb · GitHub Go 1.19.1を利用するようにしています。
planner: make general plan cache support 'or' and 'in' by qw4990 · Pull Request #38047 · pingcap/tidb · GitHub General plan cacheでinとorの対応を追加しています。
planner/core: fix partition pruning for IN multiple values by tiancaiamao · Pull Request #37511 · pingcap/tidb · GitHub inに複数の値が指定された場合にパーティションプルーニングを有効にしています。
planner: fix panic when prepare and execute the insert on duplicate by Reminiscent · Pull Request #37924 · pingcap/tidb · GitHub insert into ... on duplicate key updateがpanicする事象を修正しています。
executor: support setting config online for TiFlash raftstore-proxy by breezewish · Pull Request #38014 · pingcap/tidb · GitHub TiFlash関連のraftstore-proxy.*のみオンラインで変更可能にしています。
json, executor: fix json hash value conflict by YangKeao · Pull Request #38095 · pingcap/tidb · GitHub JSONのHashValue関数を変更しています。
makefile: add bazel linter by hawkingrei · Pull Request #38096 · pingcap/tidb · GitHub Bazelのlinterの設定を変更しています。
br: fix restore full fail when restore cluster <= 6.2 using br 6.3 by D3Hunter · Pull Request #38082 · pingcap/tidb · GitHub BRでBRコマンドv 6.3を利用してv6.2のクラスタにリストア可能にしています。
planner: small refactor for index join inner range building by xuyifangreeneyes · Pull Request #38100 · pingcap/tidb · GitHub index join時のinner range作成をリファクタリングしています。
DDL: update TiFlash replica progress after available by hehechen · Pull Request #37766 · pingcap/tidb · GitHub TiFlashのレプリカ状況を更新するようにしています。
*: fix race and enable race for concurrent ddl test by hawkingrei · Pull Request #38093 · pingcap/tidb · GitHub concurrent ddl testでレースコンディションを検出するようにしています。
*: support darwin build by xiongjiwei · Pull Request #38090 · pingcap/tidb · GitHub Darwin環境でのビルドに対応しています。

*: move `dim` to `statistics` by lhy1024 · Pull Request #5541 · tikv/pd · GitHub Dim関連の処理をstatisticsに移動しています。
schedule: reduce the rule fit overhead by bufferflies · Pull Request #5523 · tikv/pd · GitHub Rule fitのオーバーヘッドを削減しています。
schedule: Fix possible nil pointer when getting command by Connor1996 · Pull Request #5542 · tikv/pd · GitHub 起こりうるnil pointer参照の事象を修正しています。

copr: forbid empty pattern for regexp by gengliqi · Pull Request #13514 · tikv/tikv · GitHub 正規表現での空のパターンを利用できないようにしています。
raftstore, tikv_util: move QueryStats from raftstore to tikv_util component by zeminzhou · Pull Request #13506 · tikv/tikv · GitHub QueryStatsをRaft storeからtikv_utilコンポーネントに移動しています。
raftstore: Do not print error log for "region not exist but not tombstone" by MyonKeminta · Pull Request #13518 · tikv/tikv · GitHub "region not exist but not tombstone" というログ出力を抑止しています。

2022年9月22日にRaft Engineのコミットはありませんでした。

Docs updates on 2022-09-21

update regexp docs by xzhangxian1008 · Pull Request #10483 · pingcap/docs · GitHub REGEXP_REPLACEの振る舞いのMySQLとTiDBの違いを追記しています。
fix explanation of error 8134 by qiancai · Pull Request #9454 · pingcap/docs · GitHub エラー番号8134に関する説明を追記しています。
TOC: enhance TOC for performance tuning by qiancai · Pull Request #9492 · pingcap/docs · GitHub パフォーマンスチューニングに関するドキュメントの目次を変更しています。

TiDB commits on 2022-09-21

*: enable race for sessiontest by hawkingrei · Pull Request #38013 · pingcap/tidb · GitHub sessiontestでレースコンディションを検出するようにしています。
*: drop database should check foreign key constraint by crazycs520 · Pull Request #38006 · pingcap/tidb · GitHub drop databaseでforeign keyをチェックするようにしています。
docs: add tidb roadmap by ran-huang · Pull Request #38002 · pingcap/tidb · GitHub TiDB今後1年のロードマップを追加しています。
bazel: add bazelvesion to lock version by hawkingrei · Pull Request #38046 · pingcap/tidb · GitHub .bazelvesion を設定してBazel 5.3.1を利用するようにしています。
ddl: fix a bug that 'flashback table' does not handle mysql.gc_delete_range correctly by tiancaiamao · Pull Request #38038 · pingcap/tidb · GitHub flashback table実行後にgc_delete_rangeの結果も正しくなるようにしています。
expression: forbid empty pattern for regexp functions by xzhangxian1008 · Pull Request #38031 · pingcap/tidb · GitHub 正規表現の関数で空文字のパターンを利用できないようにしています。
execution: commit the transaction before responding explain analyze results to the client by cfzjywxk · Pull Request #38044 · pingcap/tidb · GitHub explain analyzeでDMLが実行された際に、トランザクションがcommitされるまえにクライアントに処理が戻る事象を修正しています。
Lightning: change severity of clusterResourceCheckItem,emptyRegionCheckItem from Critical to Warn by niubell · Pull Request #37657 · pingcap/tidb · GitHub clusterResourceCheckItemとemptyRegionCheckItemのseverityをCriticalからWarnに変更しています。
util: improve cgroup to support Vertical Pod Autoscaler by hawkingrei · Pull Request #36901 · pingcap/tidb · GitHub Vertical Pod Autoscaler Operator対応のためにcgroupでCPUの制御をできるようにしています。
config: mark log.expensive-threshold as deprecated by tiancaiamao · Pull Request #37667 · pingcap/tidb · GitHub log.expensive-thresholdをdeprecatedにしています。

core: Collect witness peer count by Connor1996 · Pull Request #5530 · tikv/pd · GitHub witness peer countを収集しています。

raftstore-v2: support lease read by tonyxuqqi · Pull Request #13202 · tikv/tikv · GitHub Raftstore v2でlease readに対応しています。
br: recovering_mark interface block tikv startup when tikv v6.3.0 connect to pd v6.2.0 by fengou1 · Pull Request #13498 · tikv/tikv · GitHub TiKV v6.3がPD v6.2に接続しようとした際に警告を出すようにしています。

2022年9月21日にRaft Engineのコミットはありませんでした。

Docs updates on 2022-09-22

sql: update sql-statement-create-index.md by qiancai · Pull Request #10514 · pingcap/docs · GitHub FULLTEXT and SPATIALはparse可能になったが機能は存在していないことを記述しています。
remove tiflash sm4 encryption support by lidezhu · Pull Request #10520 · pingcap/docs · GitHub TiFlashがSM4による暗号化に対応してないことを追記しています。

TiDB commits on 2022-09-20

https://github.com/pingcap/tidb/pull/37512 NULL認識のantiSemiJoinとantiLeftOuterSemiJoinを追加しています。
*: use sync.map for mppStoreLastFailTime by wjhuang2016 · Pull Request #37318 · pingcap/tidb · GitHub MPPStoreLastFailTimeをsync.Mapにしています。
distsql: fix build for 'make bench-daily' by tiancaiamao · Pull Request #37958 · pingcap/tidb · GitHub make bench-dailyをビルドできるようにしています。
executor: show locked status of accounts by dveeden · Pull Request #37967 · pingcap/tidb · GitHub show create userでアカウントのlock,unlockを出力しています。
*: add more tests for metadata lock and fix data race by wjhuang2016 · Pull Request #37930 · pingcap/tidb · GitHub metadata lockに関するテストを追加しています。
parser, planner: add query block level `no_decorrelate` hint by time-and-fate · Pull Request #37633 · pingcap/tidb · GitHub no_decorrelateヒントを追加しています。
ddl: rename column should update foreign key constrain by crazycs520 · Pull Request #37870 · pingcap/tidb · GitHub rename columnでforeign keyを考慮しています。
test: fix unstable multi-schema change test by tangenta · Pull Request #37985 · pingcap/tidb · GitHub 不安定なmulti schema change testを修正しています。
store: return right error when to get non-200 http code from pd by hawkingrei · Pull Request #37982 · pingcap/tidb · GitHub PDからステータスコード200番台以外が返ってきたときに、正しいエラーを返すようにしています。
time: fix the fraction loss when encountering time string with timezone suffix by Qiaolin-Yu · Pull Request #37820 · pingcap/tidb · GitHub timeに文字列でデータを追加した場合の小数点以下が失われる事象を修正しています。
types: Fix DATE_ADD on DST Transition by birdstorm · Pull Request #37979 · pingcap/tidb · GitHub DATE_ADD関数がDSTを考慮するようにしています。
store: handle nil execption by wjhuang2016 · Pull Request #37998 · pingcap/tidb · GitHub lastAnyをtimeに型変換しようとしてpanicする事象を修正しています。
lint: check file permission with &0111 by YangKeao · Pull Request #37997 · pingcap/tidb · GitHub File mermissionのlinterを修正しています。

scheduler: hot-scheduler supports rank formula v2 by HunDunDM · Pull Request #5515 · tikv/pd · GitHub Hot schedulerのランク算出方法を変更しています。
schedulers: Add nil check for Collector by CabinfeverB · Pull Request #5534 · tikv/pd · GitHub Collectorにnilチェックを追加しています。

raftstore, resolved_ts: clarify the use of term safe_ts and resolved_ts by JmPotato · Pull Request #13441 · tikv/tikv · GitHub get_resolved_tsとget_min_resolved_ts関数を追加しています。
Add check conditions before compaction filter in RawKV GC by ystaticy · Pull Request #12938 · tikv/tikv · GitHub RawKV GCのcompaction filter実施前のチェックを追加しています。
rawkv: Encode ts to apiv2 key in storage instead of causal observer by haojinming · Pull Request #13326 · tikv/tikv · GitHub Causal timestampをAPI v2 keyにエンコードして保存しています。
actions: use load_data to get the old value in flashback by JmPotato · Pull Request #13492 · tikv/tikv · GitHub load_dataを利用してFlashbackでの元の値を取得するようにしています。
gc_worker: make unsafe detroy range compatible with multi-rocks db by SpadeA-Tang · Pull Request #13485 · tikv/tikv · GitHub Unsafe destroy rangeをMulti RocksDBに対応させています。
causal_ts: add async func for CausalTsProvider by zeminzhou · Pull Request #13429 · tikv/tikv · GitHub CausalTsProviderに非同期のasync_get_ts、async_flush関数を追加しています。

2022年9月20日にRaft Engineのコミットはありませんでした。

Docs updates on 2022-09-19

table partition: add INTERVAL partitioning by mjonss · Pull Request #9751 · pingcap/docs · GitHub Range INTERVAL partitioningに関する記述を追加しています。
table partition: add RANGE COLUMNS partitioning by mjonss · Pull Request #10385 · pingcap/docs · GitHub RANGE COLUMNS partitioningに関する記述を追加しています。
ticdc: add sync point config by TomShawn · Pull Request #10457 · pingcap/docs · GitHub TiCDCのSyncpoint機能についての説明を追加しています。
set default value of tidb_enable_pseudo_for_outdated_stats to OFF by TomShawn · Pull Request #10459 · pingcap/docs · GitHub tidb_enable_pseudo_for_outdated_statsのデフォルト値がOFFであることを記述しています。
gcolumn: add tidb_enable_unsafe_substitute to control generated colum… by shichun-0415 · Pull Request #10437 · pingcap/docs · GitHub tidb_enable_unsafe_substituteの説明を追加しています。
log-backup: update version check for pitr by shichun-0415 · Pull Request #10453 · pingcap/docs · GitHub Log backupに関するバージョンの互換性の説明を追加しています。
pitr: added newer pitr & tiflash adapt information by shichun-0415 · Pull Request #10406 · pingcap/docs · GitHub PiTR後のTiFlashのレプリカ状態に関する説明を追加しています。
add content about lazy uniqueness check by qiancai · Pull Request #10414 · pingcap/docs · GitHub tidb_constraint_check_in_place_pessimisticに関する記述を追加しています。
security: add tidb-jdbc to sm3 docs by ran-huang · Pull Request #10467 · pingcap/docs · GitHub tidb_sm3_passwordに関する説明を追加しています。
support metadata lock by Oreoxmt · Pull Request #10428 · pingcap/docs · GitHub tidb_enable_metadata_lockの説明を追加しています。
docs:Add tidb_opt_force_inline_cte system vars usage description in docs. by elsa0520 · Pull Request #10343 · pingcap/docs · GitHub tidb_opt_force_inline_cteの説明を追加しています。
Add new variable tidb_opt_three_stage_distinct_agg by fixdb · Pull Request #10419 · pingcap/docs · GitHub tidb_opt_three_stage_distinct_aggの説明を追加しています。
dm: add a config safe-mode-duration by ran-huang · Pull Request #9660 · pingcap/docs · GitHub DMのsafe-modeに関する説明を追加しています。
Add latency formula by you06 · Pull Request #9763 · pingcap/docs · GitHub Latencyに影響する要素の説明を追加しています。
system-variables: add a variable tidb_rc_write_check_ts by TomShawn · Pull Request #10463 · pingcap/docs · GitHub tidb_rc_write_check_tsの説明を追加しています。
tikv: add new config for auto adjust read pool thread count by Oreoxmt · Pull Request #10465 · pingcap/docs · GitHub auto-adjust-pool-sizeの説明を追加しています。
doc: add naaj doc by Oreoxmt · Pull Request #10461 · pingcap/docs · GitHub Null-aware semi join の説明を追加しています。
pdctl: add store label and restore store command documents by Oreoxmt · Pull Request #10473 · pingcap/docs · GitHub pdctlでstoreの操作コマンドを追加しています。
Disable log recycling on physical disks by default. by LykxSassinator · Pull Request #10475 · pingcap/docs · GitHub enable-log-recycleのデフォルト値がfalseになったことを記述しています。

TiDB commits on 2022-09-19

planner: fix for single DQA mode issue by fixdb · Pull Request #37912 · pingcap/tidb · GitHub select count(distinct a) from foo;のようなクエリーをTiFlashに対応させています。
test: add a memory usage test for real-tikv-test by tangenta · Pull Request #37911 · pingcap/tidb · GitHub Real TiKV testにメモリ使用状況のテストを追加しています。
planner: fix YCSB read-heavy regression caused by prep/exec statements by qw4990 · Pull Request #37857 · pingcap/tidb · GitHub PlanCacheStmtの実行してycsbのベンチマークの性能劣化に対応しています。
server: change the compatibility of tidb_sm3_password by CbcWestwolf · Pull Request #37909 · pingcap/tidb · GitHub tidb_sm3_passwordをauthenticationに利用しています。
sessionctx: set tidb_enable_paging to false by XuHuaiyu · Pull Request #37920 · pingcap/tidb · GitHub tidb_enable_pagingのデフォルト値をfalseに変更しています。
planner: fix nil pointer in plan cache LRU by fzzf678 · Pull Request #37916 · pingcap/tidb · GitHub Plan cache LRUでpanicする事象を修正しています。
*: remove goleak's ignoring opencensus top function by hawkingrei · Pull Request #37908 · pingcap/tidb · GitHub go.opencensus.io/stats/viewを有効にしています。
expression: patch push down case of tikv regexp function by xzhangxian1008 · Pull Request #37917 · pingcap/tidb · GitHub 正規表現関連の関数をpushdownするコードを修正しています。
statistics: fix data race in the QueryFeedback by hawkingrei · Pull Request #37907 · pingcap/tidb · GitHub QueryFeedbackのレースコンディションを修正しています。
table partition: set tidb_enable_exchange_partition default on by ymkzpx · Pull Request #37284 · pingcap/tidb · GitHub tidb_enable_exchange_partitionのデフォルト値をonにしています。
ddl: fix collect TiFlash sync status bug by hehechen · Pull Request #37923 · pingcap/tidb · GitHub TiFlashでregion idがMaxInt32の最大値より大きい場合に複製が進まない事象を修正しています。
privilege/privileges: sort in-memory db privilege table records by tiancaiamao · Pull Request #37688 · pingcap/tidb · GitHub 'mysql.db'テーブルのデータをソートしてから権限の比較を行うようにしています。
metrics, telemetry: add telemetry for metadata lock by wjhuang2016 · Pull Request #37915 · pingcap/tidb · GitHub metadata lockにテレメトリーを追加しています。
test,ddl: fix data race in `TestCancel` by YangKeao · Pull Request #37926 · pingcap/tidb · GitHub TestCancelのレースコンディションを修正しています。
expression: adjust DST for convert_tz() by tangenta · Pull Request #37206 · pingcap/tidb · GitHub convert_tz()関数にDST(Daylight Saving Time)を考慮しています。
test: remove partition in `TestConcurrentDDLSwitch` by xiongjiwei · Pull Request #37962 · pingcap/tidb · GitHub TestConcurrentDDLSwitchのテストを変更しています。
*: skip TestFlashback in brietest by hawkingrei · Pull Request #37963 · pingcap/tidb · GitHub brietestでTestFlashbackをskipしています。
log-backup: update method for telemetry to check usage of pitr feature by joccau · Pull Request #37896 · pingcap/tidb · GitHub PiTRの利用状況の検出方法を変更しています。
plugin: keep plugin enable/disable state when tidb restart by lcwangchao · Pull Request #37921 · pingcap/tidb · GitHub TiDB再起動時にpluginの有効、無効状態を維持するようにしています。
executor : fix Revoke role from current_user results error by bob34007 · Pull Request #37791 · pingcap/tidb · GitHub revoke from current_user() がエラーになる事象を修正しています。

optimization: using mashal to replace proto clone by bufferflies · Pull Request #5480 · tikv/pd · GitHub github.com/gogo/protobuf/protoからgithub.com/tikv/pd/pkg/typeutilを利用するように変更しています。
statistic: collect both read and write pending influence at the same time by lhy1024 · Pull Request #5521 · tikv/pd · GitHub readとwriteのregionPendingsを同時に利用できるようにしています。

storage: refactor flashback to use the MVCC overwriting by JmPotato · Pull Request #13450 · tikv/tikv · GitHub FlashbackToVersionReadPhaseとFlashbackToVersionを利用して、MVCCの上書き機能を利用してFlashbackを実現しています。
br: implement snapshot restore in tikv for ebs based Backup and Restore by fengou1 · Pull Request #13028 · tikv/tikv · GitHub BRでEBSベースのsnapshot restoreを追加しています。
engine: disable raft engine log recycling by tabokie · Pull Request #13488 · tikv/tikv · GitHub Raft engineのlog recycleを無効にしています。
coprocessor: support auto scale read-pool by glorv · Pull Request #13314 · tikv/tikv · GitHub Read-poolのauto scaleを追加しています。

Disable `enable-log-recycle` by default. by LykxSassinator · Pull Request #272 · tikv/raft-engine · GitHub enable-log-recycleのデフォルト値をfalseにしています。